Всякое-разное разнообразное - Вопрос про программу для скачивания
April 5th, 2005
12:36 pm

[Link]

Previous Entry Add to Memories Tell A Friend Next Entry
Вопрос про программу для скачивания
Люди!

Может быть, у кого-нибудь есть программа, которая позволяет скачивать из Интернета электронные библиотеки целиком?

А не могли бы вы поделиться такой программой? Пожалуйста! :-) Благодарность не будет иметь границ. Могу даже пообещать шоколадку! :-))

Хочется скачать того же Мошкова, к примеру... а то есть опасения, что потихоньку все это будут прикрывать...

Current Music: Rammstein в ассортименте

(39 comments | Leave a comment)

Comments
 
[User Picture]
From:[info]vadikas@lj
Date:April 5th, 2005 - 02:37 am
(Link)
начни с того, что купи это на сидюках где-нить на савеловском :)
могу посодействовать, в случае чего ;)
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 03:17 am
(Link)
Спасибо! Учту. Ежели не найдется никак иначе -- можно попробовать так... :-)
[User Picture]
From:[info]dadcaptain@lj
Date:April 5th, 2005 - 02:53 am

поплохеет скачивать

(Link)
объем очень большой. Нужно покупать уже готовое на болванках.
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 03:15 am

Re: поплохеет скачивать

(Link)
Ну, вот [info]kstoor@lj говорил, что весь объем Мошкова влезет на одну DVD-болванку; стало быть, объем не превышает "всего лишь" один фильм. А ведь люди скачивают фильмы, правда же? И все живы вроде. :-)) Нужно просто найти знакомого с достаточно широким каналом, тогда все получится... ;-)))
[User Picture]
From:[info]toshische@lj
Date:April 5th, 2005 - 02:59 am
(Link)
Мошкова целиком скачать -- мало не покажется. Но если не пугает -- рекомедную wget
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 03:16 am
(Link)
Да ну, не так уж там много, это ж просто тексты... А за рекомендацию спасибо! :-))
From:[info]nikitakis@lj
Date:April 5th, 2005 - 02:59 am
(Link)
Я знаю такую программу Offline Commander:
http://www.zylox.com/oc_help/features.shtm

Я думаю, есть похожие, только бесплатно.
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 03:12 am
(Link)
В том-то и фокус, что хочется бесплатные! ;-)))
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 03:51 am
(Link)
Тогда присоединяюсь к [info]toshische@lj: wget, однозначно. Её непросто освоить, но для нетривиальных задач равных ей нет. При этом она не просто бесплатная, а прямо-таки open source.
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 04:00 am
(Link)
Спасибо, ребяты! Надо постараться освоить, стало быть... :-)

Кстати, насчет open source: в это воскресенье я впервые увидела сторонника копирайта на информацию (между прочим, это оказался человек, родившийся со мной в один день), у него дома лицензионная Windows, все дела... Он говорит: а если не будет копирайта, то никто не будет писать программы, ибо все ведь хотят получать вознаграждение за свой труд...
[User Picture]
From:[info]lvk@lj
Date:April 5th, 2005 - 04:05 am
(Link)
(К последнему) [info]dz@lj недавно аккуратно показывал, почему это не так --- посмотри...
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 06:06 am
(Link)
Поначалу не понял, почему ты не дал ссылки на конкретный пост. Сходил в журнал [info]dz@lj. Почитал. Офигел. =)

Эк они. Holy war классический, одна штука. Видно фидошную выучку.

Исходный пост — вот этот, или я что-то пропустил?
[User Picture]
From:[info]vasilek@lj
Date:April 5th, 2005 - 03:02 am
(Link)
Вот здесь у самого Мошкова написано про скачивание, но очень запутанно и только для тех, кому интересно копаться в настройках. :)

http://www.lib.ru/DOWNLOAD/
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 03:12 am
(Link)
Ой, правда, далеко не все я поняла там... 8-)) Но это уже кое-что! Дык хочется не только Мошкова, а еще и другие сайты тоже...
[User Picture]
From:[info]so_wa@lj
Date:April 5th, 2005 - 03:13 am
(Link)
Где ж ты столько хардов возмешь записывать-та? Там же объем слоновий. Даже не... Динозаврий!
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 03:16 am
(Link)
Надо просто на DVD писать. По утверждению [info]kstoor@lj, весь Мошков должен уместиться на одну болванку. Не такой уж слоновий объем, имхо. :-))
[User Picture]
From:[info]so_wa@lj
Date:April 5th, 2005 - 03:29 am
(Link)
Всего 4 с хвостиком гигов??? Вся библиотека???? Ныверю! :)
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 03:30 am
(Link)
Вот и давай проверим, если найдем программульку... :-)
[User Picture]
From:[info]so_wa@lj
Date:April 5th, 2005 - 03:40 am
(Link)
Я посмотрю. У меня дома качалки всякие есть.
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 03:46 am
(Link)
Так это же plain text, в восьмибитной, причём кодировке. Соответственно, килобайт — 1024 знака. Дальше считайте сами… =)

Да и не такая она большая, эта lib.ru, вообще говоря.
[User Picture]
From:[info]so_wa@lj
Date:April 5th, 2005 - 03:53 am
(Link)
Сетуя на темноту свою и тупость, удалилась прочь, горько рыдая :)
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 04:10 am
(Link)
Зря вы испугались. =) Всё очень просто, давайте посчитаем вместе.

Средняя книжная страница — это 1500-2000 знаков. В том формате, в котором хранятся книжки на lib.ru, один знак занимает один байт. Килобайт — это 1024 байта. Будем считать, что каждая страница у нас размером 2 килобайта, или 2048 байт, хотя вообще обычно она чуть поменьше.

Гигабайт — это 1024 мегабайта, или 1048576 килобайт, или (примерно, по подсчётам из предыдущего абзаца) 524288 бумажных книжных страниц. Если считать, что средняя книжка — 300-400 страниц, получается библиотека примерно в полторы тысячи томов. По меркам оффлайна не Бог весть что, объём библиотеки продвинутой сельской школы, но у Мошкова примерно столько и лежит.

Чему же вы не верите-то? ;)
[User Picture]
From:[info]so_wa@lj
Date:April 5th, 2005 - 04:21 am
(Link)
Уже всему верю :)
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 08:21 am

Блин

(Link)
И позорно обсчитался, естественно. =) Тьфу…

Гигабайт там почти пять, а не один. Так что и "средних книжек" получается больше семи тысяч.
[User Picture]
From:[info]dadcaptain@lj
Date:April 5th, 2005 - 05:05 am

для зорких соколов :)

(Link)
у Мошкова на титульной странице написано:

"9 May 04. 4.7Gb. Самая известная в Рунете www-библиотека, открыта в 1994. ..."
[User Picture]
From:[info]so_wa@lj
Date:April 5th, 2005 - 05:15 am

Re: для зорких соколов :)

(Link)
Можно подумать, я так и шастаю по титульным страницам :)
Обычно ищу какую-то конкретную книгу. В яндексе :)
Следовательно попадаю на ссылку непосредственно на.
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 08:51 am
(Link)
Ой, правда, далеко не все я поняла там...

Там написано примерно следующее:

  • скачать кусочек библиотеки легко и просто — каждый раздел второго уровня (т.е. вида lib.ru/[жанр]/[автор]/) пожат в отдельный архив и выложен в по адресу lib.ru/[жанр]/[автор]/[файл с архивом]
  • так как "лица у всех разные"©, используется несколько форматов архивов, и, соответственно, выложено несколько разных файлов, на выбор
  • так как канал и ресурсы сервера, на котором живёт lib.ru, не резиновые, для более крупных разделов этот номер не пройдёт
  • по той же причине при скачивании всей библиотеки wget'ом придётся указать специальный ключик, означающий "ни в коем случае не признавайся стороне сервера, что ты wget"
  • если хочется скачать всю библиотеку автоматически, без пробивания названий раздела каждого автора руками, придётся написать специальный скриптик, средствами программ-качалок этого сделать не получится; сделано это всё по той же причине — чтобы отсечь жадных лохов на жирных каналах
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 03:55 am

Хотя вообще-то...

(Link)
А напиши самому [info]moshkow@lj на мейл или коммент в журнал: так мол и так, хочу копию вашей библиотеки. Я где-то в недрах LJ видел аналогичный разговор. Вполне реально, ИМХО, и геморроя меньше.
[User Picture]
From:[info]nastyas@lj
Date:April 5th, 2005 - 04:01 am
(Link)
Понял. Не исключено! :-)
[User Picture]
From:[info]k001@lj
Date:April 5th, 2005 - 06:59 am
(Link)
У тебя Интернет безлимитный, что ли? :)

wget, выше говорили уже, самый, наверное, нормальный.
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 09:07 am
(Link)
Ну, безлимитный Инет в наши дни не такая уж редкость — анлим на 128 кб/с на Стриме стоит $20, у нас со [info]zmey@lj вот такой как раз. А на этой скорости забрать 4.7 гига — геморно, но реально. При этом если исхитриться и суметь забрать-таки без ручного вбивания названий пожатые файлы, объём сокращается ещё в два раза (примерно во столько ведь текст должен ужиматься gzip'ом?). За пару суток точно утянется.

Другое дело, что конкретно с lib.ru есть масса менее сложных вариантов: купить готовую копию на Совке, связаться с самим Мошковым, найти знакомого с действительно быстрым каналом etc. =)
[User Picture]
From:[info]k001@lj
Date:April 5th, 2005 - 09:58 am
(Link)
У меня вот до сих пор по $0.10/Mb, хотя и очень быстрый... Так что я скорее завидую, чем спрашиваю по делу... :)

А вообще многие веб-сервера на просьбу в хидере запроса Accept-Content-Encoding: gzip часто отвечают вежливо, то есть отдают гзипнутый файл (ужимая его на лету и выставляя Content-Encoding: gzip). Кажется, wget об этом у сервера просит (ну и разгзипливает файл, если он пришёл ужатый).
[User Picture]
From:[info]yushi@lj
Date:April 5th, 2005 - 01:13 pm
(Link)
Как бы теперь узнать, умеет ли это lib.ru (и вообще как бы научиться это узнавать)?

Скажем, у lynx нет ключика, аналогичного wget'овскому ключику --header? Т.е. возможности указать произвольный заголовок?
[User Picture]
From:[info]k001@lj
Date:April 6th, 2005 - 12:36 am
(Link)
Похоже, что lib.ru не умеет:

bash-2.05b$ wget -S --header='Accept-Encoding: gzip' http://lib.ru/
--09:26:41-- http://lib.ru/
=> `index.html.4'
Преобразование адреса lib.ru... 81.176.66.163
Установка соединения с lib.ru[81.176.66.163]:80... соединились.
Запрос HTTP послан, ожидание ответа...
1 HTTP/1.1 200 OK
2 Date: Wed, 06 Apr 2005 05:23:25 GMT
3 Server: Apache/1.3.27
4 Last-Modified: Mon, 04 Apr 2005 09:52:00 GMT
5 Content-Type: text/html; charset=windows-1251
6 Connection: close

[ <=> ] 30,078 --.--K/s

09:26:41 (5.72 MB/s) - `index.html.4' сохранен [30078]


А вот slashdot.org, к примеру, умеет:


bash-2.05b$ wget -S --header='Accept-Encoding: gzip' http://slashdot.org/
--09:26:54-- http://slashdot.org/
=> `index.html.5'
Преобразование адреса slashdot.org... 66.35.250.150
Установка соединения с slashdot.org[66.35.250.150]:80... соединились.
Запрос HTTP послан, ожидание ответа...
1 HTTP/1.1 200 OK
2 Date: Wed, 06 Apr 2005 05:26:35 GMT
3 Server: Apache/1.3.33 (Unix) mod_gzip/1.3.26.1a mod_perl/1.29
4 SLASH_LOG_DATA: shtml
5 X-Powered-By: Slash 2.005000
6 X-Bender: Hooray, we don't have to do anything!
7 Cache-Control: private
8 Pragma: private
9 Connection: close
10 Content-Type: text/html; charset=iso-8859-1
11 Content-Encoding: gzip

[ <=> ] 17,715 39.42K/s

09:26:55 (39.39 KB/s) - `index.html.5' сохранен [17715]


Но выше я, оказывается, наврал - нифига wget не использует gzip по умолчанию:


bash-2.05b$ wget -S http://slashdot.org/
--09:27:07-- http://slashdot.org/
=> `index.html.6'
Преобразование адреса slashdot.org... 66.35.250.150
Установка соединения с slashdot.org[66.35.250.150]:80... соединились.
Запрос HTTP послан, ожидание ответа...
1 HTTP/1.1 200 OK
2 Date: Wed, 06 Apr 2005 05:26:48 GMT
3 Server: Apache/1.3.33 (Unix) mod_gzip/1.3.26.1a mod_perl/1.29
4 SLASH_LOG_DATA: shtml
5 X-Powered-By: Slash 2.005000
6 X-Bender: Wait! My cheating unit malfunctioned! You gotta give me a do-over!
7 Cache-Control: private
8 Pragma: private
9 Connection: close
10 Content-Type: text/html; charset=iso-8859-1

[ <=> ] 70,797 78.57K/s

09:27:08 (78.45 KB/s) - `index.html.6' сохранен [70797]


Вывод: lib.ru не умеет, но у него куча зеркал, не исключено, что умеет какое-то из них.

PS по поводу lynx - как минимум та версия, что у меня стоит, использует gzip по умолчанию (проверить: lynx -head http://slashdot.org/).
PPS хозяйка журнала, прости за флуд, пожалуйста :-\
[User Picture]
From:[info]nastyas@lj
Date:April 6th, 2005 - 12:48 am
(Link)
Ой, что вы, пишите-пишите больше, я с радостью это почитаю! Более того: полезные сведения всегда пригодятся в хозяйстве, так что не стесняйтесь, пишите все, у меня все можно и даже нужно. 8-))) :-)))
[User Picture]
From:[info]yushi@lj
Date:April 6th, 2005 - 03:56 pm
(Link)
Спасибо. Вы дали именно тот ответ, который я хотел получить, при том что я довольно неудачно сформулировал вопрос. =)
From:[info]qtx@lj
Date:April 5th, 2005 - 11:00 am
(Link)
Я сам с Wget не работал, но пользовался старенькой программкой Teleport Pro -- как раз для скачивания сайтов целиком или выкачивания файлов какого-то типа. Откуда я его выкачал не помню, если захочешь попробовать и не найдёшь, могу кинуть.
[User Picture]
From:[info]igorzhukov@lj
Date:April 6th, 2005 - 01:08 pm
(Link)
У меня есть DVD с Мошковым, где-то год назад купил.

А вообще да, пора ВСЕ нести домой, пока не началось. Вернее, не кончилось.
[User Picture]
From:[info]mr_whole@lj
Date:April 8th, 2005 - 04:03 am
(Link)
☼:-)
Кое-какие картинки Powered by LJ.Rossia.org