Всякое-разное разнообразное - Вопрос про программу для скачивания
[Recent Entries][Archive][Friends][User Info]
12:36 pm
[Link] |
Вопрос про программу для скачивания Люди!
Может быть, у кого-нибудь есть программа, которая позволяет скачивать из Интернета электронные библиотеки целиком?
А не могли бы вы поделиться такой программой? Пожалуйста! :-) Благодарность не будет иметь границ. Могу даже пообещать шоколадку! :-))
Хочется скачать того же Мошкова, к примеру... а то есть опасения, что потихоньку все это будут прикрывать...
Current Music: Rammstein в ассортименте
|
|
|
начни с того, что купи это на сидюках где-нить на савеловском :) могу посодействовать, в случае чего ;)
Спасибо! Учту. Ежели не найдется никак иначе -- можно попробовать так... :-)
![[User Picture]](http://lj.rossia.org/userpic/9961/2147490439) | | | поплохеет скачивать | (Link) |
|
объем очень большой. Нужно покупать уже готовое на болванках.
![[User Picture]](http://lj.rossia.org/userpic/45572/2147514804) | | | Re: поплохеет скачивать | (Link) |
|
Ну, вот kstoor@lj говорил, что весь объем Мошкова влезет на одну DVD-болванку; стало быть, объем не превышает "всего лишь" один фильм. А ведь люди скачивают фильмы, правда же? И все живы вроде. :-)) Нужно просто найти знакомого с достаточно широким каналом, тогда все получится... ;-)))
Мошкова целиком скачать -- мало не покажется. Но если не пугает -- рекомедную wget
Да ну, не так уж там много, это ж просто тексты... А за рекомендацию спасибо! :-))
В том-то и фокус, что хочется бесплатные! ;-)))
Тогда присоединяюсь к toshische@lj: wget, однозначно. Её непросто освоить, но для нетривиальных задач равных ей нет. При этом она не просто бесплатная, а прямо-таки open source.
Спасибо, ребяты! Надо постараться освоить, стало быть... :-)
Кстати, насчет open source: в это воскресенье я впервые увидела сторонника копирайта на информацию (между прочим, это оказался человек, родившийся со мной в один день), у него дома лицензионная Windows, все дела... Он говорит: а если не будет копирайта, то никто не будет писать программы, ибо все ведь хотят получать вознаграждение за свой труд...
![[User Picture]](http://lj.rossia.org/userpic/9996/2147490479) | From: | lvk@lj |
Date: | April 5th, 2005 - 04:05 am |
---|
| | | (Link) |
|
(К последнему) dz@lj недавно аккуратно показывал, почему это не так --- посмотри...
Поначалу не понял, почему ты не дал ссылки на конкретный пост. Сходил в журнал dz@lj. Почитал. Офигел. =) Эк они. Holy war классический, одна штука. Видно фидошную выучку. Исходный пост — вот этот, или я что-то пропустил?
Вот здесь у самого Мошкова написано про скачивание, но очень запутанно и только для тех, кому интересно копаться в настройках. :) http://www.lib.ru/DOWNLOAD/
Ой, правда, далеко не все я поняла там... 8-)) Но это уже кое-что! Дык хочется не только Мошкова, а еще и другие сайты тоже...
Где ж ты столько хардов возмешь записывать-та? Там же объем слоновий. Даже не... Динозаврий!
Надо просто на DVD писать. По утверждению kstoor@lj, весь Мошков должен уместиться на одну болванку. Не такой уж слоновий объем, имхо. :-))
Всего 4 с хвостиком гигов??? Вся библиотека???? Ныверю! :)
Вот и давай проверим, если найдем программульку... :-)
Я посмотрю. У меня дома качалки всякие есть.
Так это же plain text, в восьмибитной, причём кодировке. Соответственно, килобайт — 1024 знака. Дальше считайте сами… =)
Да и не такая она большая, эта lib.ru, вообще говоря.
Сетуя на темноту свою и тупость, удалилась прочь, горько рыдая :)
Зря вы испугались. =) Всё очень просто, давайте посчитаем вместе.
Средняя книжная страница — это 1500-2000 знаков. В том формате, в котором хранятся книжки на lib.ru, один знак занимает один байт. Килобайт — это 1024 байта. Будем считать, что каждая страница у нас размером 2 килобайта, или 2048 байт, хотя вообще обычно она чуть поменьше.
Гигабайт — это 1024 мегабайта, или 1048576 килобайт, или (примерно, по подсчётам из предыдущего абзаца) 524288 бумажных книжных страниц. Если считать, что средняя книжка — 300-400 страниц, получается библиотека примерно в полторы тысячи томов. По меркам оффлайна не Бог весть что, объём библиотеки продвинутой сельской школы, но у Мошкова примерно столько и лежит.
Чему же вы не верите-то? ;)
И позорно обсчитался, естественно. =) Тьфу…
Гигабайт там почти пять, а не один. Так что и "средних книжек" получается больше семи тысяч.
![[User Picture]](http://lj.rossia.org/userpic/9961/2147490439) | | | для зорких соколов :) | (Link) |
|
у Мошкова на титульной странице написано:
"9 May 04. 4.7Gb. Самая известная в Рунете www-библиотека, открыта в 1994. ..."
![[User Picture]](http://lj.rossia.org/userpic/10302/2147490773) | From: | so_wa@lj |
Date: | April 5th, 2005 - 05:15 am |
---|
| | Re: для зорких соколов :) | (Link) |
|
Можно подумать, я так и шастаю по титульным страницам :) Обычно ищу какую-то конкретную книгу. В яндексе :) Следовательно попадаю на ссылку непосредственно на.
Ой, правда, далеко не все я поняла там...Там написано примерно следующее:
- скачать кусочек библиотеки легко и просто — каждый раздел второго уровня (т.е. вида lib.ru/[жанр]/[автор]/) пожат в отдельный архив и выложен в по адресу lib.ru/[жанр]/[автор]/[файл с архивом]
- так как "лица у всех разные"©, используется несколько форматов архивов, и, соответственно, выложено несколько разных файлов, на выбор
- так как канал и ресурсы сервера, на котором живёт lib.ru, не резиновые, для более крупных разделов этот номер не пройдёт
- по той же причине при скачивании всей библиотеки wget'ом придётся указать специальный ключик, означающий "ни в коем случае не признавайся стороне сервера, что ты wget"
- если хочется скачать всю библиотеку автоматически, без пробивания названий раздела каждого автора руками, придётся написать специальный скриптик, средствами программ-качалок этого сделать не получится; сделано это всё по той же причине — чтобы отсечь жадных лохов на жирных каналах
![[User Picture]](http://lj.rossia.org/userpic/4943/2147483957) | From: | yushi@lj |
Date: | April 5th, 2005 - 03:55 am |
---|
| | Хотя вообще-то... | (Link) |
|
А напиши самому moshkow@lj на мейл или коммент в журнал: так мол и так, хочу копию вашей библиотеки. Я где-то в недрах LJ видел аналогичный разговор. Вполне реально, ИМХО, и геморроя меньше.
У тебя Интернет безлимитный, что ли? :)
wget, выше говорили уже, самый, наверное, нормальный.
Ну, безлимитный Инет в наши дни не такая уж редкость — анлим на 128 кб/с на Стриме стоит $20, у нас со zmey@lj вот такой как раз. А на этой скорости забрать 4.7 гига — геморно, но реально. При этом если исхитриться и суметь забрать-таки без ручного вбивания названий пожатые файлы, объём сокращается ещё в два раза (примерно во столько ведь текст должен ужиматься gzip'ом?). За пару суток точно утянется. Другое дело, что конкретно с lib.ru есть масса менее сложных вариантов: купить готовую копию на Совке, связаться с самим Мошковым, найти знакомого с действительно быстрым каналом etc. =)
У меня вот до сих пор по $0.10/Mb, хотя и очень быстрый... Так что я скорее завидую, чем спрашиваю по делу... :)
А вообще многие веб-сервера на просьбу в хидере запроса Accept-Content-Encoding: gzip часто отвечают вежливо, то есть отдают гзипнутый файл (ужимая его на лету и выставляя Content-Encoding: gzip). Кажется, wget об этом у сервера просит (ну и разгзипливает файл, если он пришёл ужатый).
Как бы теперь узнать, умеет ли это lib.ru (и вообще как бы научиться это узнавать)?
Скажем, у lynx нет ключика, аналогичного wget'овскому ключику --header? Т.е. возможности указать произвольный заголовок?
Похоже, что lib.ru не умеет: bash-2.05b$ wget -S --header='Accept-Encoding: gzip' http://lib.ru/ --09:26:41-- http://lib.ru/ => `index.html.4' Преобразование адреса lib.ru... 81.176.66.163 Установка соединения с lib.ru[81.176.66.163]:80... соединились. Запрос HTTP послан, ожидание ответа... 1 HTTP/1.1 200 OK 2 Date: Wed, 06 Apr 2005 05:23:25 GMT 3 Server: Apache/1.3.27 4 Last-Modified: Mon, 04 Apr 2005 09:52:00 GMT 5 Content-Type: text/html; charset=windows-1251 6 Connection: close
[ <=> ] 30,078 --.--K/s
09:26:41 (5.72 MB/s) - `index.html.4' сохранен [30078]
А вот slashdot.org, к примеру, умеет: bash-2.05b$ wget -S --header='Accept-Encoding: gzip' http://slashdot.org/ --09:26:54-- http://slashdot.org/ => `index.html.5' Преобразование адреса slashdot.org... 66.35.250.150 Установка соединения с slashdot.org[66.35.250.150]:80... соединились. Запрос HTTP послан, ожидание ответа... 1 HTTP/1.1 200 OK 2 Date: Wed, 06 Apr 2005 05:26:35 GMT 3 Server: Apache/1.3.33 (Unix) mod_gzip/1.3.26.1a mod_perl/1.29 4 SLASH_LOG_DATA: shtml 5 X-Powered-By: Slash 2.005000 6 X-Bender: Hooray, we don't have to do anything! 7 Cache-Control: private 8 Pragma: private 9 Connection: close 10 Content-Type: text/html; charset=iso-8859-1 11 Content-Encoding: gzip
[ <=> ] 17,715 39.42K/s
09:26:55 (39.39 KB/s) - `index.html.5' сохранен [17715]
Но выше я, оказывается, наврал - нифига wget не использует gzip по умолчанию: bash-2.05b$ wget -S http://slashdot.org/ --09:27:07-- http://slashdot.org/ => `index.html.6' Преобразование адреса slashdot.org... 66.35.250.150 Установка соединения с slashdot.org[66.35.250.150]:80... соединились. Запрос HTTP послан, ожидание ответа... 1 HTTP/1.1 200 OK 2 Date: Wed, 06 Apr 2005 05:26:48 GMT 3 Server: Apache/1.3.33 (Unix) mod_gzip/1.3.26.1a mod_perl/1.29 4 SLASH_LOG_DATA: shtml 5 X-Powered-By: Slash 2.005000 6 X-Bender: Wait! My cheating unit malfunctioned! You gotta give me a do-over! 7 Cache-Control: private 8 Pragma: private 9 Connection: close 10 Content-Type: text/html; charset=iso-8859-1
[ <=> ] 70,797 78.57K/s
09:27:08 (78.45 KB/s) - `index.html.6' сохранен [70797]
Вывод: lib.ru не умеет, но у него куча зеркал, не исключено, что умеет какое-то из них. PS по поводу lynx - как минимум та версия, что у меня стоит, использует gzip по умолчанию (проверить: lynx -head http://slashdot.org/). PPS хозяйка журнала, прости за флуд, пожалуйста :-\
Ой, что вы, пишите-пишите больше, я с радостью это почитаю! Более того: полезные сведения всегда пригодятся в хозяйстве, так что не стесняйтесь, пишите все, у меня все можно и даже нужно. 8-))) :-)))
Спасибо. Вы дали именно тот ответ, который я хотел получить, при том что я довольно неудачно сформулировал вопрос. =)
From: | qtx@lj |
Date: | April 5th, 2005 - 11:00 am |
---|
| | | (Link) |
|
Я сам с Wget не работал, но пользовался старенькой программкой Teleport Pro -- как раз для скачивания сайтов целиком или выкачивания файлов какого-то типа. Откуда я его выкачал не помню, если захочешь попробовать и не найдёшь, могу кинуть.
У меня есть DVD с Мошковым, где-то год назад купил.
А вообще да, пора ВСЕ нести домой, пока не началось. Вернее, не кончилось. |
|