Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет Misha Verbitsky ([info]tiphareth)
@ 2021-05-31 18:36:00

Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Настроение: sick
Музыка:Black Magick SS - Kaleidoscope Dreams

robots.txt кровавая гебня
newsru все
https://www.newsru.com/russia/31may2021/newsrucomoutoforder.html
https://www.newsru.com/russia/31may2021/newsrucomoutoforder2.html
хорошая была контора, жалко,
в сто раз лучше гебешной медузы,
и не хуже ленты.ру, когда лента.ру
была еще ок (до 2014-го). Печаль.

Архивы ресурса надо бы сохранить, кто-нибудь
озаботится ли? можно, наверное, скачать кустарными
методами через wget, но оно там настолько динамическое,
что получится уродство, скорее всего.

Archive.org не годится, они
его вытрут в момент (архивы LJR они, например,
вытерли, без объяснения причин, хотя всем понятно,
почему). Вообще убрать любой сайт из хранилища
archive.org можно в два хода, и гебня сей метод
отлично освоила: 1. покупается домен, на котором
висел сайт (если вы гебе или ФБР, можно и не покупать,
гебня может конфисковать любой домен по мановению)
2. поднимается сервер с доменом и одной страничкой,
robots.txt, в которой написано, что роботам запрещено.
Идиотский archive.org немедленно убирает архивы.

Конечно, можно и без robots.txt, достаточно одного
звонка кому надо, например, в LJR ничего такого
не написано, но нас таки убрали. Писал им много раз,
почто вы нас убрали, не отвечают, сволочи.

Привет



(Читать комментарии)

Добавить комментарий:

Как:
(комментарий будет скрыт)
Identity URL: 
имя пользователя:    
Вы должны предварительно войти в LiveJournal.com
 
E-mail для ответов: 
Вы сможете оставлять комментарии, даже если не введете e-mail.
Но вы не сможете получать уведомления об ответах на ваши комментарии!
Внимание: на указанный адрес будет выслано подтверждение.
Имя пользователя:
Пароль:
Тема:
HTML нельзя использовать в теме сообщения
Сообщение:



Обратите внимание! Этот пользователь включил опцию сохранения IP-адресов пишущих комментарии к его дневнику.