Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет Misha Verbitsky ([info]tiphareth)
@ 2017-07-04 11:01:00
Previous Entry  Add to memories!  Tell a Friend!  Next Entry
верхний пост - 2014
Архив верхнего поста.

Архивы:
[ 2013 | 2012 | 2011 | 2007-2010 | 2006 ]

(Читать комментарии) - (Добавить комментарий)

Re: cannot be displayed due to robots.txt
[info]tiphareth
2017-04-24 23:27 (ссылка)
это из-за сраного https
http://lj.rossia.org/robots.txt
User-agent: *
Disallow: /directory
Disallow: /interests
Disallow: /tools/tell
Disallow: /tools/memadd
Disallow: /tools/search.bml
Disallow: /friends/
Disallow: /interface/
Disallow: /translate/
Disallow: /comments/
Disallow: /numreplies/
Disallow: /users/imp_
Disallow: /userinfo.bml?user=imp_
Disallow: /talk
Disallow: /stats/stats.txt
Disallow: /create
Disallow: /update
#
Crawl-delay: 1

Host: lj.rossia.org

#
# Blocked journals aren't listed here because robots.txt files
# can't be above 50k or so, depending on the spider.
#
# Instead, blocked journals have HTML inserted in them which
# should prevent behaved spiders from indexing it.
#

https://lj.rossia.org/robots.txt
User-agent: *
Disallow: /

а мудацкий робот не умеет по http

придется править, спасибо

(Ответить) (Уровень выше)

(Читать комментарии) -