Я думаю, что он успел индексировать ваш дневник до того,
как вы поставили галочку

(Reply to this) (Parent) (Thread)

Я поставила её при создании, а в поисковике журнал появился дня через два. Кстати, после того, как я написала первый текст именно в lj.rossia.org

(Reply to this) (Parent) (Thread)

Любопытно.

(Reply to this) (Parent) (Thread)

Это обрабатывается функцией robot_meta_tags,
у нас не было "noindex, nofollow, noarchive" для googlebot,
не исключено, что ппб на этот тэг ориентируется

Я добавил, теперь один в один с большим lj

(Reply to this) (Parent) (Thread)

Я восстановила журнал, пока не отражается нигде, посмотрю, как оно дальше будет.
Спасибо.

(Reply to this) (Parent)

А где в RSS это указывается (или robots.txt)? Яндекс.Поиск по блогам не индексирует html, и поэтому не может знать про тэги в нём.

(Reply to this) (Parent) (Thread)

А где именно ППБ в rss-потоке
ожидает увидеть noindex?

Вот, нашел что-то для yahoo,
можно аналогично устроить
(или уже что-то есть общепринятое?):
http://publisher.yahoo.com/rss_guide/faq.php

(Reply to this) (Parent) (Thread)

Примерно так: <copyright>noindex</copyright>
Например: http://wackowiki.com/xml/recentchanges_wackowiki.xml

(Reply to this) (Parent) (Thread)

Спасибо! Добавил.

(Reply to this) (Parent) (Thread)

Неожиданное употребление слова копирайт

(Reply to this) (Parent)

Спасибо, Петя! Теперь, похоже, все
поисковики уважают наш ноиндекс. По крайней
мере я пробежался и не нашел.

(Reply to this) (Parent) (Thread)

Поэтому потенциальную рекламу намного проще делать неиндексируемой, чем удалять пользователей, создавая лишний ажиотаж (если читателей нет, в lj_fif нет и не индексируется, то коммерческий характер будет практически исключён).

(Reply to this) (Parent) (Thread)

А спаммерам похуй, индексируется неиндексируется
они на зарплате

если не бить им по зубам, они разведутся как насекомые

(Reply to this) (Parent)

Спасибо!

(Reply to this) (Parent)

Можем и robots.txt в директории пользователя сделать,
но вариант с rss все-таки кажется элегантнее

(Reply to this) (Parent) (Thread)

На robots.txt не в корне сайта никто не обращает внимания, я думаю.

LJ точно на страницы с текстами дописывает

<meta name="robots" content="noindex, nofollow, noarchive" />
<meta name="googlebot" content="noindex, nofollow, noarchive, nosnippet" />

В Atom — вот такое:

<feed xmlns="http://www.w3.org/2005/Atom" xmlns:lj="http://www.livejournal.com" xmlns:idx="urn:atom-extension:indexing" idx:index="no">

С RSS там ничего и не делается, вроде как.

(Reply to this) (Parent) (Thread)

> На robots.txt не в корне сайта никто не обращает внимания

А, кроме ППБ, получается.

(Reply to this) (Parent)

К сожалению

Думаю, они могут совсем отфильтровывать по robots.txt,
который в lj есть, а у нас чтобы его включить,
нужно сначала перейти на субдомены для пользователей.

В принципе операция затратная, но можно по крайней мере
подумать на эту тему, раз у пользователей появляется
необходимость.

(Reply to this) (Parent) (Thread)

Для ЖЖ-клонов мы поддерживаем костыль в виде файлов robots.txt в папках пользователей (вроде http://lj.rossia.org/users/marta_ketro/robots.txt) - такая схема работала в ЖЖ до перехода на домены третьего уровня.

(Reply to this) (Parent)