На robots.txt не в корне сайта никто не обращает внимания, я думаю.

LJ точно на страницы с текстами дописывает

<meta name="robots" content="noindex, nofollow, noarchive" />
<meta name="googlebot" content="noindex, nofollow, noarchive, nosnippet" />

В Atom — вот такое:

<feed xmlns="http://www.w3.org/2005/Atom" xmlns:lj="http://www.livejournal.com" xmlns:idx="urn:atom-extension:indexing" idx:index="no">

С RSS там ничего и не делается, вроде как.

(Reply to this) (Parent) (Thread)

> На robots.txt не в корне сайта никто не обращает внимания

А, кроме ППБ, получается.

(Reply to this) (Parent)