LJR: bugs - Post a comment
[Recent Entries][Archive][Friends][User Info]
|
07:44 pm

beshenov[Link] | На robots.txt не в корне сайта никто не обращает внимания, я думаю.
LJ точно на страницы с текстами дописывает
<meta name="robots" content="noindex, nofollow, noarchive" /> <meta name="googlebot" content="noindex, nofollow, noarchive, nosnippet" />
В Atom — вот такое:
<feed xmlns="http://www.w3.org/2005/Atom" xmlns:lj="http://www.livejournal.com" xmlns:idx="urn:atom-extension:indexing" idx:index="no">
С RSS там ничего и не делается, вроде как.
|
|
| |
| |