User-Agent: Mediapartners-Google*
Disallow:

Sitemap: http://www.livejournal.com/sitemap.xml

User-Agent: TwitterBot
Disallow:
User-Agent: *
Disallow: /data/foaf/
Disallow: /tag/
Disallow: /friendstimes
Disallow: /calendar
Disallow: /1999/
Disallow: /2000/
Disallow: /2001/
Disallow: /2002/
Disallow: /2003/
Disallow: /2004/
Disallow: /2005/
Disallow: /2006/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/

Может по этой причине в поиске Яндекс осталось всего 400 страниц?