Ну чо, всё правильно. Ручная работа: хочу выпиливаю, хочу запиливаю.

Самое смешное во всём этом: роботы ЯППБ не могут ходить по ЖЖ, потому что Сцупп™ им этого не разрешает.

Смешно.

> Самое смешное во всём этом: роботы ЯППБ не могут ходить по ЖЖ, потому что Сцупп™ им этого не разрешает.

Это полная ерунда.

Хорошо. Поставим вопросы иначе.

1. Правда ли, что схема взаимодействия ЯППБ с ЖЖ отличается от схемы взаимодействия ЯППБ с другими блогосервисами? Если да, то в чём конкретно состоят эти отличия?
2. Правда ли, что роботы ЯППБ не могут посещать страницы ЖЖ так же, как они это делают с другими блогосервисами и стандалонами, потому что это перегружает систему ЖЖ и она падает?
3. Правда ли, что при изменении страниц ЖЖ в общем случае не происходит переиндексации и в базе ЯППБ остаётся старая версия?

Следующая серия вопросов последует после ответа на эти. Спасибо заранее.

1) Нет, принципиальных отличий нет. Так же, как и для любых других сервисов, мы индексируем поток RSS с записями. Конечно, поскольку ЖЖ один из крупных партнёров, мы стараемся разными способами эту схему улучшать (например, вместо того, чтобы индексировать отдельные RSS журналов, индексируем единый общий), но на работу это никак не влияет, и мы делаем так не только для ЖЖ, но и для многих других сервисов.

2) Нет, это неправда.

3) Это не вполне правда – новая версия поста попадает к нам в базу (сохранённая копия меняется), но не в индекс (найти её по новым словам нельзя). Последнее является технической проблемой и будет исправлено.

Вот ответьте пожалуйста внятно - зачем делать сервис "Вебмастер", если информация там не обновляется оперативно? А?
Висит устаревшая, двухнедельной давности.

Какая именно информация?

про сайты - количество внешних ссылок, проиндексированных страниц. И в каталог Яндекса даже за деньги не принимаете, хотя у меня сайт хороший - и тиц и пр и посетители и рекламы минимум, а другие сайты с нулевым тицем с минимумом посетителей - в каталоге по той же тематике, и так же в сапе сидят все поголовно.
Вообще, ваш каталог Яндекса - несправедливый, необъективный! И учитывает мнение лишь конкурентов.
Да, у меня сайт - конкурент! Но это не даёт право издеваться над ним - копировать мои статьи с сайта и ставить их на сайты народ.ру, не обновлять информацию в вебмастере и сажать в песочницу моих читателей с центра России. Почему я по Москве и МО выхожу на третью страницу по запросу? А в Орле чуть ли не на восьмую?
Это не красящие ваш ресурс хитрости, которые все видят и все понимают.

> про сайты - количество внешних ссылок, проиндексированных страниц

Можно конкретику?

Да вам же жутко давать конкретику - вы и так мой сайт понизили по тицу, и информацию о количестве внешних ссылок, на момент апа - 25 августа заморозили - вебмастер стоит - там инфа не обновляется с 16 числа, а уже 28. И всё это только потому, что я, так сказать, "обнаружила" свой сайт, подав заявку на платное вхождение в каталог Яндекса.
Конкретика такая - вот, навскидку сайт с сапы http://pre-perinatal.ru/ тиц 20 посещаемость нулевая, стоит в яндекс каталоге в разделе семья.
Посмотрите, сколько там саповских ссылок внизу.
Ещё вот http://aperturastudio.com/portfolio/city/index.shtml тиц 10 тоже в том же каталоге.
А вот этот сайт вообще нонсенс http://www.senses.ru тиц 0 , однако уже в каталоге Яндекс в разделе Семья -"Психология отношений". Это все сайты с сапы.
Это несправедливо.
:(
А мне пришёл ответ: Ваш сайт по нашему мнению - не представляет интереса для читателей каталога.
А люди находят и ходят и читают. Даже уже в запросах просто название моего сайта появляется.
Я так думаю, ваш каталог - купленный и необъективный.

Ещё - пишу статью уникальную в которой естественно оказываются ключевые слова - статья определённой тематики, сайт выходит в топ только по одной этой статье (что для меня было первое время удивительно, так как я не сеошник), но что ещё удивительней - конкуренты копируют полностью мою статью и ставят её не только что сделанный сайт на Народе. И Яндекс тут же выбрасывает мой сайт из топа, как-будто это я статью украла.
Это вообще кошмар. почему с этим не боретесь?

Но ладно, со всем этим можно как-то сладить - но вебмастер мне СПЕЦИАЛЬНО не обновляет инфу, уже 12 дней!!!!!
Сделайте наконец вебмастер и чёрт с вашим каталогом.
Я теперь сама туда не хочу - позорище просто - стоять рядом с нулевыми сайтами сомнительной тематики в одном разделе!

Я и просил конкретику по вебмастеру, а не по каталогу. Поясните, пожалуйста, по какому сайту не обновляется информация и почему вы решили, что она не обновляется?

Потому что там стоит - последнее посещение сайта роботом 16.08.10
А количество внешних ссылок за 18.08.10

И Платон всё время пишет - подождите немножко, всё обновится.
Уже два дня жду. Всё так же.

А по каталогам мне тоже интересно - почему так всё?
Сейчас скрин сделаю.

скрин

http://clip2net.com/s/vvLx

А это скрин про внешние ссылки:

http://clip2net.com/s/vvMA

Я передал вопрос специалистам, жду ответа. Так как сейчас выходные, возможно, придётся подождать до понедельника.

Спасибо.

Компетентные специалисты сообщают, что да, к сожалению, проблема есть, мы ее чиним и скоро, надеемся, дата снова будет обновляться вовремя.

Спасибо. Заработало.
----------------
А с каталогом можете разобраться? Что-то уж совсем плохи дела (((((

1. То есть роботы Яндекса всё-таки не ходят по ЖЖ (как в Большом Яндексе), а вы работаете только и единственно с RSS-потоком, который отдаёт вам ЖЖ. Я правильно понял?

2. Ваш ответ несколько противоречит пункту 1, не находите?

3. Как долго уже имеет место это ситуация? Сколько недель, месяцев, лет?

1) Поиск по блогам индексирует данные в структурированном виде, в основном через RSS и Atom, мы никогда не обходили html по ссылкам, как веб-поиск Яндекса.

2) Нет, не нахожу. То, что мы индексируем RSS, не имеет никакого отношения к тому, что мы "перегружаем" чьи-то сервисы. И не является исключением для ЖЖ.

3) Я не готов сказать точно, около года. Нужно понимать, что в конце концов отредактированная версия всё же будет проиндексирована, вопрос лишь в сроке.

1. Это относится не только к ЖЖ, а вообще ко всем блогосервисам, а также к стандалонам? То есть ЯППБ принципиально не обходит html, как Яндекс, а работает со всеми источниками только через RSS и Atom? Что значит "в основном"?

2. Причиной работы с потоками вместо обхода html (как это делает поисковая машина) разве не является нагрузка на блогосервис, которую он может и не выдержать? Если нет, то что же тогда является причиной отказа от использования нормальной технологии, проверенной временем и прекрасно себя зарекомендовавшей в большом поиске? Отдаёте ли вы себе отчёт в том, что работа с данными, которые блогосервис отдаёт по RSS/Atom и работа с непосредственными данными, полученными от поисковых роботов, приводят к разным результатам?

3. По моим сведениям - больше, чем около года, скорее ближе к двум. Но даже если и около года - не считаете ли вы, что для "технической неисправности" это неприлично большой срок? В современном интернете "около года" практически неотличимо от "так было всегда" или как минимум "очень давно". Причём речь не о какой-то второстепенной примочке, а об одном из важнейших критериев работы сервиса: об актуализации поиска.

4. Кстати, вы снова забыли подчистить анонс кэша (http://yandex.ru/yandsearch?date=&text=%D0%97%D0%BD%D0%B0%D1%87%D0%B8%D1%82+%D0%B3%D0%BE%D0%B2%D0%BE%D1%80%D1%8F%D1%82+%D0%B4%D1%80%D1%83%D0%B7%D1%8C%D1%8F+%D0%BF%D1%80%D0%B5%D0%B4%D0%BB%D0%B0%D0%B3%D0%B0%D1%8E%D1%82+%D0%B4%D0%B2%D1%83%D1%85+%D0%BE%D1%85%D1%80%D0%B0%D0%BD%D0%BD%D0%B8%D0%BA%D0%BE%D0%B2+%D0%BA%D0%BE%D1%80%D0%BE%D1%82%D0%BA%D0%BE%D0%B5+%D0%B2%D1%80%D0%B5%D0%BC%D1%8F+%D0%BE%D0%B1%D0%BB%D0%B8%D0%BB%D0%B0+%D0%A2%D0%BE%D0%BB%D1%81%D1%82%D1%83%D1%8E+%D0%B4%D0%B5%D1%80%D1%8C%D0%BC%D0%BE%D0%BC+%D1%81%D1%84%D0%BE%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BB%D0%B0+%D0%B2%D1%8B%D0%B2%D0%B5%D1%81%D0%B8%D0%BB%D0%B0+%D0%BB%D0%BE%D0%B6%D1%8C+%D0%B8%D0%BD%D0%B8%D1%86%D0%B8%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%83%D1%8E+%D1%82%D1%80%D0%B0%D0%B2%D0%BB%D1%8E+%D0%9E%D1%82%D1%85%D1%83%D1%8F%D1%87%D0%B8%D1%82%D1%8C+%D0%BA%D1%80%D0%BE%D0%B2%D0%B0%D0%B2%D1%8B%D1%85+%D1%81%D0%BE%D0%BF%D0%BB%D0%B5%D0%B9+no_nine+%D0%B0%D0%B4%D1%80%D0%B5%D1%81+%D0%BD%D0%B8%D0%BA%D1%82%D0%BE+%D1%85%D1%83%D1%8F%D1%87%D0%B8%D1%82%D1%8C+%D0%9A%D0%BE%D0%BB%D1%8B%D1%88%D0%B5%D0%B2%D1%81%D0%BA%D0%BE%D0%B3%D0%BE+%D0%BF%D0%BE%D1%83%D1%87%D0%B8%D0%BB%D0%B8+%D1%81%D1%82%D1%80%D0%B0%D1%85%D0%B0+%D0%BA%D0%B2%D0%B0%D1%80%D1%82%D0%B8%D1%80%D1%8B+%D1%81%D1%8A%D0%B5%D1%85%D0%B0%D0%BB+%D0%A3%D0%B3%D0%BE%D0%BB%D0%BE%D0%B2%D0%BD%D0%BE%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%BE%D1%81%D1%82%D0%B8+%D0%BE%D0%B1%D0%BB%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5+%D0%B4%D0%B5%D1%80%D1%8C%D0%BC%D0%BE%D0%BC+%D0%B1%D0%B0%D0%BA%D0%BB%D0%B0%D0%BD%D0%BA%D0%B0+%D1%85%D1%83%D0%BB%D0%B8%D0%B3%D0%B0%D0%BD%D0%BA%D0%B0&site=becky-sharpe.livejournal.com&rstr=&zone=all&wordforms=all&lang=ru&within=0&from_day=&from_month=&from_year=&to_day=&to_month=&to_year=&mime=all&numdoc=10&lr=213), плохо выполнили команду Божены. Через большой поиск её пост всё равно находится (кэш, правда, уничтожен). Поправьте там, если у вас туда есть доступ, - а то некрасиво получается.

1. Да, это относится ко всем сервисам, а также к автономным блогам. Я удивлен, что такой эксперт в области недостатков поиска по блогам Яндекса, как Вы, не знает этой базовой основополагающей вещи про него.

2. Нет, причиной является не нагрузка, а то, что индексация в машиночитаемом формате позволяет получать большое количество метаданных, не полагаясь на либо наколенные парсеры для каждого дизайна каждого блога, либо на искуственный интеллект, занимающийся сегментацией страниц блогов. Эти метаданные позволяют вести все те поиски, которые доступны со страницы расширенного поиска, в частности. Они позволяют понимать, кто автор какого комментария и так далее.

1. C чего бы это я эксперт? Нет уж, я обычный любитель, никаких экспертов. Однако вы не ответили на вопрос - что значит "в основном по RSS и Atom"? Почему "в основном", а не "только"?

2. Хорошо, допустим. Но тогда получается, что вы имеете дело не с самими блогами, а с теми их отражениями, которые блогосервис считает нужным отдать в трансляцию. Не полагаете ли вы, что такой подход искажает получаемую картину?

3. Вы так и не ответили - что это за загадочная "техническая причина", по которой вот уже больше года не происходит переиндексации поиска. Насколько я понимаю, главная функция сервиса ЯППБ, исходя из его названия - это именно поиск по блогам. Почему же он более года не работает, собственно? Кроме переиндексации отредактированных страниц имеются (годами причём имеются) также и лакуны в базе (часть постов и комментов вообще в неё не попадают). При этом прочие, не-поисковые функции вашего сервиса (например, рейтинги) вполне работают. Почему так? Вы считаете, что рейтинги нужнее поиска?

4. Есть и ещё вопросы. По вашей оценке, какую часть вашей базы составляют сплоги, бот-эккаунты, заброшенные эккаунты? (По каждой позиции свой процент, пожалуйста).

5. По каким критериям ведётся отбор эккаунтов в базу. Иначе говоря, что считается "блогом", а что нет. Надеюсь, это не секретные критерии и их можно опубликовать?

Я правильно понимаю, что ответов на эти вопросы от вас я так и не дождусь?

Вы не подскажете, каким образом работает счетчик Яндекса?
Он все время показывает сильно заниженные цифры посещений журнала.
Внутренняя статистика журнала, например, показывает 40 посетителей, а счетчик выдает 10-15 посещений, не больше.
Что это значит, не разъясните?

А он у вас установлен в теме s2, так, чтобы он был на странице каждой записи?

Нет, а где это сделать?

http://yandex.ru/yandsearch?text=как%20установить%20счетчик%20в%20жж%20s2&lr=213

Типа "сходите поизучать"?

Это охуенный ответ, спасибо, что прямым текстом не послали.

Там по второй ссылке, например, подробная инструкция.

Я сам, к сожалению, не вставлял счётчик, поэтому не могу рассказать о своём опыте.