С моим ником работает.

а с моим нет. Впрочем, оно иногда сутками выдаёт сообщение, что "сервис временно недоступен". С любыми параметрами.

У меня тоже бывает - но на минуту-две.

Ну вот у меня минут 20 уже такая такая надпись.

Вообще, я удивлен, что никто ещё не сделал альтернативного поиска, хотя бы по жж, не такие уж запредельные мощности нужны, оценка базы сверху = 10 лет * 365 * 200000 записей в день * 64 кб ~~ 43 терабайта, сильно сверху, конечно.

Поток комментариев ЖЖ вы у них как собираетесь получать? Парсить все журнальчеги?

Ну вообще это всё зависит от доброй воли жежешечки, да, официального firehose, как у твиттера вроде бы нет. На странице latest.bml есть rss какой-то, но google reader его не распознает, что-то в нём нестандартное.

Распознать RSS — не проблема. Но нас с вами так немало, что RSS — не вариант. Либо забанят за стопиццот запросов в секунду, либо индексированию подвергнется каждый стопиццотый комментарий.

Про «добрую волю жежешечки» — спасибо, насмешили.

По хорошему, поиск должен делаться по-людски, то есть поисковыми роботами. RSS это слабое решение, но даже и оно сделано у ЯППБ через жопу.

ЯППБ вообще теперь служит спаммерам и блогунистам, поскольку игнорирует тэги nofollow и noindex. Это, кстати, и отвечает на вопрос, почему никто другой не сделает поиск по блогам - а просто невыгодно это никому, и платить за это никто не будет, кроме монетизаторов.

Ну роботы тоже не суперлекарство, кто-то завел аккаунт и начал постить (не спам), как его найти? Ссылок же нет. Хороший тон это предоставлять доступ к firehose (потоку всех записей), как твиттер в свое время http://blog.twitter.com/2010/03/enabling-rush-of-innovation.html (в 2010 опять же, не сразу, через 4 года после запуска). Но ЖЖ уже не 4 года, могли бы перенять хорошее от конкурентов.

Ну, первичная регистрация блога это не проблема, можно и из RSS получать, а вот корректно искать можно только с помощью поисковых роботов, а не так, как "ищет" ЯППБ.

Это вы изволите глупости говорить. С помощью поисковых роботов невозможно индексировать свежие комментарии, это очевидно любому, кто хоть немного работал в этой сфере. Просто прикиньте, сколько нужно crowler's и какие должны быть таймауты для индексации, например, комментариев к записям tema@lj.
Старые (слабообновляемые) — да, возможно. Только (сюрприз!) они никому не вперлись.

Впёрлось либо всё, либо ничего. Поиск должен быть корректным, как по старым записям, так и по новым. Иначе это не поиск, а говно.

С помощью потоков зато невозможно корректно отслеживать и переиндексировать редактируемые комментарии и посты, значит хороший поиск должен сочетать и потоки, и посещения страниц роботом, когда это необходимо.

Иными словами, «я не покупаю машину, потому что у меня нет денег на мазератти»?

Повторяю: нет способа сделать поиск идеальным. Мир так устроен, вы уж извините, идеалы редко достижимы. Есть худо-бедно-работоспособный вариант — тот, что предлагает Яндекс. Есть неработоспособный вариант: краулеры. Нам предоставили один из них вместо нуля. Лично мне такая ситуация нравится больше, чем «простите, поиск невозможен».

Не забывайте, что альтернативой является «поиска нет вообще», а не «идеальный поиск». Ну, в нашем мире, а не в сферическом вакууме.

Мне не нужен поиск идеальный, мне нужен работающий. То, что есть сейчас - нельзя назвать работающим. По-хорошему, это ранняя бета, - это даже без учёта того факта, что многие, многие запросы возвращают ответ "попробуйте позже" вместо выдачи.

Это вы на «копейке» никогда не ездили :-)

Я не оправдываю Яндекс, просто мне кажется, что ЖЖ мог бы поэлегантнее отдавать ленту комментариев (раз) и поплотнее попытаться сотрудничать с единственным поиском (два). Ваши претензии по поводу nofollow/noindex — они к ЖЖ, насколько мне известно (в RSS этих тегов нет, вырезаются).

Я ездил на машинах гораздо, гораздо хуже "копейки". Но при чём тут я?

О Сцуппе™ же вообще речи нет, это конченые уебаны, конструктивное сотрудничество с которыми вообще, подозреваю, невозможно, - судя по тому, что ни у кого оно так и не случилось. Другое дело, что проблемы ЯППБ характерны не только для ЖЖ, а для всех платформ, так что тут проблема не только и не столько в ЖЖ, сколько в поиске.

Что же до тэгов nofollow/noindex в ЖЖ, то раньше они вполне себе были и учитывались ЯППБ (и до сих пор, между прочим, учитываются "большим" Яндексом). ЯППБ перестал их понимать сравнительно недавно. И именно Сцупп™ недавно же ввёл nofollow для внешних ссылок в журналах неплатников, в целях борьбы со спамом. Где же тут борьба со спамом, если главный инструмент учёта спаммеров - ЯППБ - всё равно эти теги игнорирует и набивает свою базу чем попало? И кто же тогда плохо сотрудничает, Сцупп™ или всё-таки Яндекс?

А, ой. Пардон, значит я не в теме последних веяний. Если все именно так, как вы говорите — оба хуже.

RSS это слабое решение, но даже и оно сделано у ЯППБ через жопу.Решение от Яндекса реализовано через RSS? Вот это да! А пацаны-то и не в курсе.
Это, кстати, и отвечает на вопрос, почему никто другой не сделает поиск по блогам - а просто невыгодно это никому…В этом мире, к счастью, есть огромное количество вещей, которые никому не выгодны, но, тем не менее, сделаны. Уверяю вас, если бы реализация такого поиска была в принципе возможна, я бы сам давно его сделал. Совершенно бескорыстно, ага.

Подробности реализации ЯППБ - у Кукуца и Волнухина, они как-то признавались, что роботы по блогам не ходят в приницпе, всё реализовано через Atom/RSS, потому и нет переиндексации после редактирования.

Совершенно бескорыстно редко делаются вещи, которые требуют долгих и нестандартных усилий, да ещё и которым потом нужна постоянная квалифицированная поддержка. Я же не против, конечно, но альтруизм - штучный товар..

Роботы по блогам не ходят не потому, что Роману и Антону лень. А потому, что это не улучшит выдачу в существующих реалиях.

За то, что уже сделано, Роману и Антону земной поклон в ножки. Но оно нихуя не поддерживается и давно уже поломано.

Если же говорить о реалиях, то они таковы, что для организации поиска по блогам нужна другая концепция, попытки лепить заплатки на нынешний ЯППБ без изменения концепции ни к чему не приведут. (Собственно, как я предполагаю, это и есть главная причина, по которой ЯППБ заброшен и разваливается).

Угу.

Все так, я согласен совершенно. Только вот без активной помощи со стороны ЖЖ — концепцию не изменить, к сожалению. Ну, насколько я компран.

Кроме ЖЖ, есть и другие блогоплатформы, и проблемы нынешнего поиска по блогам характерны вовсе не только для ЖЖ.

Разумеется, ЖЖ очень нагляден в этом смысле, но должен отметить, что если вдруг ЖЖ станет белым и пушистым, то ситуация улучшится незначительно, потому что основные проблемы ЯППБ в самой его концепции, а вовсе не в том, что ЖЖ с ним плохо сотрудничает.

Вот тут не согласен.

Насколько могу судить, концепция индексации по RSS — правильная. По крайней мере, мне сложно на данном этапе представить себе другую. Чисто технически.

Если бы я был монархом идеального мира, я бы издал указ, по которому все блогохостинги предоставляли бы интерфейс для индексирования. Кто не предоставил — сам себе идиот. Ну а в нашем мире — мы имеем то, что имеем.

В общем, конструктивный спор, как всегда, выявил сходство точек зрения оппонентов.

Никто не заставляет придерживаться одного и только одного способа индексации. Можно первично индексировать по RSS, а переиндексировать в случаях редактирования, например, или как-то ещё дополнить механизм индексации по потоку. Понимаю, что индексировать посещениями будет гораздо затратнее по ресурсам, но тем не менее есть случаи, когда такие посещения бывают необходимы. Значит, нужно разработать правильные принципы такого посещения, чтобы не расходовать ресурсы зря.

А сотрудничать, разумеется, блогохостинги с поиском должны, если хотят, чтобы их полно и корректно индексировали. Тогда такое сотрудничество в их же интересах. Но вот в интересах ли Сцуппа™ корректная и полная индексация ЖЖ, это ещё вопрос. Да и нет уверенности даже в том, что такая индексация в интересах Яндекса. Руководству Яндекса вообще на ЯППБ посрать и розами засыпать, для них это мелкий маргинальный проектик..

Да, я знаю, что Яндекс не особо заботится о соц. сервисах. Но, с другой стороны, мелкий проектик, или не мелкий — Яндекс обычно не халтурит, если есть такая возможность.

Насчет интересов… Не могу себе представить, почему бы супу была невыгодна корректная индексация. Думаю, там все как обычно, от долбоебизма, а не от мега-бизнес-солюшенз.

«Механизм посещений», упомянутый вами — не могу себе представить, как это можно корректно сделать. Если есть мысли — поделитесь, может быть я что-нибудь таки набросаю на коленке.

Ну, для этого нужно, чтобы после редактирования поста или комментария поисковый робот активизировался и посетил страницу для переиндексации. Непонятно только, как он должен об этом узнавать.

Я представляю себе, как сделать custom search для пользователей по, например, их друзьям: нужно просто завести fake-account, задружить всех интересующих и подписываться на уведомления о комментариях по почте во всех записях.

К сожалению, для поиска по всем это не сработает.

Ну а узнавать можно только одним способом: если сцупперасты дадут API (что еще менее вероятно, чем конец света в 2012 году).

Не, не дадуд.

Не хочу показаться навязчивым, но ваш журнал нравится мне с каждой новой записью все больше и больше

ПашолЪ НахуйЪ

Фу, какой грубый. Вот если бы я тебе так написала, ты бы раскокетничался, а как бот, так сразу нахуй!

Двойные стандарты, шоподелать..