Завтрашний день мультимедийного поиска
Записал вчера в Коммерсанте-Видео колонку про новый яндекс.поиск по картинкам.
(Как смонтируют — дам тут ссылку).
Мне кажется, что покуда мы тут обсуждаем Web 2.0 и соцсети, реальной интернет-революции завтрашнего дня стоит ждать как раз на этом направлении.

Ведь веб сегодня, как в прошлом тысячелетии, остаётся исключительно текстовой средой. По сути дела, тут доступна только та информация, которая текстуально описана и размечена — и только для ищущих на том языке, на котором её разметили. Это касается и изображений, и музыки, и видеоматериалов. Хотя мультимедийных файлов в Сети доступны сотни миллионов, большинство из них нельзя удовлетворительно выявить поиском, покуда алгоритмы индексации не лезут внутрь и не умеют внятно анализировать содержимое, а довольствуются лишь учётом сопроводительных текстовых меток.

Понятно, что дефицит удачных решений в области содержательного мультимедийного поиска — не чей-то досадный недосмотр. Анализировать сюжеты графических файлов, угадывать мелодию, расшифровывать речь из видео- и аудиопотока разработчики поисковых машин пытаются уже не первый десяток лет. Скажем, АльтаВиста в свои лучшие времена тестировала видеопоиск ещё на трансляции слушаний по импичменту Клинтона... Скромные успехи связаны в первую очередь со сложностью задачи (вплоть до неосуществимости на современном этапе).

Технология, представленная Яндексом в партнёрстве с Picsearch, увы, не даёт пока оснований для того, чтобы говорить о революционном прорыве в анализе изображений. В новой искалке достоверно анализируется лишь ограниченный набор признаков, имеющих отношение больше к техническим свойствам файла, чем к его сюжету (последний по-прежнему берётся из текстовых меток). Picsearch в этом смысле продвинулся дальше, используя смысловой рубрикатор сюжетов, наподобие тех, которые можно встретить в фотобанках. Но построение такого рубрикатора с заявкой на универсальность — адской сложности логическая задача, причём скорей для мозгов, чем для вычислительной техники. А покуда нет универсальности, нет и удовлетворительной надёжности поисковых алгоритмов. Если поисковик справляется с задачей анализа, условно говоря, на 20% или 40%, то он по-прежнему не дотягивает до уровня качества выдачи, который уже достигнут поиском по текстовым меткам. Революция случится лишь тогда, когда от залезания внутрь мультимедийного файла качество выдачи повысится по сравнению с нынешним набором находок.

Один из создателей Last.FM Мартин Штиксель, с которым я в конце ноября обсуждал ту же проблему применительно к аудиофайлам, настроен вполне оптимистично. На базе Last.FM с лета проходит публичный тест технологии fingerprinting, которая позволяет анализировать и узнавать аудиофайлы не по рукописным ID-тегам, а по внутренней их нетекстовой структуре. Пока что речь идёт о standalone-приложении, собирающем "отпечатки пальцев" с десятков миллионов MP3-файлов на дисках бета-тестеров; однако же Штиксель обещал, что в ближайших релизах аудиоскробблера эта функциональность (присутствующая там с версии 1.4.0.0, т.е. со 2 ноября) перейдёт из пассивного состояния в активное. Таким образом создатели Last.FM надеются убить двух зайцев: покончить с неразберихой в каталоге и значительно повысить релевантность выдаваемых системой рекомендаций. Надеюсь, что в обозримом будущем мы увидим какие-нибудь внятные успехи на этом направлении. Переход от "музыки, похожей по демографии/тегам" к "музыке, похожей по звучанию" в самом деле должен сотворить с рекомендательным сервисом чудеса.

А сотворит ли — посмотрим.