Да, я заметил, что отсутствие звёздной болезни не мешает вам называть незнакомого человека дегенератом.

На всякий случай: я сужу исключительно по тому, что написано в комментариях. В ветке, на которую я ссылался, человек пишет настолько бредовые вещи, что мой эпитет вполне оправдан. Вполне допускаю, что на самом деле jdevelop@lj умён и прекрасен, просто любит потроллить и пофлеймить.

расскажите мне плз про "настолько бредовые вещи"

я конструктивной критики вероятного решения с использованием map/reduce для вытягивания сырых данных и последующей их обработки не увидел

более того, я это решение не от балды придумал, а это краткое описание, как у нас работает экспериментальная система обработки контента, причем не самого маленького (хотя по сравнению с мощностями яндекса и прочего гугля нам лучше даже не светиться)

то есть как бы докрутить туда анализ похожести новостей на этапе reduce и не выдавать дублирующиеся данные совершенно не проблема, даже в архитектуре есть extension point )

я кажется все понял

я рассуждаю с точки зрения человека, которому нужно все спроектировать, чтобы винтики цеплялись, гайки закручивались и все это в кучке не разваливалось, а выдавало результат, а разработкой винтиков и гаек займутся другие товарищи. вот там надо будет CS, аогоритмы и математика, в которой я точно не шарю

с точки зрения гуру топкодера разработка архитектуры - это наверное вообще лженаука какая-то.

с этой стороны я конечно полный лох и не увидел глубину глубин )

/me ушел посыпать голову пеплом

Да, правильно.

Только вы зря сравниваете "анализ похожести новостей" с винтиком. Потому что это как раз и является основной сложностью - все механизмы прикручивания винтиков уже есть, алгоритмы прекрасно мэпредьюсятся, параллелятся и вычисляются, но вот как узнать какие именно две новости похожи.

Точно так же Вы могли бы расписать простоту разработки интернет-поиска: парсим страницы, "анализируем их на похожесть запросу" и ранжируем по похожести (это, как Вы метко подметили в каком-то другом комменте - просто сортировка).

но вот как узнать какие именно две новости похожи. у меня навскидку есть пара идей, но скорее всего они окажутся глупыми :)