Вот, а если серьёзно - так этой проблемой-то занимаются. И не первый год. Кстати, в журнале той же correlation (правда, сильно давно) были блестящие подборки квазисинонимов и квазимеждометий (последнее - это, типа, слова, не несущие существенного смысла. Типа на уровне "типа" и "как бы". У неё там в результатах слова "культура", "культурный", "мораль", "моральный" занимали видное место). Фишка в том, что банальный подсчёт двухбуквенных сочетаний - это ни в пизду, ни в Червонну Армию. Лично я к анализу текстов с позиций "смысла" отродясь отношения не имел, но таки могу сказать, что даже с точки зрения компрессии текста дело давно уже зашло сильно далее банальных двухсимвольных сочетаний. Даже там уже давно норовят навострить алгоритмы, которые довольно длинные паттерны пытаются выявить.

Вот. А в данной программе - вы заметили, например, что там знаков препинания нет? Т.е. частотность знаков препинания никак не рассматривается, соответственно, длина предложения - тоже?

А ещё, опять же, возвращаясь к разнице между мной и correlation - она часто предложения со строчных начинает. Я - никогда. Зато и она, и я никогда не пишем "е" вместо "ё" - а данная программа "ё" вообще игнорирует. Ну и чего ожидать-то от подобной "программы, написанной программистом"?

О, интересные вещи рассказываете.

...издеваетесь, да?! ;-)

Нет, мне действительно интересно.

Да я какие-то совсем "общие места" рассказываю, да и то крайне сумбурно (и наверняка с ляпами). Но просто мысль о том, что по 512-ти (гм, ШЬРЩ круглые цифры - тоже симптом того, что программа создавалась именно "программистом", а не "экспертом") двухбуквенным сочетаниям так-таки можно и экспертизу провести... ну да, блин, на ком-то он проверил. Ох, бля, и выборки у него были - прям в тыщу авторов и миллион знаков с каждого, а то! Ах, он картинки увидел, ах, ёбтыть! Ах, и картинки оказались разными! Ахуеть! А исчислить эту разницу количественно с ипользованием богатейшего аппарата матстата он пытался? А? Что? Не слышу? Найти барьер по той же количественной разнице, чтобы таки получить возможность достоверно отличить "одного" от "другого", проведя хренову тучу экспериментов - пытался?

ПиздИть-то мы все горазды. Я вот, например, весьма горазд пиздИть, уж кто бы сомневался ;-) Но мне всё-таки хватает ума не выдавать мой пиздёж за конечную истину ;-))) Я свой пиздёж предпочитаю считать чистым образцом жанра ;-)))

За информацию спасибо, да.

Ить иж как Вы ловко его на чистую воду-то вывели! Тока беда в том, что данный персонаж свою программку ни за какую "конечную истину" выдать не пытался. А выдавал он ея, як простейший пример частотного анализа. Ну простейший он, пример этот, что уж тут поделать-та? Но общую картиначку, общий принцып, почувствовать таки даёт возможность. Безусловно, анализ этот весьма приблизителен и не даёт ничего, кроме, собственно, частоты употребления в тексте этих самых 512 буквосочетаний. Делать какие-то выводы на основании этого результата... ээ... сложно. Но результат интересен сам по себе. Нет бы расширить тему, да предложить более продвинутый алгоритм, коль скоро тематика общественость заинтересовала, так всё изобличать лезуть.
С кем воюете-та? Лучче б просто расшарили нам данную интересную тему, без всех этих левых наездов, ибо всегда, когда специалист столь яростно защищает свою вотчину от происков неспициялиста, это плохо пахнет.

Ну, раз уж нас на экспертизу пробило - так ведь я и не говорил, что он пытается нечто выдать за конечную истину, правда? ;-) Я лишь говорил, что мне хватает ума этого не делать ;-)))

может, напишите формулы и алгоритмы, которые бы были лучше данного двухбуквенного чуда, я бы как-нибудь реализовал это дело

самому читать долго, вот записать в виде кода - другое дело

Да пошукать по словам "контент-анализ" и "экспертные системы"...

Что значит "норовят навострить"? Алгоритм LZW используется уже двадцать лет.