Мда, подсчёт сочетаний из двух символов - это явно мощное направление в экспертизе. И почему эти придурки-лингвисты до сих пор до такого не догадались? ;-)

Среди моих знакомых это называется "программа, сделанная программистом" ;-)))

Опять же напомнило, как одна очень хорошая дама некоторое время считала меня виртуалом correlation чисто потому, что я слово "жопа" использую примерно с той же частотой ;-) Хотя у corellation количество прилагательных на предложение сильно выше, чем у меня, и вообще набор активных прилагательных сильно шире, чем мой базовый комплект "полный\исключительный\необыкновенный\хуёвый\пиздатый" (прилагательные "исключительный\необыкновенный" обычно используются вместе с существительным "мудак", а "полный" - вместе с "пиздец") ;-) И средняя длина предложения у correlation явно поболе.

(рыдает)

Вот, а если серьёзно - так этой проблемой-то занимаются. И не первый год. Кстати, в журнале той же correlation (правда, сильно давно) были блестящие подборки квазисинонимов и квазимеждометий (последнее - это, типа, слова, не несущие существенного смысла. Типа на уровне "типа" и "как бы". У неё там в результатах слова "культура", "культурный", "мораль", "моральный" занимали видное место). Фишка в том, что банальный подсчёт двухбуквенных сочетаний - это ни в пизду, ни в Червонну Армию. Лично я к анализу текстов с позиций "смысла" отродясь отношения не имел, но таки могу сказать, что даже с точки зрения компрессии текста дело давно уже зашло сильно далее банальных двухсимвольных сочетаний. Даже там уже давно норовят навострить алгоритмы, которые довольно длинные паттерны пытаются выявить.

Вот. А в данной программе - вы заметили, например, что там знаков препинания нет? Т.е. частотность знаков препинания никак не рассматривается, соответственно, длина предложения - тоже?

А ещё, опять же, возвращаясь к разнице между мной и correlation - она часто предложения со строчных начинает. Я - никогда. Зато и она, и я никогда не пишем "е" вместо "ё" - а данная программа "ё" вообще игнорирует. Ну и чего ожидать-то от подобной "программы, написанной программистом"?

О, интересные вещи рассказываете.

...издеваетесь, да?! ;-)

Нет, мне действительно интересно.

Да я какие-то совсем "общие места" рассказываю, да и то крайне сумбурно (и наверняка с ляпами). Но просто мысль о том, что по 512-ти (гм, ШЬРЩ круглые цифры - тоже симптом того, что программа создавалась именно "программистом", а не "экспертом") двухбуквенным сочетаниям так-таки можно и экспертизу провести... ну да, блин, на ком-то он проверил. Ох, бля, и выборки у него были - прям в тыщу авторов и миллион знаков с каждого, а то! Ах, он картинки увидел, ах, ёбтыть! Ах, и картинки оказались разными! Ахуеть! А исчислить эту разницу количественно с ипользованием богатейшего аппарата матстата он пытался? А? Что? Не слышу? Найти барьер по той же количественной разнице, чтобы таки получить возможность достоверно отличить "одного" от "другого", проведя хренову тучу экспериментов - пытался?

ПиздИть-то мы все горазды. Я вот, например, весьма горазд пиздИть, уж кто бы сомневался ;-) Но мне всё-таки хватает ума не выдавать мой пиздёж за конечную истину ;-))) Я свой пиздёж предпочитаю считать чистым образцом жанра ;-)))

За информацию спасибо, да.

Ить иж как Вы ловко его на чистую воду-то вывели! Тока беда в том, что данный персонаж свою программку ни за какую "конечную истину" выдать не пытался. А выдавал он ея, як простейший пример частотного анализа. Ну простейший он, пример этот, что уж тут поделать-та? Но общую картиначку, общий принцып, почувствовать таки даёт возможность. Безусловно, анализ этот весьма приблизителен и не даёт ничего, кроме, собственно, частоты употребления в тексте этих самых 512 буквосочетаний. Делать какие-то выводы на основании этого результата... ээ... сложно. Но результат интересен сам по себе. Нет бы расширить тему, да предложить более продвинутый алгоритм, коль скоро тематика общественость заинтересовала, так всё изобличать лезуть.
С кем воюете-та? Лучче б просто расшарили нам данную интересную тему, без всех этих левых наездов, ибо всегда, когда специалист столь яростно защищает свою вотчину от происков неспициялиста, это плохо пахнет.

Ну, раз уж нас на экспертизу пробило - так ведь я и не говорил, что он пытается нечто выдать за конечную истину, правда? ;-) Я лишь говорил, что мне хватает ума этого не делать ;-)))

может, напишите формулы и алгоритмы, которые бы были лучше данного двухбуквенного чуда, я бы как-нибудь реализовал это дело

самому читать долго, вот записать в виде кода - другое дело

Да пошукать по словам "контент-анализ" и "экспертные системы"...

Что значит "норовят навострить"? Алгоритм LZW используется уже двадцать лет.

А сравнение словарей даст более-менее адекватную корреляцию. На текстах, скажем, от полукилобайта?

Боюсь, тут не всё так просто. Скажем, выбор существительных и глаголов в большей степени обусловлен собственно предметом обсуждения. Грубо говоря, если вы пишете о кошках, вам будет сложно вставлять слово "трактор" в каждое предложение. А если на следующий день вы пишете о тракторах, слово "кошка" в тексте вряд ли будет упоминаться. Так что в этом смысле словари будут различаться. А вот прилагательные и наречия несколько менее "обязательны", там автору больше шансов развернуться...

Вот, а вообще-то за тонкостями - это к терапевту, к терапевту. У него и кабинет больше ;-)

А учебники по терапии есть?

Свернувшись на лежанке, уютно мурлыкала кошка. Ей было так тепло и покойно, а в горнице стояла такая тишина, что Абрам Фемистоклович снова перенесся душой в тот летний полдень - к жаркому стрекоту кузнечиков, истомному небу, отдаленному рокоту трактора...

или

Трактор завелся с пол-рывка. Дизель вчера удалось отрегулировать на диво хорошо - звук его работы напоминал скорее сытое мурлыканье кота, чем голодный рев танка. Кузьмич крякнул и удовлетворенно шмыгнул носом.

Нет, настоящайа летеротура никакой аналитике неподвластна.
хехехе

(истерически) Афтар жжош беспезды!

корреляцию?