особенно странно вот это

Семантические аналоги для ебать (вычисленные на модели news)

банкі 0.321
жинақ 0.308
ауытқу 0.307
банктердің 0.301
деңгейлі 0.292
қаулысымен 0.291
несие 0.289
туда 0.289
бағамының 0.288
қордан 0.287

причем для "жид" она вполне адекватно находит

(Reply to this) (Parent) (Thread)

а если посмотреть все 4 базы, получается так


НКРЯ и русская Wikipedia

перемать 0.408
ебеный 0.399
переебывать 0.362
перетака 0.336
едривать 0.299
едри 0.291
кузькин 0.291
чортовый 0.290
жидяра 0.289
хуй 0.279

НКРЯ

перемать 0.493
ебеный 0.475
пиздить 0.465
перетака 0.464
едри 0.439
блядь 0.431
трясця 0.408
ебаный 0.404
распречестный 0.402
ебаться 0.397

Веб-корпус

выебывать 0.802
трахнуть 0.771
трахать 0.764
ебаться 0.739
трахаться 0.697
телка 0.696
дрочить 0.692
ебля 0.677
жопа 0.671
сосать 0.648

Новостной корпус

банкі 0.321
жинақ 0.308
ауытқу 0.307
банктердің 0.301
деңгейлі 0.292
қаулысымен 0.291
несие 0.289
туда 0.289
бағамының 0.288
қордан 0.287

* * *

занятно, что при добавлении Википедии к НКРЯ вылезает слово "жидяра",
которого в НКРЯ нет

(Reply to this) (Parent) (Thread)

в чисто НКРЯ сходство даже выше, чем в википедии
просто в top не попало

Пары слов Косинусная близость
(НКРЯ)
ебать жидяра 0.318

(Reply to this) (Parent) (Thread)

Сравнивать косинусные близости между двумя разными моделями напрямую бессмысленно, они же (модели) не детерминированные.
Сравнивать списки ближайших ассоциатов гораздо полезнее.

(Reply to this) (Parent) (Thread)

Тут как раз интересно, что в списках ассоциатов для одного слова в разных моделях раличный средний показатель сходства.

(Reply to this) (Parent) (Thread)

Плотность семантического пространства разная, да.
Может ничего не значить и быть просто следствием стохастической природы обучения моделей, а может быть системным свойством разных корпусов.
Нужно изучать.

(Reply to this) (Parent)

из казахских новостей надёргали, бггг, еншілес банкі

(Reply to this) (Parent)

Ничего странного же. Как ты думаешь, часто в новостных текстах встречается слово "ебать"? Нечасто. Так что и ассоциаты у него мусорные.
А казахские слова попадаются, потому что в нашем новостном корпусе есть какое-то количество казахских новостей. Мы как раз сейчас работаем над тем, чтобы отфильтровать все, что не русский.

(Reply to this) (Parent) (Thread)

слово жид тоже по идее не должно встречаться, а оно есть

(Reply to this) (Parent) (Thread)

Частотность на 2013-2015 годы:
2169 жид_S
288 ебать_V

В десять раз чаще употребляется в новостях.

(Reply to this) (Parent) (Thread)

Комментарии пользователй новостных сайтов тоже используются? Или только тексты новостей?

(Reply to this) (Parent) (Thread)

По идее только тексты. Но конечно могло что-то по мелочи и из комментариев пролезть.
Часть "жидов" - это Андре Жид, кстати.

(Reply to this) (Parent)