Записки на обоях - Дистрибутивную семантику в массы

> Recent Entries
> Archive
> Friends
> User Info
> My Website

December 22nd, 2015


Previous Entry Add to Memories Tell A Friend Next Entry
11:35 pm - Дистрибутивную семантику в массы

(28 comments | Leave a comment)

Comments:


From:[info]uvizhe.livejournal.com
Date:January 12th, 2016 - 06:27 pm
(Link)
А почему на некоторые русские слова возвращаются английские? Что там вообще английские слова делают?

И еще я видел в ответах слова в родительном падеже, это ок? Например, если поискать по слову "хип-хоп", то получишь "фанка".
[User Picture]
From:[info]tyumen_kender
Date:January 12th, 2016 - 06:32 pm
(Link)
В обучающих корпусах встречаются английские слова (и некоторые довольно часто), это нормально. Можно, конечно, специально их вырезать, но не вижу большого смысла.

Слова не в нормальной форме - это артефакты лемматизации (она не стопроцентно точная). То есть, лемматизатор в конкретном предложении не смог догадаться, какая у этого слова должна быть нормальная форма, и оставил как есть. В итоге получилось как бы ещё одно слово. И оно, конечно, в результате обучения оказалось семантически близким к правильной нормальной форме.
В принципе, такого должно быть не очень много, но встречается, да.

> Go to Top
LJ.Rossia.org