Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет ivanov_petrov ([info]ivanov_petrov)
@ 2010-07-13 07:42:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Компьютерный пересказ текста
У меня вопрос. Есть ли разработки в этом направлении?
Понятно, что есть морфологический анализ слов, поисковые индесы по тексту, расстановка тэгов и ключевых слов. Переводчики. Это понятно. Но вопрос о другом: компьютерное реферирование и пересказ - развиваются?

Это ведь вопрос об искусственном интеллекте. Просим - перескажи текст, не зачитай, а перескажи. Критерий. Я пока не смог понять, насколько это уже удается.

"Работают над этим давно http://www.gpntb.ru/win/ntb/ntb2001/12/f12_03.htm
выработаны многочисленные подходы к решению данной проблемы, которые достаточно четко подразделяются на два направления – квазиреферирование, основанное на экстрагировании из первичных документов с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов), совокупность которых образует некоторый экстракт (квазиреферат), и собственно автоматическое реферирование, основанное на выделении из текстов с помощью специальных информационных языков наиболее существенной информации и порождении новых текстов (рефератов), в большей или меньшей степени изоморфных первичным документам (или их частям)."

Как я понимаю, это работа с частоткой - выделяются значимые частые слова и ими фаршируется новый текст =автореферат.

"Суть индикаторного метода заключается в использовании словарей маркеров, индикаторов и коннекторов (лексический аппарат свертывания), насчитывающих свыше 1 500 лексических единиц так называемой неключевой внетематической лексики, и формул выбора, отражающих требования к различным видам вторичных документов для машинного экстрагирования фраз, которые относятся к различным содержательным аспектам документов (в нашем случае научно-технических статей). Совокупности таких фраз, определенным образом упорядоченных, и образуют различные виды вторичных документов – основного средства информационного обслуживания."

http://www.olap.ru/basic/refer.asp
Системы автоматического реферирования
(старый текст, 2000 г.)

http://www.kansas.ru/pb/paper/rcdl2007.pdf
Система автоматического реферирования новостных сообщений на основе машинного обучения

http://elar.usu.ru/bitstream/1234.56789/1424/1/IMAT_2005_25.pdf
Автоматическое реферирование веб-документов с учетом запроса
В системе используется восходящий к работам 1950-60-х годов подход к выделению важных предложений (sentence extraction) с небольшими модификациями.

http://rcdl.ru/doc/2008/177_183_paper20.pdf
О методе автоматического реферирования, основанном на результатах рубрицирования документов
Идея метода заключается в том, чтобы максимально использовать результаты предшествующих этапов обработки и составлять реферат после определения основных тем документа.

http://www.seminarprojects.com/Thread-development-of-an-auto-summarization-tool
Development of an auto-summarization tool

http://www.informaworld.com/smpp/content~db=all~content=a917618494
Automatic Abstracting and Summarization

http://www.minesight.com/enl/February_2010/February_English/Seminar_abstracts.pdf

http://itt.nissat.tripod.com/itt0202/ruoi0202.htm

http://www.pertinence.net/index_en.html

http://www.isi.edu/natural-language/projects/SUMMARIST.html

http://www.indiastudychannel.com/resources/12455-Development-an-auto-summarization-tool.aspx
----------------------------
Насколько я понимаю, пока глухо - есть очень корявые системы, на уподобление настоящему пересказу рассчитывать нечего.
(C) [info]zh3l@lj


(Читать комментарии) - (Добавить комментарий)


[info]vasia712@lj
2010-07-13 03:24 (ссылка)
//Это ведь вопрос об искусственном интеллекте.

Это ведь вопрос об обычном интеллекте и еще образовании. Искусственному до такого вопроса еще три дня лесом, два дня полем.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 04:03 (ссылка)
То есть - совершенно невозможно? Нив каком виде? И не удастся сделать поприличнее системы машинного перевода?

(Ответить) (Уровень выше) (Ветвь дискуссии)

Ни в каком виде
[info]vasia712@lj
2010-07-13 06:12 (ссылка)
Смотря что иметь под словом перевод.

Приличный подстрочник вполне достижим, но вы ведь хотите пересказ, т.е. требуете от машины понимания. А понимание у нее на уровне креветки и то не факт. Когда-нибудь оно конечно будет, лет через 40-50.

(Ответить) (Уровень выше)


[info]sigurna@lj
2010-07-13 07:02 (ссылка)
основная проблема сегодняшних систем перевода - отсутствие базы знаний у робота.
Поэтому перевод механистический, без выделения смысла переводимого текста.
Правильный же переводчик работает не со словарями - а с моделями мира, описанными на разных языках.
Вот модель мира на английском. Вот - на русском.
Задача робота:
1. Найти минимально возможное маппирование с одной онтологии на другую (опираясь на те слова и смысловые конструкты, которые выделены в переводимом тексте)
2. собрать текст из понятий целевой онтологии

Замечу: вся братва, занимающаяся переводчиками, сейчас в рот смотрит системам семантического анализа текстов. А Яндекс даже заслал своих бойцов в Шеффилд учиться:)
Кстати, тот же АББИ вкладывает нехилые деньги в семантик.нетворк

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 07:10 (ссылка)
да. очень рад слышать. мне бы тоже казалось, что надо как-то так двигаться, только я - конечно - не знал, что же происходит на самом деле. Как я догадываюсь - разработка всяких стандартов представления онтологии, прорисовка сетей. Наверное, интересно. А есть какие-то доступно сделанные нескучные обзоры? Лучше по-русски, конечно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sigurna@lj
2010-07-13 07:16 (ссылка)
http://www.dialog-21.ru
http://www.avicomp.ru
http://www.rco.ru

обзоры искать лень, уж извините:)
Но на "Диалоговском" сайте некие обзорные материалы точно были.

(Ответить) (Уровень выше)


(Читать комментарии) -