Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет ivanov_petrov ([info]ivanov_petrov)
@ 2010-07-13 07:42:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Компьютерный пересказ текста
У меня вопрос. Есть ли разработки в этом направлении?
Понятно, что есть морфологический анализ слов, поисковые индесы по тексту, расстановка тэгов и ключевых слов. Переводчики. Это понятно. Но вопрос о другом: компьютерное реферирование и пересказ - развиваются?

Это ведь вопрос об искусственном интеллекте. Просим - перескажи текст, не зачитай, а перескажи. Критерий. Я пока не смог понять, насколько это уже удается.

"Работают над этим давно http://www.gpntb.ru/win/ntb/ntb2001/12/f12_03.htm
выработаны многочисленные подходы к решению данной проблемы, которые достаточно четко подразделяются на два направления – квазиреферирование, основанное на экстрагировании из первичных документов с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов), совокупность которых образует некоторый экстракт (квазиреферат), и собственно автоматическое реферирование, основанное на выделении из текстов с помощью специальных информационных языков наиболее существенной информации и порождении новых текстов (рефератов), в большей или меньшей степени изоморфных первичным документам (или их частям)."

Как я понимаю, это работа с частоткой - выделяются значимые частые слова и ими фаршируется новый текст =автореферат.

"Суть индикаторного метода заключается в использовании словарей маркеров, индикаторов и коннекторов (лексический аппарат свертывания), насчитывающих свыше 1 500 лексических единиц так называемой неключевой внетематической лексики, и формул выбора, отражающих требования к различным видам вторичных документов для машинного экстрагирования фраз, которые относятся к различным содержательным аспектам документов (в нашем случае научно-технических статей). Совокупности таких фраз, определенным образом упорядоченных, и образуют различные виды вторичных документов – основного средства информационного обслуживания."

http://www.olap.ru/basic/refer.asp
Системы автоматического реферирования
(старый текст, 2000 г.)

http://www.kansas.ru/pb/paper/rcdl2007.pdf
Система автоматического реферирования новостных сообщений на основе машинного обучения

http://elar.usu.ru/bitstream/1234.56789/1424/1/IMAT_2005_25.pdf
Автоматическое реферирование веб-документов с учетом запроса
В системе используется восходящий к работам 1950-60-х годов подход к выделению важных предложений (sentence extraction) с небольшими модификациями.

http://rcdl.ru/doc/2008/177_183_paper20.pdf
О методе автоматического реферирования, основанном на результатах рубрицирования документов
Идея метода заключается в том, чтобы максимально использовать результаты предшествующих этапов обработки и составлять реферат после определения основных тем документа.

http://www.seminarprojects.com/Thread-development-of-an-auto-summarization-tool
Development of an auto-summarization tool

http://www.informaworld.com/smpp/content~db=all~content=a917618494
Automatic Abstracting and Summarization

http://www.minesight.com/enl/February_2010/February_English/Seminar_abstracts.pdf

http://itt.nissat.tripod.com/itt0202/ruoi0202.htm

http://www.pertinence.net/index_en.html

http://www.isi.edu/natural-language/projects/SUMMARIST.html

http://www.indiastudychannel.com/resources/12455-Development-an-auto-summarization-tool.aspx
----------------------------
Насколько я понимаю, пока глухо - есть очень корявые системы, на уподобление настоящему пересказу рассчитывать нечего.
(C) [info]zh3l@lj


(Читать комментарии) - (Добавить комментарий)


[info]balanseeker@lj
2010-07-16 01:40 (ссылка)
Странно, что проявив сначала интерес, Вы как то замолкли...
Неинтересно? Банально? Или подкормились идеями и дальше пошли?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-16 01:46 (ссылка)
Я не специалист в этой области и наверняка не могу увидеть многих важных деталей. Общий настрой теории мне знаком - я сказал, каких авторов напоминает, там примерно та же редукция, некоторые детали рассуждений буквально повторяют то, к чему пришел Амосов. Думаю, это не случайно - у вас были общие мотивы, некоторое презрение к психологам, которые не говорят внятно, и попытка сделать технически-ясное изложение. Хотя, наверное, отличия найдутся, как без этого. Как мне кажется, я понял общую направленность и основные черты теории. На этом самом уровне - что идеи мне давно знакомы, так что не подкормился... а вспомнил.

Мне кажется, это вызывает у Вас раздражение? Пожалуйста, не сердитесь. Я готов поверить, что Вам эта теория представляется чрезвычайно важной, открывающей глаза и пр. и не собираюсь с этим спорить. На мой взгляд, Вы в краткой и ясной форме переизлагаете старые мысли, известные минимум больше полувека - но это ничем не плохо.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-16 02:13 (ссылка)
Да я не трясусь над своими идеями. Мне нужен критичный собеседник, чтобы увидеть слабые или не проработанные стороны. К сожалению, письменно излагаемые мной тезисы выглядят бедно, нужно иллюстрировать их живыми примерами, из жизни. Лучше всего это происходит в живом разговоре...

Плюс к этому мне кажется, что современная разработка ИИ сводится к работе с языковыми конструкциями, что на мой взгляд - тупиковый путь. Реальное распознавание речи - это распознавание смыслов. А смыслы - это проекции частных областей модели мира...
Короче тут много о чем есть поговорить.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-16 02:25 (ссылка)
Амосов именно что и хотел - отбросить массы психологических деталей и создать модель психики, пригодную для воплощения в программе. Этот его толстый том в соавторстве с Касаткиными и Талаевым - там многое изложено, хотя уровень программирования в начале 70-х был дремучим.

Я не думаю, что Вам нужна критика. Я несколько не удержался и попробовал намекнуть на слабые стороны - Вы отбросили эти высказывания. И, наверное, правильно. Ваша теория не годится как "настоящая" психологическая теория, ее бессмысленно судить с точки зрения - так ли в самом деле устроена психика. мне кажется очевидным, что не так. Ваша теория - это не выяснение того, что есть, а попытка сконструировать модель. Так что нет смысла придираться, что у вас там с разграничением с животными, как эмоции функционируют у каких групп... Это лишнее. Вам, видимо, надо строить модель, программу - и тогда явятся технически множественные накладки, а если вся штука будет работать, можно будет говорить, пригодилась ли теория.

Мне кажется, это следует сильнее подчеркивать при изложении - чтобы не возникало соблазна понять Вас так, будто речь идет о чем-то существующем, будто говорится о том, как устроена "настоящая" психика

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-16 03:06 (ссылка)
--Ваша теория не годится как "настоящая" психологическая теория
Мне это не понятно. Любая теория, в общем-то, модель. Более тщательно проработанная или менее.
Каков ваш критерий "настоящести"?
-- Ваша теория - это не выяснение того, что есть, а попытка сконструировать модель.
Так в той же физике сначала рождалась модель, потом шли теоретические проверки, уточнения или отказ от модели. Иногда как в случае с электро-магнитным полем две модели сливались (корпускулярная и волновая теории).
Т.е. "выяснение того, что есть" без отработки моделей невозможно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-16 03:07 (ссылка)
да, я понимаю. Лучше этого не выяснять.

(Ответить) (Уровень выше)


[info]ivanov_petrov@lj
2010-07-16 03:19 (ссылка)
http://algebraic-brain.livejournal.com/profile
http://falcao.livejournal.com/profile

кажется, у этих юзеров могут быть мысли на этот счет. Тех, кто считает, что любая теория - это модель - не перечесть, таких почти весь ЖЖ, но Фалкао отличается подробной манерой изложения и удивительным умением прояснять невнятное, а Алгебраический мозг, если не ошибаюсь, давно пытается математически смоделировать разные аспекты жизни.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-16 03:22 (ссылка)
-- Тех, кто считает, что любая теория - это модель - не перечесть, таких почти весь ЖЖ
А Вы то сами как думаете? Или Ваша стратегия избегать прямого формулирования своей позиции?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-16 03:53 (ссылка)
я на эту тему говорил десятки раз и мне надоело.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-16 05:33 (ссылка)
Тогда понятно. Спасибо что уделили внимание и за ссылки (там интересные журналы)

(Ответить) (Уровень выше)


(Читать комментарии) -