ivanov_petrov: Компьютерный пересказ текста

Компьютерный пересказ текста
У меня вопрос. Есть ли разработки в этом направлении?
Понятно, что есть морфологический анализ слов, поисковые индесы по тексту, расстановка тэгов и ключевых слов. Переводчики. Это понятно. Но вопрос о другом: компьютерное реферирование и пересказ - развиваются?

Это ведь вопрос об искусственном интеллекте. Просим - перескажи текст, не зачитай, а перескажи. Критерий. Я пока не смог понять, насколько это уже удается.

"Работают над этим давно http://www.gpntb.ru/win/ntb/ntb2001/12/f12_03.htm
выработаны многочисленные подходы к решению данной проблемы, которые достаточно четко подразделяются на два направления – квазиреферирование, основанное на экстрагировании из первичных документов с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов), совокупность которых образует некоторый экстракт (квазиреферат), и собственно автоматическое реферирование, основанное на выделении из текстов с помощью специальных информационных языков наиболее существенной информации и порождении новых текстов (рефератов), в большей или меньшей степени изоморфных первичным документам (или их частям)."

Как я понимаю, это работа с частоткой - выделяются значимые частые слова и ими фаршируется новый текст =автореферат.

"Суть индикаторного метода заключается в использовании словарей маркеров, индикаторов и коннекторов (лексический аппарат свертывания), насчитывающих свыше 1 500 лексических единиц так называемой неключевой внетематической лексики, и формул выбора, отражающих требования к различным видам вторичных документов для машинного экстрагирования фраз, которые относятся к различным содержательным аспектам документов (в нашем случае научно-технических статей). Совокупности таких фраз, определенным образом упорядоченных, и образуют различные виды вторичных документов – основного средства информационного обслуживания."

http://www.olap.ru/basic/refer.asp
Системы автоматического реферирования
(старый текст, 2000 г.)

http://www.kansas.ru/pb/paper/rcdl2007.pdf
Система автоматического реферирования новостных сообщений на основе машинного обучения

http://elar.usu.ru/bitstream/1234.56789/1424/1/IMAT_2005_25.pdf
Автоматическое реферирование веб-документов с учетом запроса
В системе используется восходящий к работам 1950-60-х годов подход к выделению важных предложений (sentence extraction) с небольшими модификациями.

http://rcdl.ru/doc/2008/177_183_paper20.pdf
О методе автоматического реферирования, основанном на результатах рубрицирования документов
Идея метода заключается в том, чтобы максимально использовать результаты предшествующих этапов обработки и составлять реферат после определения основных тем документа.

http://www.seminarprojects.com/Thread-development-of-an-auto-summarization-tool
Development of an auto-summarization tool

http://www.informaworld.com/smpp/content~db=all~content=a917618494
Automatic Abstracting and Summarization

http://www.minesight.com/enl/February_2010/February_English/Seminar_abstracts.pdf

http://itt.nissat.tripod.com/itt0202/ruoi0202.htm

http://www.pertinence.net/index_en.html

http://www.isi.edu/natural-language/projects/SUMMARIST.html

http://www.indiastudychannel.com/resources/12455-Development-an-auto-summarization-tool.aspx
----------------------------
Насколько я понимаю, пока глухо - есть очень корявые системы, на уподобление настоящему пересказу рассчитывать нечего.

(C)

zh3l@lj

(Читать комментарии) - (Добавить комментарий)

ivanov_petrov@lj
2010-07-13 08:01 (ссылка)

Нет, в диалоге не выйдет. Видимо, тут непонимание. Вы сказали - как я понял - "хочу рассказать о своей теории". Я ответил - давайте выслушаю. Но вот затевать многоэтажный диалог - нет, на это я не подписывался. Если нет желания рассказывать - никаких проблем.

(Ответить) (Уровень выше) (Ветвь дискуссии)

balanseeker@lj
2010-07-13 08:26 (ссылка)

Ок. Реплики необязательны.
Итак, тезис первый:
Эмоций всего две. Положительная и отрицательная. Остальное - интеллектуальная окраска. Зависит от обстоятельств вызвавших эмоцию.

Тезис второй: Есть реальность. Т.е. реальный мир, обстоятельства и отношения существующие объективно.
Есть образ реальности в нашем мозгу. Модель мира.
Модель может быть очень упрощенной как у ребенка и довольно сложной как у зрелого человека.
Ну и, очевидно, "Жизнь богаче схемы", т.е. модель всегда имеет неполноту, применима только в определенных границах.

Тезис третий: Положительная эмоция возникает тогда, когда модель мира подтверждается на практике.
Отрицательная, когда модель мира входит в противоречие с реальностью. Когнитивный диссонанс.

Итак, психика - система с обратной связью. Получаем комфорт если модель мира получает подтверждение, получаем дискомфорт, если модель мира не может описать реальность.

(Ответить) (Уровень выше) (Ветвь дискуссии)

ivanov_petrov@lj
2010-07-13 08:37 (ссылка)

Симпатия и антипатия, завязанные на познание.

В модели мира есть волк. Я знаю, что такое волк. Он меня ест - мне это не нравится. Хотя это вполне соответствует его месту в моей картине мира.

(Ответить) (Уровень выше) (Ветвь дискуссии)

balanseeker@lj
2010-07-13 09:17 (ссылка)

Вариации про волка.

- Я признаю наличие волка в реальном мире. Я знаю, что волк - опасен. В своих действиях я учитываю это.

- Я признаю наличие волка в реальном мире. Я не верю что волк опасен, он такой милый по телевизору. Все кто говорят, что волк опасен ничего не понимают в этом. Скорее всего их обманули или они хотят обмануть меня.

- Я не признаю наличие волка в реальном мире, это сказочный персонаж.

Три разных модели мира...

(Ответить) (Уровень выше) (Ветвь дискуссии)

ivanov_petrov@lj
2010-07-13 09:29 (ссылка)

Боюсь, Вы не ответили. Ваш ответ должен был быть - про то, что картина мира включает ценности. Про познание - там напрашивается про эмоции животных. Вам придется идти до конца - что у амебы есть картина мира. по сути, отступать к панпсихизму - и атомы чувствуют.

(Ответить) (Уровень выше) (Ветвь дискуссии)

balanseeker@lj
2010-07-13 09:39 (ссылка)

"Картина мира" амебы это генетический код. Т.е. полная картина мира для человека - это совокупность HARDWARE (в виде генной, биологической информации), BIOS (примитивные инстинкты) и SOFTWARE (наращиваемая, формируемая на протяжении жизни картина мира)

(Ответить) (Уровень выше) (Ветвь дискуссии)

	ivanov_petrov@lj 2010-07-13 09:43 (ссылка)
	Вы сказали: эмоции амебы - это соответствие чего-то с ее генетическим кодом. М-да. (Ответить) (Уровень выше) (Ветвь дискуссии)

	balanseeker@lj 2010-07-13 09:49 (ссылка)
	Где я это сказал? Цитату. (Ответить) (Уровень выше) (Ветвь дискуссии)

ivanov_petrov@lj
2010-07-13 09:51 (ссылка)

http://ivanov-petrov.livejournal.com/1463973.html?thread=71811237#t71811237
комфорт если модель мира получает подтверждение, получаем дискомфорт, если модель мира не может описать реальность
http://ivanov-petrov.livejournal.com/1463973.html?thread=71817125#t71817125
"Картина мира" амебы это генетический код

(Ответить) (Уровень выше) (Ветвь дискуссии)

	balanseeker@lj 2010-07-13 10:03 (ссылка)
	На каком основании Вы распространили сказанное мной про человека на амебу? (Ответить) (Уровень выше) (Ветвь дискуссии)

ivanov_petrov@lj
2010-07-13 10:25 (ссылка)

о, без всяких оснований. я не думал, что вы будете сопротивляться тезису, что животные испытывают эмоции. А если принять это, то никакой границы до амебы - нет, если признаете, что у собаки есть, так и амебе надо что-то уделять - в такой трактовке. Но, конечно, это я так думал, а вы - своей мысли хозяин, можете ее к животным не подпускать.

(Ответить) (Уровень выше) (Ветвь дискуссии)

balanseeker@lj
2010-07-13 10:45 (ссылка)

"Эмоции у животных" - это такая психологическая байка, для прикрытия теоретической слабости в вопросе объяснения сути эмоций.
У высших животных собак, дельфинов, лошадей эмоции конечно есть, но в целом, эмоции - это достояние существ обладающих довольно высоким интеллектом.
Речь об эмоциях, в данном случае, идет как о сложном чувстве.
Если же говорить о явлении позитивного или отрицательного отклика, разновидности обратной связи (о чем я заявил в первом тезисе), то конечно все животные обладают таким свойством.
Самое сложное - это понять некую границу, начиная с которой такая обратная связь получает интеллектуальное осмысление, окраску и становиться именно эмоцией в том смысле, в котором ее упоминают психологи.

(Ответить) (Уровень выше) (Ветвь дискуссии)

	ivanov_petrov@lj 2010-07-13 11:19 (ссылка)
	понятно (Ответить) (Уровень выше)

	balanseeker@lj 2010-07-13 10:05 (ссылка)
	"Картина мира" амебы... кавычки не замечаем? (Ответить) (Уровень выше) (Ветвь дискуссии)

	ivanov_petrov@lj 2010-07-13 10:26 (ссылка)
	я примерно понял. Отчего же нет. Конечно... Как Вы говорите? Часть адаптивного ответа? да, так, в общем, все и говорят. (Ответить) (Уровень выше)

balanseeker@lj
2010-07-13 10:01 (ссылка)

Поясняю. Психика - это часть адаптационного аппарата. У амебы психики нет, адаптационный аппарат амебы опирается на генетический код, примитивные рефлексы. Говорить об эмоциях тут нельзя. Но можно говорить об обратной связи между внешним воздействием и реакцией амебы.

Эмоции также выполняют функцию обратной связи. Только они воздействуют в первую очередь на сознание/ощущение человека, а на соматику действуют во вторую очередь. Если быть совсем точным, то степень воздействия эмоции на разум или тело зависит от конкретного человека и его состояния.

(Ответить) (Уровень выше)

	balanseeker@lj 2010-07-13 09:40 (ссылка)
	Про "ценности" я написал в указаннойй статье. (Ответить) (Уровень выше)

	balanseeker@lj 2010-07-13 08:30 (ссылка)
	Более детально смотрим здесь: http://www.scorcher.ru/neuro/conceptions/zaharov/zaharov.php Но тут только предпосылки для следующего логического хода. (Ответить) (Уровень выше) (Ветвь дискуссии)

	ivanov_petrov@lj 2010-07-13 08:38 (ссылка)
	спасибо, посмотрю (Ответить) (Уровень выше)

balanseeker@lj
2010-07-13 09:09 (ссылка)

Тезис четвертый: Человеческий язык удобен в качестве знаков (указателей), указывающих на отдельные части модели мира, "наклеек" на умственные конструкции, но неудобен для описания собственно моделей. Т.е. наш мозг хранит модель мира в какой-то форме имеющей несловесный характер.

Это легко понять, наблюдая как мы доносим до школьников планетарную модель Солнечной системы.
Модель орбит из проволоки и шариков-планет объяснит устройство гораздо лучше, чем словесное описание.

Таким образом, решая задачу искусственного интеллекта, первое что мы должны сделать, это создать конструктор позволяющий описывать любые модели: статические, динамические, многомерные. Словесный язык, для этого не подходит.

(Ответить) (Уровень выше)

balanseeker@lj
2010-07-13 11:27 (ссылка)

Тезис пятый: Психика работает как некий механизм, который требует регулярного подтверждения модели мира. Т.е. психика ИНИЦИАТИВНО тестирует окружающую действительность на предмет соответствия/несоответствия модели мира. Тестирование как правило касается некой небольшой, частной области этой модели. Те области модели которые не тестируются находятся на периферии интересов, и могут иметь сильное рассогласование с реальностью, однако это не приводит к явному когнитивному диссонансу до момента когда случай не заставит протестировать и эти области модели мира.

(Ответить) (Уровень выше) (Ветвь дискуссии)

	ivanov_petrov@lj 2010-07-13 11:29 (ссылка)
	Это весьма похоже на сложившиеся модели трактовки психики - у Анохина с АРД, Симонова и Амосова. Примерно в этом ключе они и мыслили, по теме несколько монографий. (Ответить) (Уровень выше) (Ветвь дискуссии)

balanseeker@lj
2010-07-14 07:23 (ссылка)

Повторю еще раз. В психологии на сегодня НЕТ работ достаточно полно описывающих механизм работы психики, так, чтобы была видна законченная непротиворечивая модель психики.
Возможно, что причина как раз в том, что словесный язык не удобен в описании сложных моделей. Автор может иметь эту модель в голове, но передача ее другим (читателям) есть почти неразрешимая задача.

(Ответить) (Уровень выше)

balanseeker@lj
2010-07-13 11:48 (ссылка)

Тезис шестой:
Психика затрачивает усилия на поддержание внутренней непротиворечивости модели мира.
Если человек на протяжении своего взросления сформировал достаточно адекватную модель мира, то на эти усилия затрачивается не слишком много ресурсов мозга.
Если человеку не хватило интеллекта составить более-менее качественную/адекватную модель мира, то усилия психики по поддержанию внутренней непротиворечивости могут натолкнуться на принципиально неразрешимые противоречия. Это может быть первопричиной многих психических проблем. В частности шизофрения характеризуется состоянием "разделенного сознания", т.е. одна область модели мира несовмещается с другой.

Наоборот, религиозный, верующий человек, за счет внесения концепта Бога в модель мира допускает простые объяснения для сложных вещей, уменьшая тем самым потребность в снятии внутренних противоречий. Достигается психотерапевтический эффект.

(Ответить) (Уровень выше)

balanseeker@lj
2010-07-13 12:09 (ссылка)

Тезис седьмой:
Интеллект - это качество состоящее из нескольких компонент:
1. способность изобретать/конструировать/перенимать частные области (модели мира) и вписывать их в существующую модель мира
2. способность рационально осмыслить рассогласование модели с действительностью
3. способность рационально осмыслить внутренние противоречия в модели мира
4. способность выбрать наиболее адекватную частную область модели для описания некоторой конкретной реальности, выбрать правильный контекст

(Ответить) (Уровень выше)

balanseeker@lj
2010-07-13 12:26 (ссылка)

Тезис восьмой:
Существует 2 способа адаптации к действительности.
Активный - модель мира диктует как должно быть, человек пытается изменить реальность.
Примеры: "болеть - плохо" - ищем способ лечения, "эксплуатация - плохо" - строим общество без эксплуатации, "рисовать Магомета - плохо" - убиваем художников рисующих Магомета
Пассивный - модель мира несовершенна, человек меняет модель мира
Примеры: "болеть - плохо" - "надо поменьше думать о болячках, само пройдет",
"эксплуатация - плохо" - "все друг друга эксплуатируют, это нормально",
"рисовать Магомета - плохо" - "на все воля Аллаха, за свои грехи каждому придется расплачиваться"

(Ответить) (Уровень выше) (Ветвь дискуссии)

	balanseeker@lj 2010-07-13 12:37 (ссылка)
	От модели мира и интеллекта (4) зависит выбор способа адаптации в каждом конкретном случае. (Ответить) (Уровень выше)

balanseeker@lj
2010-07-14 05:48 (ссылка)

Цетральная задача механизма психики - обнаружив противоречие между моделью мира и реальностью, определить способ разрешения этого противоречия - активный или пассивный.

В случае с активным способом адаптации - не требуется усили на перестройку модели мира, но требуются усилия на некоторое изменение реальности, приведение ее в соответствие с тем, что диктует модель мира. Неинтеллектуалы часто выбирают именно этот путь.

В случае с пассивным способом адаптации - можно оставить внешний мир как есть, но потребуется изменить собственную модель мира. Но чем сложнее модель, тем больше усилий (душевных) потребуется на то, чтобы найти умственную конструкцию, которая "впишеться" в старую модель не подвергая ее полному разрушению. В редких случаях требуется серьезная перестройка модели мира.
Это то, что обычно называют кризисом.

Психологам хорошо известны возрастные кризисы (1 год, 3 года, 6 лет, 12-15 лет и т.д), на мой взгляд, это и есть периоды перестройки и усложнения модели мира.

Следует сказать, что встречаются люди, которые избегают выбора между пассивным и активным способам адаптации. Их способ - не замечать противоречие.

(Ответить) (Уровень выше)

(Читать комментарии) -