Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет ivanov_petrov ([info]ivanov_petrov)
@ 2010-07-13 07:42:00
Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Компьютерный пересказ текста
У меня вопрос. Есть ли разработки в этом направлении?
Понятно, что есть морфологический анализ слов, поисковые индесы по тексту, расстановка тэгов и ключевых слов. Переводчики. Это понятно. Но вопрос о другом: компьютерное реферирование и пересказ - развиваются?

Это ведь вопрос об искусственном интеллекте. Просим - перескажи текст, не зачитай, а перескажи. Критерий. Я пока не смог понять, насколько это уже удается.

"Работают над этим давно http://www.gpntb.ru/win/ntb/ntb2001/12/f12_03.htm
выработаны многочисленные подходы к решению данной проблемы, которые достаточно четко подразделяются на два направления – квазиреферирование, основанное на экстрагировании из первичных документов с помощью определенных формальных признаков «наиболее информативных» фраз (фрагментов), совокупность которых образует некоторый экстракт (квазиреферат), и собственно автоматическое реферирование, основанное на выделении из текстов с помощью специальных информационных языков наиболее существенной информации и порождении новых текстов (рефератов), в большей или меньшей степени изоморфных первичным документам (или их частям)."

Как я понимаю, это работа с частоткой - выделяются значимые частые слова и ими фаршируется новый текст =автореферат.

"Суть индикаторного метода заключается в использовании словарей маркеров, индикаторов и коннекторов (лексический аппарат свертывания), насчитывающих свыше 1 500 лексических единиц так называемой неключевой внетематической лексики, и формул выбора, отражающих требования к различным видам вторичных документов для машинного экстрагирования фраз, которые относятся к различным содержательным аспектам документов (в нашем случае научно-технических статей). Совокупности таких фраз, определенным образом упорядоченных, и образуют различные виды вторичных документов – основного средства информационного обслуживания."

http://www.olap.ru/basic/refer.asp
Системы автоматического реферирования
(старый текст, 2000 г.)

http://www.kansas.ru/pb/paper/rcdl2007.pdf
Система автоматического реферирования новостных сообщений на основе машинного обучения

http://elar.usu.ru/bitstream/1234.56789/1424/1/IMAT_2005_25.pdf
Автоматическое реферирование веб-документов с учетом запроса
В системе используется восходящий к работам 1950-60-х годов подход к выделению важных предложений (sentence extraction) с небольшими модификациями.

http://rcdl.ru/doc/2008/177_183_paper20.pdf
О методе автоматического реферирования, основанном на результатах рубрицирования документов
Идея метода заключается в том, чтобы максимально использовать результаты предшествующих этапов обработки и составлять реферат после определения основных тем документа.

http://www.seminarprojects.com/Thread-development-of-an-auto-summarization-tool
Development of an auto-summarization tool

http://www.informaworld.com/smpp/content~db=all~content=a917618494
Automatic Abstracting and Summarization

http://www.minesight.com/enl/February_2010/February_English/Seminar_abstracts.pdf

http://itt.nissat.tripod.com/itt0202/ruoi0202.htm

http://www.pertinence.net/index_en.html

http://www.isi.edu/natural-language/projects/SUMMARIST.html

http://www.indiastudychannel.com/resources/12455-Development-an-auto-summarization-tool.aspx
----------------------------
Насколько я понимаю, пока глухо - есть очень корявые системы, на уподобление настоящему пересказу рассчитывать нечего.
(C) [info]zh3l@lj

(Читать комментарии) - (Добавить комментарий)


[info]ivanov_petrov@lj
2010-07-13 04:04 (ссылка)
что тут сказать. Можно изложить здесь, мне. Можно на страницах Вашего журнала - френдам. Скорее всего, не согласятся = "не поймут", но это уж всегда так. Но прочтут, скорее всего

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-13 07:57 (ссылка)
Ну хорошо. Давайте в диалоге попробуем.

Начну с сакраментального вопроса. Что такое эмоции? Зачем они нужны? Почему эмоции по мере развития человеческого интеллекта становяться более разнообразными/сложными?
Попробуйте ответить сначала сами. Достаточно одного абзаца.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 08:01 (ссылка)
Нет, в диалоге не выйдет. Видимо, тут непонимание. Вы сказали - как я понял - "хочу рассказать о своей теории". Я ответил - давайте выслушаю. Но вот затевать многоэтажный диалог - нет, на это я не подписывался. Если нет желания рассказывать - никаких проблем.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-13 08:26 (ссылка)
Ок. Реплики необязательны.
Итак, тезис первый:
Эмоций всего две. Положительная и отрицательная. Остальное - интеллектуальная окраска. Зависит от обстоятельств вызвавших эмоцию.

Тезис второй: Есть реальность. Т.е. реальный мир, обстоятельства и отношения существующие объективно.
Есть образ реальности в нашем мозгу. Модель мира.
Модель может быть очень упрощенной как у ребенка и довольно сложной как у зрелого человека.
Ну и, очевидно, "Жизнь богаче схемы", т.е. модель всегда имеет неполноту, применима только в определенных границах.

Тезис третий: Положительная эмоция возникает тогда, когда модель мира подтверждается на практике.
Отрицательная, когда модель мира входит в противоречие с реальностью. Когнитивный диссонанс.

Итак, психика - система с обратной связью. Получаем комфорт если модель мира получает подтверждение, получаем дискомфорт, если модель мира не может описать реальность.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 08:37 (ссылка)
Симпатия и антипатия, завязанные на познание.

В модели мира есть волк. Я знаю, что такое волк. Он меня ест - мне это не нравится. Хотя это вполне соответствует его месту в моей картине мира.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-13 09:17 (ссылка)
Вариации про волка.

- Я признаю наличие волка в реальном мире. Я знаю, что волк - опасен. В своих действиях я учитываю это.

- Я признаю наличие волка в реальном мире. Я не верю что волк опасен, он такой милый по телевизору. Все кто говорят, что волк опасен ничего не понимают в этом. Скорее всего их обманули или они хотят обмануть меня.

- Я не признаю наличие волка в реальном мире, это сказочный персонаж.

Три разных модели мира...

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 09:29 (ссылка)
Боюсь, Вы не ответили. Ваш ответ должен был быть - про то, что картина мира включает ценности. Про познание - там напрашивается про эмоции животных. Вам придется идти до конца - что у амебы есть картина мира. по сути, отступать к панпсихизму - и атомы чувствуют.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-13 09:39 (ссылка)
"Картина мира" амебы это генетический код. Т.е. полная картина мира для человека - это совокупность HARDWARE (в виде генной, биологической информации), BIOS (примитивные инстинкты) и SOFTWARE (наращиваемая, формируемая на протяжении жизни картина мира)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 09:43 (ссылка)
Вы сказали: эмоции амебы - это соответствие чего-то с ее генетическим кодом.

М-да.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-13 09:49 (ссылка)
Где я это сказал? Цитату.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 09:51 (ссылка)
http://ivanov-petrov.livejournal.com/1463973.html?thread=71811237#t71811237
комфорт если модель мира получает подтверждение, получаем дискомфорт, если модель мира не может описать реальность
http://ivanov-petrov.livejournal.com/1463973.html?thread=71817125#t71817125
"Картина мира" амебы это генетический код

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-13 10:03 (ссылка)
На каком основании Вы распространили сказанное мной про человека на амебу?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 10:25 (ссылка)
о, без всяких оснований. я не думал, что вы будете сопротивляться тезису, что животные испытывают эмоции. А если принять это, то никакой границы до амебы - нет, если признаете, что у собаки есть, так и амебе надо что-то уделять - в такой трактовке. Но, конечно, это я так думал, а вы - своей мысли хозяин, можете ее к животным не подпускать.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-13 10:45 (ссылка)
"Эмоции у животных" - это такая психологическая байка, для прикрытия теоретической слабости в вопросе объяснения сути эмоций.
У высших животных собак, дельфинов, лошадей эмоции конечно есть, но в целом, эмоции - это достояние существ обладающих довольно высоким интеллектом.
Речь об эмоциях, в данном случае, идет как о сложном чувстве.
Если же говорить о явлении позитивного или отрицательного отклика, разновидности обратной связи (о чем я заявил в первом тезисе), то конечно все животные обладают таким свойством.
Самое сложное - это понять некую границу, начиная с которой такая обратная связь получает интеллектуальное осмысление, окраску и становиться именно эмоцией в том смысле, в котором ее упоминают психологи.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 11:19 (ссылка)
понятно

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 10:05 (ссылка)
"Картина мира" амебы... кавычки не замечаем?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 10:26 (ссылка)
я примерно понял. Отчего же нет. Конечно... Как Вы говорите? Часть адаптивного ответа? да, так, в общем, все и говорят.

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 10:01 (ссылка)
Поясняю. Психика - это часть адаптационного аппарата. У амебы психики нет, адаптационный аппарат амебы опирается на генетический код, примитивные рефлексы. Говорить об эмоциях тут нельзя. Но можно говорить об обратной связи между внешним воздействием и реакцией амебы.

Эмоции также выполняют функцию обратной связи. Только они воздействуют в первую очередь на сознание/ощущение человека, а на соматику действуют во вторую очередь. Если быть совсем точным, то степень воздействия эмоции на разум или тело зависит от конкретного человека и его состояния.

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 09:40 (ссылка)
Про "ценности" я написал в указаннойй статье.

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 08:30 (ссылка)
Более детально смотрим здесь:

http://www.scorcher.ru/neuro/conceptions/zaharov/zaharov.php
Но тут только предпосылки для следующего логического хода.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 08:38 (ссылка)
спасибо, посмотрю

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 09:09 (ссылка)
Тезис четвертый: Человеческий язык удобен в качестве знаков (указателей), указывающих на отдельные части модели мира, "наклеек" на умственные конструкции, но неудобен для описания собственно моделей. Т.е. наш мозг хранит модель мира в какой-то форме имеющей несловесный характер.

Это легко понять, наблюдая как мы доносим до школьников планетарную модель Солнечной системы.
Модель орбит из проволоки и шариков-планет объяснит устройство гораздо лучше, чем словесное описание.

Таким образом, решая задачу искусственного интеллекта, первое что мы должны сделать, это создать конструктор позволяющий описывать любые модели: статические, динамические, многомерные. Словесный язык, для этого не подходит.

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 11:27 (ссылка)
Тезис пятый: Психика работает как некий механизм, который требует регулярного подтверждения модели мира. Т.е. психика ИНИЦИАТИВНО тестирует окружающую действительность на предмет соответствия/несоответствия модели мира. Тестирование как правило касается некой небольшой, частной области этой модели. Те области модели которые не тестируются находятся на периферии интересов, и могут иметь сильное рассогласование с реальностью, однако это не приводит к явному когнитивному диссонансу до момента когда случай не заставит протестировать и эти области модели мира.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-13 11:29 (ссылка)
Это весьма похоже на сложившиеся модели трактовки психики - у Анохина с АРД, Симонова и Амосова. Примерно в этом ключе они и мыслили, по теме несколько монографий.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-14 07:23 (ссылка)
Повторю еще раз. В психологии на сегодня НЕТ работ достаточно полно описывающих механизм работы психики, так, чтобы была видна законченная непротиворечивая модель психики.
Возможно, что причина как раз в том, что словесный язык не удобен в описании сложных моделей. Автор может иметь эту модель в голове, но передача ее другим (читателям) есть почти неразрешимая задача.

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 11:48 (ссылка)
Тезис шестой:
Психика затрачивает усилия на поддержание внутренней непротиворечивости модели мира.
Если человек на протяжении своего взросления сформировал достаточно адекватную модель мира, то на эти усилия затрачивается не слишком много ресурсов мозга.
Если человеку не хватило интеллекта составить более-менее качественную/адекватную модель мира, то усилия психики по поддержанию внутренней непротиворечивости могут натолкнуться на принципиально неразрешимые противоречия. Это может быть первопричиной многих психических проблем. В частности шизофрения характеризуется состоянием "разделенного сознания", т.е. одна область модели мира несовмещается с другой.

Наоборот, религиозный, верующий человек, за счет внесения концепта Бога в модель мира допускает простые объяснения для сложных вещей, уменьшая тем самым потребность в снятии внутренних противоречий. Достигается психотерапевтический эффект.

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 12:09 (ссылка)
Тезис седьмой:
Интеллект - это качество состоящее из нескольких компонент:
1. способность изобретать/конструировать/перенимать частные области (модели мира) и вписывать их в существующую модель мира
2. способность рационально осмыслить рассогласование модели с действительностью
3. способность рационально осмыслить внутренние противоречия в модели мира
4. способность выбрать наиболее адекватную частную область модели для описания некоторой конкретной реальности, выбрать правильный контекст

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-13 12:26 (ссылка)
Тезис восьмой:
Существует 2 способа адаптации к действительности.
Активный - модель мира диктует как должно быть, человек пытается изменить реальность.
Примеры: "болеть - плохо" - ищем способ лечения, "эксплуатация - плохо" - строим общество без эксплуатации, "рисовать Магомета - плохо" - убиваем художников рисующих Магомета
Пассивный - модель мира несовершенна, человек меняет модель мира
Примеры: "болеть - плохо" - "надо поменьше думать о болячках, само пройдет",
"эксплуатация - плохо" - "все друг друга эксплуатируют, это нормально",
"рисовать Магомета - плохо" - "на все воля Аллаха, за свои грехи каждому придется расплачиваться"

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-13 12:37 (ссылка)
От модели мира и интеллекта (4) зависит выбор способа адаптации в каждом конкретном случае.

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-14 05:48 (ссылка)
Цетральная задача механизма психики - обнаружив противоречие между моделью мира и реальностью, определить способ разрешения этого противоречия - активный или пассивный.

В случае с активным способом адаптации - не требуется усили на перестройку модели мира, но требуются усилия на некоторое изменение реальности, приведение ее в соответствие с тем, что диктует модель мира. Неинтеллектуалы часто выбирают именно этот путь.

В случае с пассивным способом адаптации - можно оставить внешний мир как есть, но потребуется изменить собственную модель мира. Но чем сложнее модель, тем больше усилий (душевных) потребуется на то, чтобы найти умственную конструкцию, которая "впишеться" в старую модель не подвергая ее полному разрушению. В редких случаях требуется серьезная перестройка модели мира.
Это то, что обычно называют кризисом.

Психологам хорошо известны возрастные кризисы (1 год, 3 года, 6 лет, 12-15 лет и т.д), на мой взгляд, это и есть периоды перестройки и усложнения модели мира.

Следует сказать, что встречаются люди, которые избегают выбора между пассивным и активным способам адаптации. Их способ - не замечать противоречие.

(Ответить) (Уровень выше)


[info]balanseeker@lj
2010-07-16 01:40 (ссылка)
Странно, что проявив сначала интерес, Вы как то замолкли...
Неинтересно? Банально? Или подкормились идеями и дальше пошли?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-16 01:46 (ссылка)
Я не специалист в этой области и наверняка не могу увидеть многих важных деталей. Общий настрой теории мне знаком - я сказал, каких авторов напоминает, там примерно та же редукция, некоторые детали рассуждений буквально повторяют то, к чему пришел Амосов. Думаю, это не случайно - у вас были общие мотивы, некоторое презрение к психологам, которые не говорят внятно, и попытка сделать технически-ясное изложение. Хотя, наверное, отличия найдутся, как без этого. Как мне кажется, я понял общую направленность и основные черты теории. На этом самом уровне - что идеи мне давно знакомы, так что не подкормился... а вспомнил.

Мне кажется, это вызывает у Вас раздражение? Пожалуйста, не сердитесь. Я готов поверить, что Вам эта теория представляется чрезвычайно важной, открывающей глаза и пр. и не собираюсь с этим спорить. На мой взгляд, Вы в краткой и ясной форме переизлагаете старые мысли, известные минимум больше полувека - но это ничем не плохо.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-16 02:13 (ссылка)
Да я не трясусь над своими идеями. Мне нужен критичный собеседник, чтобы увидеть слабые или не проработанные стороны. К сожалению, письменно излагаемые мной тезисы выглядят бедно, нужно иллюстрировать их живыми примерами, из жизни. Лучше всего это происходит в живом разговоре...

Плюс к этому мне кажется, что современная разработка ИИ сводится к работе с языковыми конструкциями, что на мой взгляд - тупиковый путь. Реальное распознавание речи - это распознавание смыслов. А смыслы - это проекции частных областей модели мира...
Короче тут много о чем есть поговорить.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-16 02:25 (ссылка)
Амосов именно что и хотел - отбросить массы психологических деталей и создать модель психики, пригодную для воплощения в программе. Этот его толстый том в соавторстве с Касаткиными и Талаевым - там многое изложено, хотя уровень программирования в начале 70-х был дремучим.

Я не думаю, что Вам нужна критика. Я несколько не удержался и попробовал намекнуть на слабые стороны - Вы отбросили эти высказывания. И, наверное, правильно. Ваша теория не годится как "настоящая" психологическая теория, ее бессмысленно судить с точки зрения - так ли в самом деле устроена психика. мне кажется очевидным, что не так. Ваша теория - это не выяснение того, что есть, а попытка сконструировать модель. Так что нет смысла придираться, что у вас там с разграничением с животными, как эмоции функционируют у каких групп... Это лишнее. Вам, видимо, надо строить модель, программу - и тогда явятся технически множественные накладки, а если вся штука будет работать, можно будет говорить, пригодилась ли теория.

Мне кажется, это следует сильнее подчеркивать при изложении - чтобы не возникало соблазна понять Вас так, будто речь идет о чем-то существующем, будто говорится о том, как устроена "настоящая" психика

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-16 03:06 (ссылка)
--Ваша теория не годится как "настоящая" психологическая теория
Мне это не понятно. Любая теория, в общем-то, модель. Более тщательно проработанная или менее.
Каков ваш критерий "настоящести"?
-- Ваша теория - это не выяснение того, что есть, а попытка сконструировать модель.
Так в той же физике сначала рождалась модель, потом шли теоретические проверки, уточнения или отказ от модели. Иногда как в случае с электро-магнитным полем две модели сливались (корпускулярная и волновая теории).
Т.е. "выяснение того, что есть" без отработки моделей невозможно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-16 03:07 (ссылка)
да, я понимаю. Лучше этого не выяснять.

(Ответить) (Уровень выше)


[info]ivanov_petrov@lj
2010-07-16 03:19 (ссылка)
http://algebraic-brain.livejournal.com/profile
http://falcao.livejournal.com/profile

кажется, у этих юзеров могут быть мысли на этот счет. Тех, кто считает, что любая теория - это модель - не перечесть, таких почти весь ЖЖ, но Фалкао отличается подробной манерой изложения и удивительным умением прояснять невнятное, а Алгебраический мозг, если не ошибаюсь, давно пытается математически смоделировать разные аспекты жизни.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-16 03:22 (ссылка)
-- Тех, кто считает, что любая теория - это модель - не перечесть, таких почти весь ЖЖ
А Вы то сами как думаете? Или Ваша стратегия избегать прямого формулирования своей позиции?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2010-07-16 03:53 (ссылка)
я на эту тему говорил десятки раз и мне надоело.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]balanseeker@lj
2010-07-16 05:33 (ссылка)
Тогда понятно. Спасибо что уделили внимание и за ссылки (там интересные журналы)

(Ответить) (Уровень выше)

(Читать комментарии) -