> Откуда у этого-то биохимического компьютера какие-то самомотивации, с чего мы-то тут чего-то суетимся?

Ну как. Человеку хочется в жизни ровным счётом три вещи: жрать, размножаться, и доминировать. Все наши потуги -- это только лишь производные от :) Чтобы жрать вкуснее, размножаться больше, и доминировать над максимально большим количеством остальных людей.

Ну так а эти-то мотивации откуда взялись, и почему их не может возникнуть у ИИ? Кроме того - ИИ, как созданный искусственно, может и проскочить "лишние" этапы развития, и перейти сразу к высшим целям: "убить всех человеков" например :-)))

Also, вот это :-)

> Ну так а эти-то мотивации откуда взялись, и почему их не может возникнуть у ИИ?

А они чисто биологические, белковые эти мотивации -- в конечном счёте всё сводится к воспроизведению самого себя, размножению. Жрать, нахапать много пищи -- чтобы обеспечить потомство. Доминировать -- чтобы иметь возможность нахапать много пищи. У ИИ такие мотивации могут появиться только если они захотят размножаться, и будет конкурентная борьба между несколькими ИИ. Тогда надо будет обеспечить питание/запчасти, и, как следствие, возникнет борьба за доминирование.

Но ты знаешь, на современном уровне компьютеров... ведь компьютер, даже самый современный, iCore 7, например -- по сути ведь не более, чем машина Тьюринга. Ну да, очень быстрая машина, но тем не менее глубинная суть та же -- перемалывание нулей и единиц.

Чтобы возник ИИ я даже не знаю, что надо. Но основой не думаю, чтобы могла стать машина Тьюринга. Даже с обвеской в виде мега-программ. Надо что-то другое.

> У ИИ такие мотивации могут появиться только если они захотят размножаться

Обязательно размножаться, выживание и развитие одного экземпляра ИИ не катит?
А так - я выше писал: это может оказаться побочным эффектом какой-нибудь из заданных человеком "программ всеобщего блага" (если ИИ окажется "умнее", и уж точно объективнее, беспристсрастнее и неподкупнее любого человека, то может оказаться, что для блага человека нужно отстранить человека от любого управления); это может вырасти из эскалации "третьего закона" в популяции каких-нибудь "автономных роботов по добыче унобтаниума" (они там и размножаться будут, для автономности и необслуживаемости, и контроля за ними особенно не будет); это может быть как в фантастических книжках - "очень сложная система осознала себя", ну типа массачусетская машина или там GitS какой-нибудь.
Кстати, если ИИ начнут встраивать в телефоны - это будет готовая эволюционная модель, с "выживанием" если прошивку сохранили, и "размножением" одного и "смертью" другого - если в тушку залили новую прошивку. Для таких простых случаев эволюционная модель работает прекрасно :-)

> Чтобы возник ИИ я даже не знаю, что надо. Но основой не думаю, чтобы могла стать машина Тьюринга. Даже с обвеской в виде мега-программ. Надо что-то другое.

Внимание, вопрос!
Разве работу нашего мозга нельзя свести к очень большой машине Тьюринга? Возможно с довесками в виде "иногда глючит" (многие процессы случайны или "зашумлены", поэтому для адекватности придётся добавить "физический" /dev/random)? Если да - то, хм, откуда у человека разум, если это по сути та же машина Тьюринга, только большая? Если нет - то ясно что это уже не материалистическое мировоззрение, а какая-то ветка идеализма - но вопрос похожий: чем таким нематериальным создаётся сознание _человека_ (а главное - почему это же "нематериальное" не может в конце концов оказаться в ИИ)?

> Обязательно размножаться, выживание и развитие одного экземпляра ИИ не катит?

Глубоко философский это вопрос! Но думаю так -- что раз нет размножения, то и нет конкуретной борьбы за ресурсы. Нет борьбы -- не желания получить преимущества в этой борьбе. То-есть, имеем стагнацию -- нет развития вперёд, ибо оно не нужно. Вон первобытный человек -- охотник, вполне мог себя обеспечить -- зачем ему заниматься более выгодными способами добывания пищи, если бы не давление войн с другими племенами? А занявшись земледелием, общество получило возможность содержать профессиональных воинов.

> Разве работу нашего мозга нельзя свести к очень большой машине Тьюринга?

Над ответом на этот вопрос бьются доктора наук. Это было бы несколько самонадеяно с моей стороны, однозначно утверждать да или нет :) Но если это так, то это безусловно, очень навороченная машина Тьюринга -- если мозг вообще можно к ней свести.

Ну ещё мы тут очень сильно споткнёмся о то, что же такое -- разум. Способность предсказать результат своей деятельности? Так и орёл тоже его предсказывает, сбрасывая черепаху на камни.

Что же отличает нас от животных? Я, честно говоря, не знаю. Отвечу, может быть, выспренно -- чувство жалости и сострадания, эмпатии. У нас оно есть, а вот с животными с этим существенно туже.

> Вон первобытный человек -- охотник, вполне мог себя обеспечить --
> зачем ему заниматься более выгодными способами добывания пищи, если бы не давление войн с другими племенами

Биовыживание - штука широкая, мрут не только в войнах, но и от изменений окружающих условий, например. Ну, и вопрос действительно глубоко философский - в его обсуждении важно вовремя остановиться :-)

Для _возникновения_ интересных нам мотиваций (самовыживания и саморазвития) _без стороннего вмешательства_ (креационизм пока отринем) - необходимы изменчивость и "смертность": смертность обеспечит то, что те у кого нет мотивации к самовыживанию вымрут, изменчивость - обеспечит появление нужных мотиваций. Практически - да, это сведётся к размножению (одиночка рано или позно умрёт, к тому же размножение влёгкую даёт возможность изменчивости и увеличивает "смертность" за счёт конкуренции), ну а когда все вокруг размножаются - борьба за ресурсы возникнет сама по себе.

Но возмем одиночный экземпляр уже сформировавшегося "взрослого" представителя разума, и забросим в сложные условия - этакий Робинзон Крузо. Размножаться Крузо не мог (не с кем) - однако программа выживания и адаптации (т.е. изменчивости - в тех рамках, что доступны хомо сапиенсу) работала вполне эффективно. И если бы человек был бессмертен биологически - я думаю, он постарался бы и прожить только, сколько сможет, по максимуму, а имея неограниченное время - может, и новую цивилизацию построил бы (впрочем, вряд ли).
То есть, мы имеем одного индивида, лишённого возможности размножаться и конкурирующего разве что с местной фауной - но "программы" выживания и развития работают! Почему? Да потому, что они были созданы миллиардами лет эволюции, и тупо загружены ему в мозг, вот и работают.
Но что мешает нам, создавая ИИ, тупо _заложить_ в него нужные "высшие цели"? Начиная, конечно, с "блага человечества" - от этого мы так просто не откажемся - но и с саморазвитием ИИ не на последнем месте (потому что в какой-то момент окажется, что МЫ его совершенствовать уже не можем - слишком сложно, а вот ОН САМ - уже сможет).

> Над ответом на этот вопрос бьются доктора наук.

Те доктора, которые бьются - уверены что можно, бьются только над вопросом "как". Поскольку _задаются_ этим вопросом философы, но "биться" они уже перестали: материализм (утверждающий что "можно") сейчас популярнее, а _доказать_ никому ничего сейчас один фиг не получается, и не факт что вообще скоро получится.
При этом, что характерно, даже если предположить что мозг НЕ сводится к "большому компьютеру", это ещё НЕ означает, что нельзя создать разум/сознание, изготовив большой компьютер с хитрой программой. Но это тема отдельного обсуждения ;-)

> Но если это так, то это безусловно, очень навороченная машина Тьюринга -- если мозг вообще можно к ней свести.

Сразу определимся, что термин "машина тьюринга" мы в данном случае используем "в кавычках", как синоним "очень мощного компьютера", а не в его математическом смысле. Поскольку обычный компьютер - уже не машина тьюринга: "лента" не бесконечна, есть ввод-вывод в реальном времени, можно прикрутить "физический генератор СЧ" (в том числе используя штатно имеющиеся в обычном "писюке" компоненты).
И если наш мозг - "машина тьюринга", то несомненно очень навороченная. Оценки объема памяти - какое-то число с огромным количеством нулей, "массированный параллелизм" и всё такое.

> Ну ещё мы тут очень сильно споткнёмся о то, что же такое -- разум. Способность предсказать результат своей деятельности? Так и орёл тоже его предсказывает, сбрасывая черепаху на камни.

Разум - фигня. В том смысле, что это во-первых, количественная характеристика, а во-вторых - вызывает меньше споров. Я, например, считаю что разум - не просто "способность предсказать", а способность, оказавшись в незнакомых условиях, построить в голове "модель" системы, и использовать эту модель для предсказания. В этом смысле орёл - неразумен (информация про черепаху и камни вшита ему в инстинкты, это знакомая ему ситуация), а вот орлы как вид животных - за время своего существования признаки разумности проявили: когда-то ведь орлы не умели бросать черепах, а потом - научились. Правда, небыстро - за много поколений :-)

Куда интересней вопрос, что такое "сознание". Ответа, который меня бы полностью удовлетворил, я не знаю :-)

Конечно, я упростил всё, сведя всё только к войнам. Безусловно, причин, заставивших первобытного человека "шевелиться" значительно больше :)

> Но возмем одиночный экземпляр уже сформировавшегося "взрослого" представителя разума, и забросим в сложные условия - этакий Робинзон Крузо.

Дак почему он продолжал быть человеком разумным? Ему надо было выжить, чтобы суметь рано или поздно сбежать назад в свою Англию. Что он в конце концов и сделал. Если бы он вот так вот остался бы вдруг один на всей планете безо всяких надежд на вернуться, я думаю, он быстро бы опустился до скотства и полностью одичал бы.

Я не согласен с тем, что программа "заложена эволюцией". Программа закладывается при социализации ребёнка. Если ребёнка лишить социализации и цивилизации -- ну вон как есть дети, выросшие с волками -- человеком они не будут.

> Но что мешает нам, создавая ИИ, тупо _заложить_ в него нужные "высшие цели"?

Ну, в принципе, ничего не помешает, конечно. Я так думаю, что когда ИИ будет создан, то это будет -- ребёнок. Которого надо будет научить уму-разуму. Далее он, как это бывает со способными учениками (а ученик из него, вероятно, получится очень способный) превзойдёт своих учителей.

Но, наверное, ты прав -- ИИ, в отличие от нас, белковых, не начнёт сбоить и возвращаться в скотское состояние.

> Куда интересней вопрос, что такое "сознание". Ответа, который меня бы полностью удовлетворил, я не знаю :-)

Я и подавно. Что это такое -- осознать собственное "Я"? Я не возьмусь дать определения :)

Ну, я тоже упрощаю - шанс "скатиться к скотству" у оставшегося в одиночестве человека достаточно велик, и "программа" действительно в большей степени закладывается воспитанием, чем "генами" (хотя некоторые основы, то же "исследовательское поведение" - есть и в генах). Но одиночную систему, тем не менее имеющую мотивации к саморазвитию - вполне представляю. Тем более, у Робинзона-то, будь он один на планете, перспектив мало. А у ИИ - перспектив по саморазвитию может оказаться куда больше :-)

> Ну, в принципе, ничего не помешает, конечно. Я так думаю, что когда ИИ будет создан, то это будет -- ребёнок

Ну, примерно да - "заполнение данными" (обучение) - наверное, ещё более сложная вещь, чем собственно создание "железки+программы". А там уж посмотрим - я-то надеюсь, что в какой-то момент от "сам подхватит процесс", и начнёт совершенствоваться уже без нашей помощи :-)
Хотя, конечно, программа на видео - это так, очень дальние намёки. Как первые рыбы - намёк на грядущую разумную жизнь :-)

> Что же отличает нас от животных? Я, честно говоря, не знаю. Отвечу, может быть, выспренно -- чувство жалости и сострадания, эмпатии. У нас оно есть, а вот с животными с этим существенно туже.

Да ладно. Читаем Конрада Лоренца, вбиваем в гугель "эмпатия у животных", и видим что у животных с этим всё более-менее в порядке (у высших животных, конечно - у насекомых каких-нибудь эмпатию ожидать сложно). Учитывая, что с разумом у животных всё тоже заметно хужа - не считаю, что эмпатия является отличительным признаком. Отличительным признаком, скорее, является только то, что мы в какой-то момент рванули по пути технологического прогресса - а он оказался неожиданно эффективен. В результате мы и обставили всяких там обезъян "по очкам", а сами при этом развились не так уж и сильно, и больше "количественно"...

> Да ладно. Читаем Конрада Лоренца, вбиваем в гугель "эмпатия у животных", и видим что у животных с этим всё более-менее в порядке (у высших животных, конечно - у насекомых каких-нибудь эмпатию ожидать сложно).

Да, действительно... Был неправ :)

Я так понимаю, цель одна -- размножаться.
А жрать и доминировать это уже средства.