Как искусственный интеллект убьет всех человеков (или нет). Шизоидный стрим на Когнитивном надзоре Пишу по свежим впечатлениям от стрима (или диспута, или баттла) "ИИ: нас убьёт или спасёт? ДЕБАТЫ: Марков VS Мастридер"* у Вадима Савицкого (Когнитивный надзор**)
Во-первых: респект Савицкому за то, что он это организовал.
Во-вторых: я ожидал, что участники будут бредить наяву - но не мог себе представить, что они переплюнут в этом весь корпус анекдотов про диалоги в сумасшедшем доме.
Мастридер начал с перечисления авторитетов AI-отрасли, которые приводят вероятностные оценки того, что AI станет AGI, сверхчеловечески поумнеет и убьет всех человеков. Оценки достигают где-то 20% (типа, всем надо испугаться).
Марков, вместо того, чтобы спросить, откуда вдруг возьмется AGI, и как хотя бы теоретически пошагово выглядит трек убийства оным всех человеков - стал подыгрывать, возражая лишь в том смысле, что ответственные лица прилагают усилия, чтобы минимизировать риск.

Мастридер стал рассуждать о давней опасности атомной бомбы и недавней опасности AI. Тогда Марков не удержался и ляпнул, что нынешняя модель AI вообще-то придумана тогда же, когда атомная бомба: в 1940-х (нежданчик для зрителей, думавших, будто все началось с Альтмана).
Дальше они обсуждали ультра-бредовый AI alignment (кто не в курсе - можно глянуть тут***).
Ближе к финалу Марков устал притворяться инклюзивным психотиком, поддерживающим диалог о монстре Франкенштена, и брякнул, что (на самом деле) та херня, которая называется LLM AI просто перемножает большие матрицы, в которые кодируется обучающая выборка. Ничего больше в ней нет и никогда не будет.
Далее он отметил, что (опять нежданчик) все критические объекты уже управляются софтвером, а не людьми, так что поздновато начинать бояться бунта компьютеров.
Тут он, конечно, слукавил. Дело в том, что LLM AI отличается от нормального софта характером багов. Специфика LLM в способности генерировать галлюцинации. Это баг, который заведомо невозможно выловить, поскольку генерирование галлюцинаций происходит по той же схеме, по которой генерируются целевые информационные блоки.
Впрочем, быть может, это уже не очень важное отличие - с тех пор, как программирование индостанизировалось, и освобождение кода от багов уже не считается обязательной задачей до сдачи софта в эксплуатацию.
По-любому, все дерьмо, которое можно было сделать по глупости или злокозненности - люди делают и так. Никакая злая воля мифического AGI для этого не требуется.
...Такие дела...
------------------------------
*) ИИ: нас убьёт или спасёт? ДЕБАТЫ: Марков VS Мастридер
Сергей Марков - директор по развитию технологий искусственного интеллекта Сбера, и Григорий Мастридер - автор канала "Книжный чел", который пишет о рисках развития ИИ с 2015 года, сегодня сойдутся на дебатах о рисках искусственного интеллекта
https://youtu.be/0s9tkvSl32M**) Вадим Савицкий [Когнитивный надзор]
https://t.me/cognitivniynadzor/1237***) Взгляд моего гуру на проблему AI alignment
https://habr.com/ru/companies/raft/articles/787358/