Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет Misha Verbitsky ([info]tiphareth)
@ 2022-12-21 15:52:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Настроение: sick
Музыка:Cocteau Twins | Lullabies
Entry tags:ai, math, nauka, smeshnoe

похоронит университеты и академию в целом
Прекрасное же
https://meta.mathoverflow.net/questions/5531/chatgpt-strikes-mathoverflow
Mathoverflow, если кто не знает, это юзер-модерируемый
проект исследовательского уровня с математическими
вопросами и ответами, довольно часто неописуемо полезный.
Я им постоянно пользуюсь, и всем советую, постоянно
ставлю в статьях ссылки на дискуссии оттуда, они
реально бывают уровня хороших публикаций.

Ну так вот, кто-то научился отвечать на вопросы из
mathoverflow чат-ботом chatGPT, до того успешно, что
некоторые ответы чат-бота приняты как верные юзерами.
90% юзеров чего угодно дебилы, ну а поскольку
это mathoverflow, 99% юзеров ко всему прочему
ужасные аутисты, и им часто свойственна
неуместная вежливость, даже к роботам.

Судя по сохранившимся ответам чатбота, пишет он
неописуемую бредятину, но многие воспринимают
за чистую монету.

Это вообще проблема около-математической жизни:
студенты, которые не в состоянии отличить доказательство
от недоказательства. Одно из самых страшных математических
заболеваний, если граждане воспринимают математический
текст как текст гуманитарной науки, а не как текст,
в котором в каждой фразе может содержаться вранье,
и читателю необходимо убедиться, что оно там не
содержится.

Мы много лет организовывали
ежегодную летнюю конференцию в Ярославле для студентов,
постепенно там сформировался специфический контингент
слушателей, и в какой-то момент я пришел к выводу,
что они воспринимают как математическую лекцию любую
последовательность умных слов, не вникая в их содержание,
и уж точно не пытаясь ничего отпарсить. Критерием
оценки была престижность научных терминов
(ну типа, мотивы +10, топосы +20, вот это все),
и клинически бредовые лекции про топосы воспринимались
слушателями (по большей части не знавшими вообще ничего,
даже совсем базовых вещей) с огромным энтузиазмом.

После этого я перестал туда ездить,
потому что чатбот справится с функцией чтения
лекций для подобной аудитории все равно лучше меня.

Но в принципе, в математике чатГПТ работать не умеет,
ибо бред отделяется от небреда очень просто, робот
не умеет не наляпать грубых ошибок, даже если владеет
хорошо владеет математическим языком. Это потому что
у уравнения правая часть должна быть равна левой,
а сосчитать их чатбот не в состоянии, потому что
чатГПТ это просто очень хорошо настроенный генератор
марковских цепочек, снабженный основами синтаксиса
и орфографии.

Но вообще в большинстве других наук,
борьба с выявлением чатботов окажется неразрешимой
проблемой, ну типа - если гражданин желает защитить
диссертацию по философии, ему даже писать ее не надо,
запусти генератор и привет. Отличить сгенерированный
текст от написанного руками уже сейчас невозможно,
нет никаких формальных критериев. То же с писанием
эссе, курсовых и те де. Это будет целая индустрия,
с миллиардными доходами, которая похоронит университеты
и академию в целом.

И слава богу, конечно, давно пора.

Вместе с Менгеле и Вестом поднимаются на Зов

Доктор Лектер, Мориарти и профессор Хомяков.
Ритуал проводят ночью - и в огне дрожит земля:
Третий Рейх встаёт воскресший из глубин Небытия!

В небо вырвалось Люфтваффе. За штурвалом - мертвецы,
Маршируют по Берлину штурмовые храбрецы.
Фау-3 взлетает в воздух и приносит смерть жидам,
Отдаёт их на съеденье термоядерным грибам!

Из могил Мясного Бора поднимается отряд,
Мертвецы в истлевшей форме дружно выстроились в ряд,
И вселяет в души быдла первобытный тёмный Страх
Заржавевший МР-40 в крепких высохших руках.

Весь украшен черепами, Хомяков горланит речь:
``Мы во славу Бога Крови упырей отправим в печь!
Подыхай, больная Рашка, сгинь навеки, Третий Рим!
Мы теперь с тобой на равных, сучья тварь, поговорим!''

Зову Хаоса внимает мертвецов воскресших рать,
И грохочут сотни глоток: БИТЬ! ДАВИТЬ! УНИЧТОЖАТЬ!
И истлевшие солдаты маршируют на Москву -
Цитадель совковой мрази погружается во Тьму!

Убивать! Давить и резать! Потрошить и пожирать!
Разрывать крюками туши, вешать, вешать и сжигать!
Восстаёт могучий Хаос, жарит пламя до небес,
И кремлёвских оккупантов убивает адский бес!

Тащит за ноги чекиста злой смеющийся скелет:
``Доктор Лектер хочет скушать коммуниста на обед!
Все расстрелянные вами из могил поднялись вновь!
Утолить их жажду мести сможет только ваша кровь!!!''

Мы идём родной науке придавать нормальный вид -
И на дереве повешен мерзкий доктор Айболит.
Не хрен было негритосов в чёрной Африке лечить,
Всех слюнявых гуманистов будем вешать и топить!

Привет



(Читать комментарии) - (Добавить комментарий)

"
[info]sometimes
2022-12-22 09:08 (ссылка)
Он именно что "нормальный", чтобы видеть баг, нужно быть сеньором примерно. Собственно недавно чувак просил сгенерить код для функциональности персонажа в Godot (это фреймворк по типу унити для игорь), там был пиздец на пиздеце. Три раза просил переделывать, и все равно хуйня.

Понятно, что годот не самый популярный, но думаю и в юнити он бы так же нагадил.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]p_k
2022-12-22 10:04 (ссылка)
Ну вот например на задание вида

Write a python coroutine called mystat accepting a single floating point argument and yielding a tuple of the running average and the unbiased estimator of variance. On the first call, the value of the estimator should be NaN.

бот написал совершенно правильный код. Собственно, меня впечатлило что он проинтерпретировал нечетко сформулированное задание ровно так, как его понял бы человек.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]sometimes
2022-12-22 10:25 (ссылка)
Блин, ну это четыре строчки же. Хранить сумму и сумму квадратов.

Такое он умеет и скорее всего приворовывает, поищи, нет ли в Гугле

А сложное задание на пару экранов он уже адски порет

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]p_k
2022-12-22 10:38 (ссылка)
Конечно. Но главное, что бот понял недоговоренное (что ожидается много вызовов, что текущее среднее надо брать от переданных аргументов и т.д.) Меня впечатлила именно эта способность интерпретировать не высказанное явно, тут произошёл чёткий качественный скачок по сравнению со всем, что называлось AI до сих пор.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]sometimes
2022-12-22 10:47 (ссылка)
Это хорошо, да, только неправильно наверное пока говорить "понял"; скорее, нашел похожую формулировку у себя в терабайтном хардкоде.

Хотя, конечно, что есть понимание. Но оно для людей ещё включает верификацию, которой тут нет. Вернее, есть, но та, которая уже была проделана кем-то в интернете.

(Ответить) (Уровень выше)

Re: "
[info]sometimes
2022-12-22 10:51 (ссылка)
Вот пример его "понимания":

http://lj.rossia.org/users/tiphareth/2487790.html?thread=171672302#t171672302

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]p_k
2022-12-22 11:05 (ссылка)
Прекрасный пример, потому что показывает, что этот бот ошибается ровно так, как ошибался бы человек - by jumping to conclusions.

Что как раз означает, что он пригоден к обучению математике. Потому что последняя как раз и построена как культура преодоления подобных ошибок, типичных у сапиенсов (готовый "ответ" от лимбической системы всегда приходит быстрее, чем логический вывод, ангажирующий общую ассоциативную кору).

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]sometimes
2022-12-22 11:21 (ссылка)
Нет, пока ещё нет, не пригоден, как я понимаю. У него же нет внутри способности рассуждать, а только способность копипастить (с подстановками) уже известные ему рассуждения.

То есть чтобы чему-то его можно было учить, надо, чтобы он строил внутри модель мира, а не только языка. И Monte Carlo tree search по типу как у alpha zero/tensor/code.

Например, вот с ним играют в шахматы:
https://villekuosmanen.medium.com/i-played-chess-against-chatgpt-4c2cc78b5acf
он явно копипастит лежащий внутри него дебют, а когда дебют заканчивается, виснет и ломается.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]p_k
2022-12-22 11:32 (ссылка)
Он явно не stateless, потому что его можно попросить улучшить уже данный ответ, не повторяя вопрос. Так что модель ему помогут строить собеседники (как я понимаю, в каждый момент времени с ним общаются десятки тысяч человек).

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]tiphareth
2022-12-22 12:11 (ссылка)
миллион мух дебилов не сделают робота умником
вообще результатом коллегиального решения всегда является большая
глупость, чем даже если бы его принимали индивидуально

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]sometimes
2022-12-22 12:14 (ссылка)
Там каждый делает свой экземпляр, кажется.
Хотя разработчики говорят, что закрытие чата стирает у модели всю память о нем
То есть условно stateless

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]p_k
2022-12-22 13:30 (ссылка)
разработчики говорят, что закрытие чата стирает у модели всю память о нем

"И вы говорите". Вот уж во что не поверю - иначе зачем вообще все это (в смысле, кто на такое деньги даст)?

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
(Анонимно)
2022-12-22 18:01 (ссылка)
чтобы зиговать не начал

(Ответить) (Уровень выше)

Re: "
[info]sometimes
2022-12-22 22:04 (ссылка)
Затем, что интерактивное обучение пока что намного жиже.

Ну грубо говоря ее учат на всем интернете за 30 лет, и на это уходят десятки миллионов долларов электроэнергии.

Интерактивно сравнимой дельты лет за 1000 удастся добиться. А деньги даст Майкрософт: копайлот уже хорошо продается, и если ты не дебил, чатгпт тебе реально будет полезен, и ты его купишь: для того же копирайтинга, например.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]p_k
2022-12-23 12:47 (ссылка)
Так прямо на этом этапе интерактивное обучение не главное. Я к тому что до сих пор во всех подобных проектах shrink wrapped продукты типа копилота не были успешными, а основное кэшфлоу было от сбора пользовательских данных. Мы видим как на наших глазах забил просто таки фонтан из этих данных; ни за что не поверю, что создатели проекта сливают этот поток в унитаз.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]sometimes
2022-12-23 19:45 (ссылка)
Не, поток они наверняка кешируют, но в обычные зады банных

(Ответить) (Уровень выше)

Re: "
[info]sometimes
2022-12-27 14:58 (ссылка)
Вот, кстати, хорошее. С этим надо его подружить:

https://scitechdaily.com/rise-of-the-machines-deepmind-alphacode-ais-strong-showing-in-programming-competitions/

Но сначала надо этот чат переучить на нормальный язык, нечеловеческий, не тот, которым люди пользуются потому что и так сойдёт, по контексту догадаемся, а многозначность это охуенно. Хотя бы попробовать.

Может статься, многозначность действительно охуенна (ибо обрастает ассоциациями, которые могут оказаться полезны), но строгому рассуждению она противопоказана, и хотелось бы ее либо отделить в ортогональную, либо хотя бы отнести в параллельную плоскость.

(Ответить) (Уровень выше)

Re: "
[info]sometimes
2022-12-22 12:14 (ссылка)
http://lj.rossia.org/users/tiphareth/2487790.html?thread=171680750#t171680750

(Ответить) (Уровень выше)

Re: "
[info]sometimes
2022-12-22 11:23 (ссылка)
Т.е. он ошибаться умеет, лимбически, но не понимает, что такое ошибка: только "да чего ты ещё от меня хочешь"

(Ответить) (Уровень выше)

Re: "
[info]comment
2022-12-22 13:26 (ссылка)
Он ничего не "понял", потому что это слово не применимо к алгоритму нелинейной регрессии с эмпирически подогнанными коэффициентами. AI и ML сейчас превратились в карго-культ: предлагается считать, что воспроизведение (неточное) внешних признаков сознания предполагает его наличие.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]sometimes
2022-12-22 22:09 (ссылка)
Ну не совсем так, это ты механистически походите; гиперпараметров там о малое от размерности сети, по понятным причинам.

Иначе бы мозги (хотя бы и неточные) можно было бы сделать из манной каши, эмпирически подбирая температуру в тысяче ее точек.

Истина посередине: какой-то кусок мышления (а именно, что-то рядом с интуицией и творчеством) оно поймало, но интуиция и творчество есть и у инфузории, а вот мыслить она не умеет.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]comment
2022-12-23 14:05 (ссылка)
Структура сети это тоже параметр(ы).

Интуиции у "нейронных сетей" нету, см adversarial images и попытки заменить радиологов

По творчество и говорить смешно.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: "
[info]sometimes
2022-12-23 19:51 (ссылка)
Про творчество действительно говорить смешно, потому что неизвестно, что это такое; но художники от слова худо уже воют.

Структура сети, конечно, параметр. Но их не так и много.

И их не может быть много, потому что (пока что) процесс обучения чудовищно трудоемкий; и вроде бы пока насыщение не достигнуто.

Интуиция как раз есть, просто она где-то хуже, где-то лучше. В шахматах уже лучше: alpha zero и ко оценивает сверточной сетью позицию лучше любого шахматиста - речь именно об оценке без счета. Вот у радиологов она, возможно, ещё лучше. Хотя на самом деле хз: вопрос не в качестве нейросети, а в качестве среднего радиолога.

(Ответить) (Уровень выше)

Re: "
(Анонимно)
2022-12-22 10:43 (ссылка)
> приворовывает

просто пиздит бессовестно целыми файлами, лол

(Ответить) (Уровень выше)


(Читать комментарии) -