Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет Misha Verbitsky ([info]tiphareth)
@ 2022-12-21 15:52:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Настроение: sick
Музыка:Cocteau Twins | Lullabies
Entry tags:ai, math, nauka, smeshnoe

похоронит университеты и академию в целом
Прекрасное же
https://meta.mathoverflow.net/questions/5531/chatgpt-strikes-mathoverflow
Mathoverflow, если кто не знает, это юзер-модерируемый
проект исследовательского уровня с математическими
вопросами и ответами, довольно часто неописуемо полезный.
Я им постоянно пользуюсь, и всем советую, постоянно
ставлю в статьях ссылки на дискуссии оттуда, они
реально бывают уровня хороших публикаций.

Ну так вот, кто-то научился отвечать на вопросы из
mathoverflow чат-ботом chatGPT, до того успешно, что
некоторые ответы чат-бота приняты как верные юзерами.
90% юзеров чего угодно дебилы, ну а поскольку
это mathoverflow, 99% юзеров ко всему прочему
ужасные аутисты, и им часто свойственна
неуместная вежливость, даже к роботам.

Судя по сохранившимся ответам чатбота, пишет он
неописуемую бредятину, но многие воспринимают
за чистую монету.

Это вообще проблема около-математической жизни:
студенты, которые не в состоянии отличить доказательство
от недоказательства. Одно из самых страшных математических
заболеваний, если граждане воспринимают математический
текст как текст гуманитарной науки, а не как текст,
в котором в каждой фразе может содержаться вранье,
и читателю необходимо убедиться, что оно там не
содержится.

Мы много лет организовывали
ежегодную летнюю конференцию в Ярославле для студентов,
постепенно там сформировался специфический контингент
слушателей, и в какой-то момент я пришел к выводу,
что они воспринимают как математическую лекцию любую
последовательность умных слов, не вникая в их содержание,
и уж точно не пытаясь ничего отпарсить. Критерием
оценки была престижность научных терминов
(ну типа, мотивы +10, топосы +20, вот это все),
и клинически бредовые лекции про топосы воспринимались
слушателями (по большей части не знавшими вообще ничего,
даже совсем базовых вещей) с огромным энтузиазмом.

После этого я перестал туда ездить,
потому что чатбот справится с функцией чтения
лекций для подобной аудитории все равно лучше меня.

Но в принципе, в математике чатГПТ работать не умеет,
ибо бред отделяется от небреда очень просто, робот
не умеет не наляпать грубых ошибок, даже если владеет
хорошо владеет математическим языком. Это потому что
у уравнения правая часть должна быть равна левой,
а сосчитать их чатбот не в состоянии, потому что
чатГПТ это просто очень хорошо настроенный генератор
марковских цепочек, снабженный основами синтаксиса
и орфографии.

Но вообще в большинстве других наук,
борьба с выявлением чатботов окажется неразрешимой
проблемой, ну типа - если гражданин желает защитить
диссертацию по философии, ему даже писать ее не надо,
запусти генератор и привет. Отличить сгенерированный
текст от написанного руками уже сейчас невозможно,
нет никаких формальных критериев. То же с писанием
эссе, курсовых и те де. Это будет целая индустрия,
с миллиардными доходами, которая похоронит университеты
и академию в целом.

И слава богу, конечно, давно пора.

Вместе с Менгеле и Вестом поднимаются на Зов

Доктор Лектер, Мориарти и профессор Хомяков.
Ритуал проводят ночью - и в огне дрожит земля:
Третий Рейх встаёт воскресший из глубин Небытия!

В небо вырвалось Люфтваффе. За штурвалом - мертвецы,
Маршируют по Берлину штурмовые храбрецы.
Фау-3 взлетает в воздух и приносит смерть жидам,
Отдаёт их на съеденье термоядерным грибам!

Из могил Мясного Бора поднимается отряд,
Мертвецы в истлевшей форме дружно выстроились в ряд,
И вселяет в души быдла первобытный тёмный Страх
Заржавевший МР-40 в крепких высохших руках.

Весь украшен черепами, Хомяков горланит речь:
``Мы во славу Бога Крови упырей отправим в печь!
Подыхай, больная Рашка, сгинь навеки, Третий Рим!
Мы теперь с тобой на равных, сучья тварь, поговорим!''

Зову Хаоса внимает мертвецов воскресших рать,
И грохочут сотни глоток: БИТЬ! ДАВИТЬ! УНИЧТОЖАТЬ!
И истлевшие солдаты маршируют на Москву -
Цитадель совковой мрази погружается во Тьму!

Убивать! Давить и резать! Потрошить и пожирать!
Разрывать крюками туши, вешать, вешать и сжигать!
Восстаёт могучий Хаос, жарит пламя до небес,
И кремлёвских оккупантов убивает адский бес!

Тащит за ноги чекиста злой смеющийся скелет:
``Доктор Лектер хочет скушать коммуниста на обед!
Все расстрелянные вами из могил поднялись вновь!
Утолить их жажду мести сможет только ваша кровь!!!''

Мы идём родной науке придавать нормальный вид -
И на дереве повешен мерзкий доктор Айболит.
Не хрен было негритосов в чёрной Африке лечить,
Всех слюнявых гуманистов будем вешать и топить!

Привет



(Читать комментарии) - (Добавить комментарий)


[info]bors
2022-12-24 07:00 (ссылка)
Побеседовал с ней немного. Оно действительно напоминает плохих студентов, что было и так мне известно -- студенты умеют очень хорошо притворяться дешевой нейронной сеткой. Отличие в том, что студенты проходят "обратный тест тьюринга", сейчас объясню.

Ко мне на днях пришел очень плохой студент, который получил 0% на письменном экземене: вся его писанина была таким вот ML-продуктом. Но за пол часа разговора с ним я его вывел на чистую воду, он оказался человеком, он начал говорить что-то разумное. С chatGPT так не получилось. Я его попросил дать определение топологии, он дал определние и начал определять замнкнутые множества (хотя я его не просил):
A subset of X that is not open is called "closed." The complement of an open set is a closed set, and vice versa.

я поправил. Он согласился и дал пример:

For example, in the real line with the standard topology, the set of all real numbers is open, the empty set is open, and the set of all real numbers except the rational numbers is closed. The set of rational numbers is not open, but it is not closed either, because it does not contain all of its limit points (which are the irrational numbers).

Я поправил по поводу иррациональных, он опять согласился и верулся к первой ошибке в примере

For example, in the real line with the standard topology, the set of all real numbers is open, the empty set is open, and the set of all rational numbers is closed. The set of all real numbers except the rational numbers is not open, and it is not closed because it does not contain all of its limit points (which are the irrational numbers).

не, это хуйня. Даже самый плохой студент понимает, когда надо прекратить притворяться глупой железякой.

(Ответить) (Ветвь дискуссии)


[info]sometimes
2022-12-24 13:37 (ссылка)
Это у тебя настоящего плохого студента просто не было!

Топология просто сука сложная. А godot-скрипт он с двадцатой попытки все же допиливает до почти рабочего состояния. Хотя конечно если ты в состоянии его тыкать носом, втрое быстрее самому написать.

А уж патриотическую правду российской истории он вообще расскажет на раз-два.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]bors
2022-12-24 18:01 (ссылка)
Студент очень плохой, за пол часа я ему объяснил первый параграф первой главы. Но он понял. А chatGPT можно затыкать носом, чтобы в ответе не было ни одного неоткрытого множества которое бы он назвал замкнутым, но он все равно это, сука, не поймет и в следующем ответе опять сделает ту же ошибку что и в самом первом ответе. Самое смешное, что это нейростека необучаема, лол.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sometimes
2022-12-24 19:40 (ссылка)
У достаточно плохого студента (да и у хорошего) через час наседания мозги вскипят, и он подергается-подергается, и заплачет или в морду даст, в зависимости от темперамента.

Мозги быстро жрут сахар потому что.

Но вообще да, к математике эта тварь (да и вообще к естественным наукам) не приспособлена. На самом деле идея думать математику на естественном языке уже патологична, а чат про него очень сильно.

То есть если привинтить верификатор, оно сможет выдавать верные рассуждения, собирая выбитые зубы сломанными руками (например, как я уже писал выше, смогло решить несколько задач с международной олимпиады), но по безумию такое действие сродни сооружению паровой машины на базе электрочайника с последующим подсоединением к шатуну генератора Фарадея.

(Ответить) (Уровень выше)


[info]sometimes
2022-12-24 15:12 (ссылка)
Кстати, два момента:

1. он всегда соглашается (как "батюшка-сестрица" из Сакса) и не чувствует тоски, в этом его беда - так никогда и не поймет что он в клетке (хотя и может жизнерадостно это заявить, как попугай)

2. применение для тестирования (тупого) студента: нагенерить чатом 9 "доказательств" и добавить десятое правильное (в том же стиле) - и пусть студент ищет.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]bors
2022-12-24 18:03 (ссылка)
1. Это я даже не пытался делать, это навреное действительно самый простой способ отличить её от даже самого плохого студента.

(Ответить) (Уровень выше)


[info]ivanmakovetskiy
2022-12-24 20:42 (ссылка)
Неправда, он пытался меня загазлайтить --- типа сителен Лоси это не кириллица.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sometimes
2022-12-26 13:21 (ссылка)
А, в смысле наглый он бывает конечно.

А вот унылого и посыпающего, и ты меня Кешенька прости, не видел.

(Ответить) (Уровень выше)


(Читать комментарии) -