1) без определения "думать" вопрос не имеет смысла. если человек знает, что ему надо на работу и он пришёл на работу, значит он думает? инстинктов у людей нет. но ты можешь определить "думать" по-своему.

2) >Но нейросеть так не может, потому что она программа.

Опять смысл ускользает. Если "программа" предполагает, что ее кто-то сделал, значит можно сделать так или иначе, т.е. пороть хуйню или не пороть.

Там OpenAI опубликовали новый ресёрч: оказывается, нейронки галлюцинируют и врут не потому что "чугунные шизоиды на транзисторах", а потому что их ещё при обучении натаскали угадывать ответы, а не честно говорить "Я не знаю ответ на этот запрос".

Представить это легко, вспомните себя в школе/универе во время какого-либо экзамена. Вы не знаете, например, сколько ног у медузы, но если написать от балды "тринадцать с половиной", есть шанс тупо угадать и получить балл. Если же написать "не знаю" — это сразу ноль баллов. Вот нейроночки живут по такому же мясному принципу.

Проблема в том, что бенчмарки ИИ-моделей сейчас оценивают модели по количеству правильных ответов. Поэтому лучше быть уверенным дебилом, чем скромным умником.

OpenAI предлагают менять правила: штрафовать модельки за наглую чушь, награждать за честное «я не уверен/я не знаю». Пример: старая модель угадывала точнее, но врала в 3 раза чаще. Новая — чаще молчит, зато меньше выдумывает.

Короче, галлюцинации — это не баг, а математика. Модель не может знать всё, но может научиться не строить из себя всезнайку.

Идеал будущего: чат-бот, который отвечает на 90% вопросов словами "Братан, я не в теме, не знаю ответ на твой вопрос, иди сам погугли" но зато ни разу не обманывает.
https://t.me/NeuralShit/6787

в посте есть ссылка на оригинальную статью

3) >Единственное что огорчает - мало практической пользы для индивидуума.

Это субъективная история. Вот, например, список случаев из практики.
https://t.me/denissexy/10631

Я могу рассказать много вариантов полезного применения, решения разных задач, но если для тебя задачи не актуальны, мы вернёмся в начало.

Может ты напишешь что ты хочешь, а я попробую ответить можно ли решить это с помощью ИИ?

(Reply to this) (Thread)

думать в данном случае - какой то осознанный мыслительный процесс с верификацией результата, занимающий время. чтобы пойти или не пойти на работу надо уточнить день недели и все.
Понятно что мозг работает в любом случае всегда и что то думает, но это происходит машинально (дойти до сортира, распознать очко)

(Reply to this) (Parent) (Thread)

> чтобы пойти или не пойти на работу надо уточнить день недели и все.

Нет, конечно. Описаны случаи людей с повреждениями мозга

В 1982 году пациент по имени Эллиот пришёл в приёмную нейролога Антонио Дамасио. Несколькими месяцами ранее у него была удалена небольшая опухоль, расположенная поблизости от лобных долей мозга. До операции Эллиот был примерным отцом и семьянином, занимал руководящую позицию в крупной корпорации и активно участвовал в жизни местйо церкви. Но операция изменила всё. Хотя IQ Эллиота остался прежним — он по-прежнему показывал в тестах результаты выше 97 % людей — у него появился один психологический изъян: Эллиот больше не мог принимать решения.

Это сделало нормальную жизнь невозможной. Повседневные задачи, который раньше занимали десять минут, теперь требовали нескольких часов. Эллиот бесконечно обдумывал несущественные детали, например, писать ли синей или чёрной ручкой, какую радиостанцию слушать и где парковать машину. Выбирая, где пообедать, Эллиот тщательно изучал меню каждого ресторана, расстановку столиков, схему освещения, затем объезжал рестораны, чтобы посмотреть, насколько они заняты... Но всё это было впустую: он всё равно не мог решить, где ему поесть. Неспособность принимать решения была патологической.

(Jonah Lehrer, «How We Decide»)

У изучаемых Дамасио пациентов была одна общая черта: в их мозгу была повреждена орбитофронтальная кора, участок мозга, отвечающий за встраивание эмоций в процесс принятия решений — он соединяет подсознание (лимбическую систему) с сознанием (неокортексом). Сёрьезное повреждение орбитофронтальной коры означает, что эмоции более не влияют на принятие сознанием решений.
https://olegart.livejournal.com/1447624.html

>какой то осознанный мыслительный процесс с верификацией результата

Рациональное мышление это относительно недавнее изобретение и не факт, что вообще пригодное за пределами нескольких формализованных областей, вроде науки.

Есть много исследований на этот счет. Например, в действительности решение принимаются до того, как человек это осознаёт.

Например, люди приходят к своим убеждениям по эмоциональным причинам, а потом уже прикручивают рациональные обоснования.
https://www.motherjones.com/wp-content/uploads/emotional_dog_and_rational_tail.pdf
(ссылки к другим тезисам могу поискать, если интересно)

Даже то, что мы видим это не реальность, а проекция создаваемая мозгом. Мы "видим" не то, что приходит в глаз, а предсказание что будет через несколько миллисекунд.

Люди существуют и действуют во многом благодаря "машинальному", не осознаваемому мышлению.

Да даже научныеоткрытия или технические изобретения происходят благодаря "машинальной" деятельности. Ты сначала изучаешь что-то сознательно, собираешь информацию, обдумываешь. Потом переключаешься на другую деятельность: дойти до сортира или прогулку по природе, в этот момент мозг обрабатывает загруженную информацию на подсознательном уровне и происходит "озарение" - ты внезапно понимаешь как решить задачу. Но это решение приходит из "неосознанной" части.

Если говорить о науке, где есть четкие критерии проверки, то ИИ даст фору человеку. Но все известные мне примеры ограничены естественными науками, где можно либо проверить результат размышлений экспериментально, например, в биологии, либо запустить на компьютере, например, для информатики, либо есть четкие формальные критерии как в математике.

Вот фреймворк чтобы "думать - осознанный мыслительный процесс с верификацией результата, занимающий время"
https://github.com/SakanaAI/AI-Scientist

(Reply to this) (Parent) (Thread)

Хорошо, опишу несколько вещей, которые мне показались тупыми (чат жопэтэ)
1. Напиши код VBA. Код не идет потому что есть две переменные i и I (счетчик цикла и переменная эз дабл). Такого делать нельзя. Чат исправляет ошибку. На следующем запуске обнаруживаются аналогичная проблема с переменными e и E.
Это ли не тупость? Вы бы человеку что сказали? Ты дебил, блядь? Так он же и "говорит", "сам", ох - конечно так нельзя и делает следом.
2. Говорю, если ты метод статистический - давай мне вероятность правильного ответа. Говорит окей. Тут тебе 0,6 а там 0,7. Ну это простите не далеко от 0,5, то есть ответ можно с таким же успехом генерировать случайно.

(Reply to this) (Parent) (Thread)

Так это претензии к чему?

Сейчас существует несколько вариантов реализации "думать".
1) обычные модели формата вопрос - ответ
2) рассуждающие модели. проблема разбивается на этапы с возможностью пересматривать предыдущие шаги(можно посмотреть лог рассуждений), но предыдущие ответы в рамках той же сессии не исправляются. можно попросить исправить программу с учетом полученного на этом шаге.

3) агент. это когда можно попросить написать код, он сам будет запускать и отлаживать, лог тоже интересно смотреть.

Но насколько я знаю, весь получаемый опыт остаётся в рамках сессии. Т.е. если другой человек попросит модель сделать тоже самое, то всё начнётся заново. Наверное, можно сделать чтобы новый опыт усваивался, но для этого должны быть критерии правильности. Чтобы модель обнаружила, что нельзя называть разные переменные одной буквой и запомнила навсегда. Для программирования это можно реализовать.

С математикой в целом все не так однозначно, но прогресс идёт быстро.

Сегодня ровно год с момента анонса первой рассуждающей модели компанией OpenAI. Тогда нам показали, что модель, обученная подумать перед ответом, достигает прорывных показателей, и этим можно управлять: дашь подумать подольше — ответ будет получше.

Ретроспективно оценивая последний год можно легко сказать, что это оказалось правдой. Прирост качества был настолько большим, что нерассуждающие модели использовать уже не хочется, и их релизы, например, GPT-4.5, могли вызвать разочарование.

За год до этого две разные специализированные системы от Google смогли забрать серебро на международной олимпиаде по математике. В этом году из-за прогресса получилось выиграть золото — и моделью общего назначения, а не чем-то, что заточено только на геометрию или работу со специальным языком Lean4.

(Reply to this) (Parent)

Вот новости к пункту 1
Чувак сделал модель для предсказания новостей, постоянно обучающуюся на своих ошибках. Работает круто.
https://www.strangeloopcanon.com/p/prediction-is-hard-especially-about

Но из текста я узнал, что в cursor, это IDE для написания кода с помощью ИИ, делает нечто подобное

And since I did the work I learned that cursor, the AI IDE, does something similar for their autocomplete model. Where they take a much stronger reward signal, in terms of whether humans accept or reject the suggestions that it actually makes, they are able to update the policy and roll out a new model every couple of hours. Which is huge!
https://cursor.com/blog/tab-rl

Т.е. если обнаружилась такая ошибка с переменными, то ее учтут довольно быстро(не через секунду, но быстро). Если хочется риалтайма, можно попробовать самому сделать модель, обучающуюся после каждой ошибки.

(Reply to this) (Parent)

Т.е - попробую уточить что я понимаю под думанием. Думание это получение четких логических выводов исходя из заданных условий. То есть какая нибудь Maxima - старинная программа, "думает" когда решает символьный интеграл. А регрессия это хуйня что сейчас, что потом. Когда ИИ начнет комбинировать четкую логику с нечеткой, он более будет похож на человека

(Reply to this) (Parent)

LLM тоже работает с опровержениями. Т.н. RLM (reasoning) как раз делает
валидацию идей на каждом шаге.

Я скорее на восторженной стороне в плане именно возможности сделать "думающую
машину" и возможностей для прогресса которое оно предоставляет, но
скептически отношусь к тем результатам которьіе сейчас (несмотря на то что
юзаю Ollama ежедневно и подписан на еще пару сервисов платних и доволен результатами). Мне
скорее верится что думающая машина будет продуктом биотехнологий, чем
електроники. Електроника не очень работает, цитирую:

> A child has seen 50 times more data than the biggest LLMs.

Есть конечно кроме текста всякие способи обучения, когда люди делают аннотации и тд, но оно все равно только небольшие проценти добавляет к тому
массиву информации. Контерпойнт -- например работник делает аннотации в системе для какого-то видео.
Пока он ето делает, он и встал и поссал и пофантазировал что-то и вот 50мб условно емпирического контента обработано.
Но аннотации его будут только 5кб контента весить. И способов увеличить контент которий продуцируется в таких системах особо нет,
его интенсивность никогда не сравняется с емпирическим опитом.

Думаю идея "нейралинка" направлена прежде всего на устранение
етой неспособности адекватно записать емпирический опит и передать его машине. Но кажется надо прорив в биотехнологиях
чтоб оно хорошо заработало.

(Reply to this) (Thread)

>И способов увеличить контент которий продуцируется в таких системах особо нет,

Серьезно? LLM потенциально может обрабатывать любую информацию, подключил датчик радиации - вот тебе новый контент.

> его интенсивность никогда не сравняется с емпирическим опитом.
Интенсивность человеческого опыта ограничена, без генной инженерии выше не прыгнуть. Интенсивность опыта машины потенциальнь безгранична.

(Reply to this) (Parent)

Пользуясь терминами терминами популярной книжки "Thinking, Fast and Slow", нейронки это, ИМХО, "thinking fast" -- корреляции, простые аналогии, ассоциации...

Мой взгляд: (1) смерть роботам (2) обоссывайте всех нейроблядков. Неиросети это проприетарные черные ящики со всеми вытекающими. Нас уже давно убеждают, что компьютеры не нужны - достаточно айфона с "аппами", а теперь будут убеждать, что даже айфона не надо - колонки с пизделкой хватит всем, она сама за вас всё сделает. А кому надо программы там какие-то блять, файлы-хуяйлы - наверняка педофил и террорист.

(Reply to this) (Thread)

так никаких роботов и нет. как я детском саду когда еще ходил на экскурсию в дом техники - стояли металлические болваны и мигали лампочками. ну с тех пор не сильно что поменялось. и перспектив что поменяется в принципе нет

(Reply to this) (Parent) (Thread)

Не знаю, в какой страны вы живете. В России роботов нет, факт - уровень роботизации порядка 12 роботов на 10 тыс. работников. В передовых странах 1 тыс. роботов на 10 тыс. работников.
В Китае есть полностью автоматизированные порты, заводы и т.п. без людей вообще.

(Reply to this) (Parent) (Thread)

я не считаю промышленные манипуляторы на пиэлси роботами. также не считаю лампочку с датчиком движения роботом - а она не сильно хуже камеры с распознованием

(Reply to this) (Parent) (Thread)

Ну это очередная игра в слова. Что такое роботы?

Можно, например, посмотреть так: человеческий труд замещался машинным на протяжении всей истории. Можно определить робота как самостоятельно действующую машину, автономную в той или иной степени. ИИ в данном случае позволяет повысить автономность в плане принятия решений.

Еще несколько лет назад было зафиксировано первое применение автономных военных дронов, способных самостоятельно принимать решение о выборе цели и нанесении удара, включая убийство человека. Если это не роботы, то что тогда роботы? А там по сути все крутится вокруг камеры с распознованием.

(Reply to this) (Parent) (Thread)

управление конвейером это совсем другое. оно было кстати решено в основном в 70-80-е. Только может датчики совершенствовались. Если ваш конвейер будет управляться с точностью современных AI то он встанет почти сразу. Там совершенно другие подходы и думает за это все инженер а не робот в процессе.
Дроны несколько другое, но и там участие человека если оно возможно - используется. Автомобили то же самое.

(Reply to this) (Parent) (Thread)

А что тебе "робот"? Человекоподобный терминатор, чтоб ебать можно было?

https://www.youtube.com/watch?v=I44_zbEwz_w

(Reply to this) (Parent) (Thread)

бипедальность тут не причем - это отдельная задача, долгое время упиралась в частоту процессора. с точки зрения передвижения эффектно, но пока это сложно и дорого

(Reply to this) (Parent)

(Reply to this) (Parent)

Я говорю не про управление конвейром, а про полное отсутствие людей. Понятно, что на этапе разработки думает за всё инженер, но на этапе эксплуатации оно работает само. Устраняют неполадки, пока еще, люди, да.

>Если ваш конвейер будет управляться с точностью современных AI то он встанет почти сразу.
Ну это из серии, что если будет управляться с точностью среднестатистического человека, то всё сразу встанет. Понятно, что нужно специализированное решение.

>Дроны несколько другое, но и там участие человека если оно возможно - используется.

А если возможно не использовать, то не используется. О чем спор-то? Инструменты выбираются под задачу, если лучше/дешевле с человеком, то будет с человеком, если без - будет без. Вопрос был с какого момента мы можем назвать что-то роботом.

Ходит человек с молотком в руках. Это не робот.
Ходит железный человек с молотком в руках, которым управляет человек. Мне кажется, что это уже робот, но ок, запишем в не роботы.
Ходит железный человек с молотком в руках, который автономно принимает решения куда приложить молотком. Если это не робот, то что такое робот?

(Reply to this) (Parent) (Thread)

люди там есть, просто их нет на площадке кроме ремонтников

(Reply to this) (Parent) (Thread)

ок, там есть хоть одно автономное устройство полностью работающее без управления людей?

(Reply to this) (Parent)

я вот, кажется, вообще не думаю. внутренний монолог в принципе отсутствует. внутренний диалог -- это сколько угодно, но это всегда с конкретным, хоть и воображаемым, собеседником. а вот чтобы типа "это дятел, подумал штирлиц" -- такого не бывает. сенсорика, моторика, память и прочие компоненты связаны без вербалки. а вот у моей жены внутренний монолог, она действительно думает.

(Reply to this) (Thread)

все в основном думают автоматически, но бывают задачи в которых надо либо записать на бумажке, либо рассуждать. Теорему какую то доказать например или что то решить. Иногда нужно иметь хорошее пространственное мышление для чего то, а если его нет - опять же нужно чертить или рассуждать. Это как оперативная память.

(Reply to this) (Parent) (Thread)

Да, но прикол в том, что как раз сложные задачи решаются за счёт автоматической части. Условный Рамануджан, которому формулы во сне передавали богиня это наглядный пример. Есть сознательная(предварительная) часть, но само решение получаешь "автоматически", "бессознательно", применяя сознательность лишь для оформления.

(Reply to this) (Parent) (Thread)

Эйлер пока даже не ослеп, в трезвом уме, определял сумму ряда 1+1-1+1.. как 1/2 и не парился. Но большую часть задач (почти весь современный анализ) он решал тем не менее правильно.

(Reply to this) (Parent) (Thread)

не понял в пользу какого тезиса или против какого этот аргумент

(Reply to this) (Parent) (Thread)

в пользу того что оба выводили решения сознательно, один слепой а другой в полусне.

(Reply to this) (Parent)