Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет tristes_tigres ([info]tristes_tigres)
@ 2014-05-28 02:04:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
"Искусственный интеллект", и Epic Fail оного
Есть такая дисциплина - "machine learning", иногда её называют "deep learning". Andrew Ng, (два года тому назад) профессор Станфорда, один из активно пиаривших модные онлайн-курсы, как раз практикует эту науку. Наум Хомский сказал обо всём этом бизнесе так:
On the other hand there's a lot work which tries to do sophisticated statistical analysis, you know bayesian and so on and so forth, without any concern for the uh actual structure of language, as far as I'm aware uh that only achieves success in a very odd sense of success.
There is a succ- notion of success which has developed in uh computational cognitive science in recent years which I think is novel in the history of science. It interprets success as uh approximating unanalyzed data. Uh so for example if your were say to study bee communication this way, instead of doing the complex experiments that bee scientists do, you know like uh having fly to an island to see if they leave an odor trail and this sort of thing, if you simply did extensive videotaping of bees swarming, OK, and you did you know a lot of statistical analysis of it, uh you would get a pretty good prediction for what bees are likely to do next time they swarm, actually you'd get a better prediction than bee scientists do, and they wouldn't care because they're not trying to do that. Uh but and you can make it a better and better approximation by more video tapes and more statistics and so on.
Uh I mean actually you could do physics this way, uh instead of studying things like balls rolling down frictionless planes, which can't happen in nature, uh if you uh uh took a ton of video tapes of what's happening outside my office window, let's say, you know, leaves flying and various things, and you did an extensive analysis of them, uh you would get some kind of prediction of what's likely to happen next, certainly way better than anybody in the physics department could do. Well that's a notion of success which is I think novel, I don't know of anything like it in the history of science.


И вот куры возвращаются на насест, как говорят в народе. Новая статья об одном из самых важных инструментов "machine learniтg" - нейронных сетях:

Second, we find that deep neural networks learn input-output mappings that are fairly discontinuous to a significant extend. Specifically, we find that we can cause the network to misclassify an image by applying a certain imperceptible perturbation, which is found by maximizing the network’s prediction error. In addition, the specific nature of these perturbations is not a random artifact of learning: the same perturbation can cause a different network, that was trained on a different subset of the dataset, to misclassify the same input.

Нейронная сеть - это сложная нелинейная функция, которая получается путём оптимизации (поиска минимума другой сложной нелинейной функции), "тренировки" на "учебном" наборе данных, чтобы классифицировать данные из "реального мира" - например, распознавать отсканированные буквы, находить заданное лицо в толпе, опознать человека по фотографии и т.д. Если после обучения нейронная сеть правильно классифицирует тестовый набор (который не входил в учебный набор), то считается, что нейронная сеть "обучена". А тут вдруг выясняется, что для любой правильно классифицируемой картинки можно найти визуально от неё не отличающуюся, которая классифицируется неправильно. Причём это свойство достаточно универсально, не зависит от "учебного" набора.

Кстати, директор исследовательской лаборатории Гугла Питер Норвиг ответил Хомскому так:
And while it may seem crass and anti-intellectual to consider a financial measure of success, it is worth noting that the intellectual offspring of Shannon's theory create several trillion dollars of revenue each year, while the offspring of Chomsky's theories generate well under a billion.

Аргумент настоящего либертарианца из Кремниевой долины - "я заработал больше денег, значит, я прав".


(Добавить комментарий)


[info]ende_neu
2014-05-28 03:19 (ссылка)
Machine learning --- это же гораздо более широкое понятие, чем deep learning, нет? Под deep learning, насколько я знаю,
понимают фактически некую модификацию нейронных сетей, причем модификацию скорее техническую. А основным средством классификации сейчас являются svm, например. Кластеризация --- тоже весьма существенная часть machine learning, которая никакого отношения к deep learning не имеет.

Искусственный интеллект --- это несколько другое направление и совсем другое community. Специалисты по machine learning in computer vision с ним вообще практически не контактируют сейчас.

А возражения Хомского, кажется, не вполне справедливы вот в каком плане. Не знаю, как со специалистами в machine learning, которые занимаются лингвистическими задачами, может, они пыли много поднимают, но те, кто применяет его в компьютерном зрении, совершенно не скрывают от студентов, что:
а) толком мы ничего про реальное распознавание визуальной информации в мозгу не знаем (в том смысле, что извлечь из того, что мы знаем, рабочую программу, ни фига не получится);
б) статистические методы, конечно, имеют страшный недостаток --- они очень часто не дают никакой интерпретации, просто обученный на наборе классификатор, почему он работает так, как работает --- понять часто сложно или невозможно;
в) тем не менее, поскольку как-то работающее решение они дают (а честным научным методом невозможно получить никакого практического решения), мы учимся применять их для построения чего-то, что хоть как-то работает, не претендуя нисколько на создание какого-то искусственного интеллекта,
г) отдавая себе отчет, что к реальному пониманию задачи и ее осмысленному решению мы пока даже не начали приближаться.

По-моему, достаточно честно, просто это не фундаментальная наука. Так ведь много чего в прикладной статистике (а machine learning --- это фактически ее часть, просто сильно обособившаяся и обросшая жаргоном) так устроено, и ничего. Результаты иногда вполне себе: несмотря на существование этих неотличимых и неправильно классифицированных картинок в том числе и на MNNIST, почтовые индексы в США распознаются именно что автоматически и сверхэффективно. Детекторы лиц Виолы-Джонса (там бустинг, не нейросети) тоже вполне себе работают в мыльницах.

(Ответить) (Ветвь дискуссии)


[info]tristes_tigres
2014-05-28 15:47 (ссылка)
Искусственный интеллект --- это несколько другое направление и совсем другое community. Специалисты по machine learning in computer vision с ним вообще практически не контактируют сейчас.

Распщзнавание образов всегда декларировалась как одно из основных приложений ИИ. Раньше ИИ пытались делать, программируя разные системы логической деривации и экспертные системы, сейчас в моде статистические методы.

просто это не фундаментальная наука

Это совсем не наука и даже не (добросовестная) инженерная деятельность, по-моему. Что сказали бы об инженере, если он строит дома из кирпичиков, которые разваливаются в пыль, когда ткнёшь их иголкой в особую точку?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ende_neu
2014-05-28 16:15 (ссылка)
Что сказали бы об инженере, если он строит дома из кирпичиков, которые разваливаются в пыль, когда ткнёшь их иголкой в особую точку?

Типичная ситуация во всей software engineering же именно такова --- такой метафорой можно описать почти любую достаточно сложную программу.

А мои слова о том, что компьютерное зрение --- это не ИИ, это практически цитата из лектора (курс по комп. зрению у нас вел Бернт Шиле, http://www.d2.mpi-inf.mpg.de/schiele/), который на вопрос о связи с ИИ сказал, что там сейчас занимаются другими проблемами, и I am not an AI guy. А ИИ-парни у нас, например, занимаются проблемой расписаний, еще вроде всякие поиски на графах мучают, в общем, и правда другая песочница.

Кстати, в том же курсе нам прямо сказали, что computer vision сейчас --- это алхимия, в преднаучной стадии находится. Так алхимия не была совсем уж бесполезной, что-то наблюли, как-то химия потом на нее и опиралась. Задачи-то прикольные, пробовать хоть как-то решить интересно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]tristes_tigres
2014-05-28 16:20 (ссылка)
Типичная ситуация во всей software engineering же именно такова --- такой метафорой можно описать почти любую достаточно сложную программу.


Сейчас это уже не совсем справедливо, благодаря развитию типизированных функциональных языков типа Хаскеля.

(Ответить) (Уровень выше)


[info]ende_neu
2014-05-28 03:25 (ссылка)
Спасибо за ссылку на статью, кстати, интересно.

(Ответить) (Ветвь дискуссии)


[info]tristes_tigres
2014-05-28 15:49 (ссылка)
Ссылка со слэшдота

(Ответить) (Уровень выше)


[info]remedie
2014-05-28 09:18 (ссылка)
Хомски, как и любой специалист в своей области, видит несколько перекошенную картину. Ему в любой проблеме подавай лингвистические структуры. Machine learning прагматичен. Я занимался этим делом в аспирантуре, там нет единой теории, есть куча моделей, которые либо хорошо подходят для представления закономерностей в данных, либо нет. И да, нейросети - это, считай, проклятие ML. Дело в том, что они подходят далеко не ко всем задачам, но всё равно, когда речь идёт о ML, всегда вспоминают о нейронках, что сильно задалбывает, поскольку со времён НС придуманы десятки разных других моделей.

(Ответить) (Ветвь дискуссии)


[info]tristes_tigres
2014-05-28 15:49 (ссылка)
Ему в любой проблеме подавай лингвистические структуры

Пример с видеокамерой, направленной в окно, не имеет ничего общего с лингвистическими структурами, и вовсе не ограничен нейронными сетями.

(Ответить) (Уровень выше)