Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет ivanov_petrov ([info]ivanov_petrov)
@ 2007-09-28 16:00:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Доверие к компьютеру
Тут разговоры интересные. Митрич написал http://mi3ch.livejournal.com/1193932.html о Петрове, который не среагировал на (ложный) сигнал компьютера об атаке американских ракет. Сигнал увидел, но не поверил технике. "За те две-три минуты толком ничего не проанализируешь, - рассуждает Петров двадцать лет спустя. - Остается интуиция. Два аргумента у меня было. Во-первых, ракетные нападения с одной базы не начинаются, взлетают со всех сразу. Во-вторых, компьютер по определению - дурак. Мало ли что он за пуск примет.." http://mi3ch.livejournal.com/1193932.html?thread=31452364#t31452364

В этом треде и в соседнем http://mi3ch.livejournal.com/1193932.html?thread=31452876#t31452876 получились разговоры. Ну, одни - понятно - вслед за Митричем говорят: герой, принял правильное решение, предотвратил мировую катастрофу. А другие говорят - халтурщик, потому что вмешательство человека в компьютерные решения приводит к сбоям, технике надо верить. То, что она конкретно в этом случае ошиблась - это лишь случай, множество ситуаций как раз обратных - когда человек, вмешиваясь в работу программы, приводит к ошибочному решению. Доверять надо.

Мне бы хотелось уйти от живого человека - Петрова... чтобы не обижать и не говорить гадостей именно про него. Проблема-то общая. Если мы всерьез считаем. что компьютерная система с датчиками надежнее человека - надо ей и отдать "ключи мира". Разумеется, я помню "Терминатора" и прочие страшилки - но как раз утверждается, что комп от них-то и страхует лучше, чем "человеческий, слишком человеческий" фактор. Или все же оставляем человека принимать последнее решение... а для чего? Вот для таких случаев? А какие у нас рациональные основания - кроме "боязно что-то" - полагать, что человек ошибается реже?



1-я страница из 2
<<[1] [2] >>

(Добавить комментарий)


[info]sima_korets@lj
2007-09-28 09:20 (ссылка)
Страшные вопросы задаёте.

Но человек все же умнее.

Могу сослаться на старый религиозный принцип - творец всегда превосходит свое творение. :)

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:09 (ссылка)
Должно быть, так...

(Ответить) (Уровень выше)


[info]mask_13@lj
2007-09-28 09:22 (ссылка)
Компьютер никакиех решений не принимает, у него нет свободы воли.
Решения принимают программисты, заранее просчитывая возможные варианты (все, или не все), и определяя реакцию системы в каждом конкретном случае.
По сути, конфликт здесь не между компьютером и человеком, а между действиями по инструкции (часть которой в описываемом случае интерпретирует компьютер), и действиями исходя из собственных соображений.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:11 (ссылка)
Это понятно. А как же аргументация "рограммистов" (в кавычках - потому что условно. я ж не знаю, кто по профессии те, кто защищал...) о том, что коллектив талантливых людей старался, делал систему, предусматривал варианты проверки, отлаживал, проверял - а потом вдруг вставший не с той ноги оператор, неизбежно не самой лучшей квалификации - отменяет важнейшее действие?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]captainl@lj
2007-09-28 16:37 (ссылка)
В любой мало-мальски сложной программе есть ошибки. Я говорю о программах не в процессе разработки, а о коммерческих, отлаженных, которыми пользуются тысячи (если не миллионы) людей. Предусмотреть все и проверить все не удается. Поэтому оператор может и должен в определенных обстоятельствах изменять ход процесса, заложенный в программу ее разработчиками. Кстати, в mission critical программных системах (напр., управление запуском ракет) операторов "не самой лучшей квалификации" к работе стараются не допускать.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-28 16:47:53

[info]aintlion@lj
2007-09-28 18:58 (ссылка)
Я не хочу делать обобщений, но именно грубое и неграмотное вмешательство человека в работу автоматики привела к Чернобыльской аварии.

(Ответить) (Уровень выше)


(Анонимно)
2007-09-28 17:06 (ссылка)
+10!

(Ответить) (Уровень выше)


[info]annet_azar@lj
2007-09-28 17:08 (ссылка)
+10!

(Ответить) (Уровень выше)


[info]a_rakovskij@lj
2007-09-28 09:26 (ссылка)
хотелось бы напомнить одну фразу Винера. Когда он перед этим растекаясь мыслью по древу пару страниц дает хвалу искуственному интелекту. и сразу же после идет замечание. дескать если бы испытывали полностью автоматизированный автомобиль, то я бы за него не сел. только разве если все же где-то будет тормоз, который контролирую только я и который не отключаем этой автоматикой...

мне кажется в этом и ответ на ваш вопрос. человек готов (и с радостью!) переложить ряд функций на кого-то. другого человека, ии - без разницы. но при этом оставив рычаг тормоза в руках.

что же мы видим в обсуждаемом случае? если не затормозить сейчас то далее тормоза не будет... стоит ли удивлятся что человек предпочел затормозить пока у него есть еще какое-никакое влияние на проблему, какой-никакой да тормоз..

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:14 (ссылка)
Да. Сталкивается коллектив разработчиков, военная бюрократическая система принятия решений, огромный коллектив, отвечающий за адекватрную работу программного комплекса - и решение человека. одного, двух - не важно. Не самых квалифицированных (из представимого множества). Когда речь о жизни одного человека в собственной машине - ясно, тормоз ему. а когда миллионы и миллионы - за которые считает себя отвественными армия и государство - и решение одного человека? Что ж нас заставляет и в этой ситуации оставлять в его руках ручной тормоз?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]a_rakovskij@lj
2007-09-28 10:34 (ссылка)
стоит наверное вопрос задать по другому. разве о нас и нашем решении кому оставлять здесь идет речь? вовсе нет.

итак система, мощная уверенная в себе, тем не менее не решается отдать конечное слово ее же результату. пусть посторонний...

(Ответить) (Уровень выше)


[info]fandaal@lj
2007-09-28 13:46 (ссылка)
ну люди спокойно ездят на автоматических поездах...

(Ответить) (Уровень выше)


[info]iodiot@lj
2007-09-28 09:28 (ссылка)
Многие проблемы от того, что человек просто забывает, что компьютер это всего лишь полезный инструмент (даже очень полезный), а не панацея…

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:15 (ссылка)
Грозятся искусственный разум вывести-высидеть. Может, тогда уж...

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]tannenbaum@lj
2007-09-30 05:31 (ссылка)
А искусственную душу не грозятся пока? Может, для принятия важных решений не один только разум нужен? Хотя этот девичий взгляд на вещи многие засмеют, конечно, особенно программисты.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-30 14:38:48
(без темы) - [info]tannenbaum@lj, 2007-09-30 14:41:08
(без темы) - [info]ivanov_petrov@lj, 2007-09-30 14:48:22

[info]mask_13@lj
2007-09-28 09:31 (ссылка)
Яообще, создатели системы "ядерного чемоданчика" писали не программу, а нечто более широкое - систему человек-машина, в которую входили, кроме прогрмаммы, еще и Петров и Андропов.
Если бы создатели системы сами на 100% доверяли ее показаниями, то они исключили бы Петрова из процесса принятия решения. При тревоге сразу бы срабатывала сигнализация на ядерном чемоданчике у Андропова, который уже принимал бы решение. Но разработчики системы очевидно предполагали, что тревога в их системе - еще не повод автоматически информировать Андропова, сначала должна пройти верификация данных дежурным экспертом (Петровым).

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:17 (ссылка)
Это понятно. Мне интересны именно аргументы. Ведь можно проивзольно усиливать позицию сторонников программы. Вот, допустим. создадут ИИ. вполне полноценный 9у этой мсли масса горячих сторонников). Вот его тестируют-проверяют - не врет! Вот множество экспертов согласились, что программа должна быть именно такой. с такими-то критериями. И - на каких основаниях одному оператору вручается власть не слушать сигнал программы?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mask_13@lj
2007-09-28 10:32 (ссылка)
тут принципиально то, что эта власть вручается "оператору" как раз разработчиками программы
вообще, нет большой разницы, искуственный тут интеллект, или естественный
это может быть не ИИ, а регламент (для людей)
определенный набор правил
если случилось то-то и то-то, такие-то показания с датчиков, то запускаем бомбу, и никакого Петрова не слушаем. компьютер только слегка ускоряет обработку показаний датчиков, и все.
я надеюсь, люди никогда к такому не придут. т.е. не будут договариваться между собой, что при таком-то наборе сигналов с датчиков запускаем атомную войну не раздумывая.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-28 10:37:15
(без темы) - [info]mask_13@lj, 2007-09-28 11:11:20
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:10:15
(без темы) - [info]mask_13@lj, 2007-09-28 12:15:48
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:35:45
(без темы) - [info]mask_13@lj, 2007-09-28 12:47:10
(без темы) - [info]captainl@lj, 2007-09-28 16:57:12
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 17:19:59
кстати да а почему петров не позвонил на американсую б
[info]ex_parkerped763@lj
2007-09-29 16:19 (ссылка)
кстати да а почему петров не позвонил на американсую базу.
и не спросил.. "ВЫ че Пиндосы охуели"?

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: кстати да а почему петров не позвонил на американсую
[info]ivanov_petrov@lj
2007-09-29 16:22 (ссылка)
У меня к Вам личная просьба. Пожалуйста. воздерживайтесь от мата в этом журнале. Я понимаю красоту и сочность приведенного вами выражения. но просил бы в данном случае наступить на горло этой песне.

(Ответить) (Уровень выше)

Re: кстати да а почему петров не позвонил на американсую
[info]mask_13@lj
2007-09-30 12:00 (ссылка)
с мобильника

(Ответить) (Уровень выше)


[info]albiel@lj
2007-09-28 09:42 (ссылка)
Какая категория субъектов запускает ракеты, такая ответственна и за защиту. Вот если б ракеты запускались по принятию решений компьютера, то и реагировали бы только компьютеры. (И шампанское бы тоже они пили.) А вообще, есть такие замечательные персонажи сказки: Двое-из-ларца.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:17 (ссылка)
То есть тут важна симметричность. Понятно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]albiel@lj
2007-09-28 10:21 (ссылка)
Я искал ответ с наиболее общей логикой.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-28 10:34:31
(без темы) - [info]albiel@lj, 2007-09-28 10:36:10
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:04:39

[info]flying_bear@lj
2007-09-28 09:46 (ссылка)
Мне кажется, сама постановка вопроса именно о рациональных основаниях нуждается в обосновании. А почему они должни быть рациональными? Все важные решения человек принимает, руководсвуясь именно иррациональными мотивами.

В данном случае они могут быть, например, такими: человек создан по образу и подобию Божию, а компьютер - нет.

Когда человек окончательно перестанет принимать во внимание подобные соображения, настанет время страшилок - из Терминатора или других. Как нам и обещано. А обетование Божие, как Вы знаете, непреложно.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:20 (ссылка)
Да, можно пробовать обосновать. Офицер за пультом подчиняется инструкции. Мы знаем. что для составления этих инструкций требуются рациональные обоснования. За невыполнение инструкций офицера, надо полагать. наказывают и не допущают до кнопки, и долго тренируют. чтоб инструкцию слушал. Тем самым расуждение о нерациональных основах принятия решений - не имеет отношения к данной ситуации. Потому что мы с Вами можем сейчас согласиться. что основы эти нерациональны - но вот то, на каких основанииях создаются инструкции и т.п., вроде бы делается на рациональных. и для изменения инструкции тоже требуются рациональные основания. предположим, будет принято решение отменить человека-оператора и полностью автоматизировать. Чтобы не дать этому решению хода, скорее всего. понадобятся рациональные основания.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]flying_bear@lj
2007-09-28 10:29 (ссылка)
Я очень сомневаюсь, что инструкции пишутся на рациональных основаниях.
Разработчики инструкций, вероятно, думают по-другому. Но это не новость, что миром правят люди, не понимающие, что именно они делают и почему. И что если слепой поведет слепого, оба свалятся в яму - тоже не новость.

Раньше военные, по крайней мере, теоретически, руководствовались соображенями принципиально неформализуемыми - например, честь офицера, и т.п. То, что за невыполнение (преступного) приказа или (идиотской) инструкции могут, мягко говоря, наказать, а грубо говоря - расстрелять, не новость. То, что несмотря на это, человек способен на такие действия, имеет прямое отношение к тому, что он создан по образу и подонию Божию. Так что, полагаю, моя реплика имеет прямое отношение к рассматриваемой ситуации.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]flying_bear@lj, 2007-09-28 11:18:54
(без темы) - [info]yurvor@lj, 2007-09-28 11:57:35
(без темы) - [info]flying_bear@lj, 2007-09-28 12:04:19
(без темы) - [info]yurvor@lj, 2007-09-28 12:06:45
(без темы) - [info]flying_bear@lj, 2007-09-28 12:07:27
(без темы) - [info]yurvor@lj, 2007-09-28 12:14:45
(без темы) - [info]flying_bear@lj, 2007-09-28 13:21:58
(без темы) - [info]yurvor@lj, 2007-09-28 13:27:35
(без темы) - [info]alexaggi@lj, 2007-09-28 14:22:26
(без темы) - [info]yurvor@lj, 2007-09-28 15:03:26
(без темы) - [info]lee_bey@lj, 2007-09-28 18:29:59
(без темы) - [info]yurvor@lj, 2007-09-28 18:33:08
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:03:10
(без темы) - [info]flying_bear@lj, 2007-09-28 12:07:07
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:18:36
(без темы) - [info]flying_bear@lj, 2007-09-28 13:18:25
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 13:21:48
(без темы) - [info]flying_bear@lj, 2007-09-28 13:23:17
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 13:26:27
(без темы) - [info]a_radik@lj, 2007-10-01 16:48:39
(без темы) - [info]ivanov_petrov@lj, 2007-10-01 17:19:47
(без темы) - [info]a_radik@lj, 2007-10-01 18:36:19
(без темы) - [info]ivanov_petrov@lj, 2007-10-02 00:46:22
(без темы) - [info]a_radik@lj, 2007-10-02 04:39:08
(без темы) - [info]ivanov_petrov@lj, 2007-10-02 13:45:00
(без темы) - [info]a_radik@lj, 2007-10-03 16:56:36
(без темы) - [info]ivanov_petrov@lj, 2007-10-03 17:33:32
(без темы) - [info]fandaal@lj, 2007-09-28 13:17:37
(без темы) - [info]flying_bear@lj, 2007-09-28 13:19:35
Если совсем тезисно - [info]pussbigeyes@lj, 2007-09-28 16:16:48
Re: Если совсем тезисно - [info]ivanov_petrov@lj, 2007-09-28 16:28:50
Re: Если совсем тезисно - [info]pussbigeyes@lj, 2007-09-28 16:45:24
Re: Если совсем тезисно - [info]ivanov_petrov@lj, 2007-09-28 17:00:07
Re: Если совсем тезисно - [info]pussbigeyes@lj, 2007-09-28 18:26:36
(без темы) - [info]kdv2005@lj, 2007-09-28 12:14:18
(без темы) - [info]flying_bear@lj, 2007-09-28 13:20:47
(без темы) - [info]kdv2005@lj, 2007-09-28 13:21:34
(без темы) - [info]kdv2005@lj, 2007-09-28 13:27:47
(без темы) - [info]flying_bear@lj, 2007-09-28 13:41:50
(без темы) - [info]kdv2005@lj, 2007-09-28 14:45:45
Должно нарушать! - [info]vasily_sergeev@lj, 2007-10-12 13:29:18

[info]firtree@lj
2007-09-29 15:39 (ссылка)
> В данном случае они могут быть, например, такими: человек создан по образу и подобию Божию, а компьютер - нет.

А не мог ли Бог сделать человека не по Своему образу и подобию, а таким, чтобы созданные его руками компьютеры были по Его образу и подобию?

Плюс вообще идея сотворения наизнанку, снизу вверх...

(Ответить) (Уровень выше)


[info]xbvbx@lj
2007-09-28 09:47 (ссылка)
Доверять можно технике, которую знаешь. Принцип действия и его техническую реализацию. Тогда понятно, какие ошибки в принципе могут произойти - а какие не могут никак. И в каких пределах можно доверять данному устройству.
Собственно, для это и "учат матчасть".

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:21 (ссылка)
Сложность многих технических систем такова, что ни один отдельный человек не может знать всю эту матчасть.

(Ответить) (Уровень выше)


[info]nature_wonder@lj
2007-09-28 09:56 (ссылка)
человек ошибается.
Компьютер нет - он исполняет программу, ущербную в ключевых параметрах.
Вопрос, кому вы больше доверяете: непосредственному наблюдателю (имеющему квалификацию и опыт) или программистам и механическим сенсорам-анализаторам.
Возможны ситуации, где проявится преимущество первого и наоборот.

Думаю, критерий тут один, причем неизбежно "мягкий": чем мощнее влияние принимаемого решения на жизнь массы людей, тем больше ответственность должна возлагаться на человека.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:09 (ссылка)
Мы доверяем человеку не потому. что он реже ошибается. а потому что он человек.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]nature_wonder@lj
2007-09-28 10:50 (ссылка)
и, видимо, не доверяем ему по тем же причинам....

(Ответить) (Уровень выше)


[info]captainl@lj
2007-09-28 17:11 (ссылка)
Ну вот, появились враги-программисты.
Разработкой алгоритмов работы сколько-нибудь сложных программ занимаются специалисты в предметной области, а не программисты. Программисты эти разработанные специалистами-предметниками алгоритмы записывают на языке программирования. Иногда встречаются специалисты (физики, биологи, лингвисты, строители), которые и техникой программирования владеют, но редко.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]nature_wonder@lj
2007-09-28 19:40 (ссылка)
под программистами в данном случае подразумеваются люди, формализовавшие процесс принятия решения. В какой области они специалисты, в контексте высказывания не суть важно.

И уж безусловно никакого негативного акцента в адрес программистов (ни в широком, ни в узком смысле) тут не подразумевается. Моя реплика совершенно нейтральна.

(Ответить) (Уровень выше)


[info]chva@lj
2007-09-28 09:59 (ссылка)
Странные какие-то рассуждения. Петров на основании опыта принял правильное решение. О чём тут ещё говорить? Мой отец — ПВО-шник, но не стратегический, а войсковик. Так вот, он мне рассказывал, что со своим опытом выделял цели на экране локаторов гораздо раньше, чем это делала автоматика комплексов, отсекал помехи глазом лучше и т.п. Это же офицер, а не солдатик, который видит такие системы всего десять месяцев. По куче косвенных, трудно формализованных признаков профессионал делает правильное решение.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:22 (ссылка)
Я не собираюсь оспаривать решение Петрова.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]chva@lj
2007-09-28 10:26 (ссылка)
Да я больше не вам, а тем кто по ссылке.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-28 10:34:48

[info]yurvor@lj
2007-09-28 10:05 (ссылка)
Тут как обычно - не следует обобщать :)

Есть люди, которые заточены под принятие кардинальных решений. И они, конечно, должны быть последними, за компьютерами. Но таких людей крайне мало - и ситуаций, в которых они нужны, тоже довольно мало.

А есть простые обычные люди, коих большинство. И есть обычные каждодневные ситуации, коих тоже не сравнить по важности с запуском ракет. Вот в них - слово за компьютером должно быть, конечно. Нечего дилетантам ничего решать.
___
А вообще, забавные это вопросы - "а вот человек то, а вот человек сё"... Человеки-то разные, как так можно говорить?

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:23 (ссылка)
И система отбора тех офицров такова. что отбираются именно те редкие люди, которые заточены под принятие кардинальных. Это очень хорошо. Если есть такие хорошие методики отбора, было бы хорошо отобрать нужных людей для работы финансовыми аналитиками. директорами банков и во многие другие места. очень хорошая методика, оказывается, имеется.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]yurvor@lj
2007-09-28 10:30 (ссылка)
Они не то, чтобы отбираются - они ещё и затачиваются тоже. При этом для контроля кнопок запуска ракет государство может (могло?) позволить себе отобрать и заточить - таких людей всё-таки мало. Да и тоталитаризм способствует, опять же.

Заточить же людей "во многие другие места" возможным не представляется - нет ни ресурсов, ни методик, ни... тоталитаризма. Да и сложнее это во много раз.

Так что увы, тут уж что выросло, то выросло.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-28 10:36:02
(без темы) - [info]yurvor@lj, 2007-09-28 10:43:48

[info]gamajun@lj
2007-09-28 10:05 (ссылка)
С программами есть одна большая неувязочка — как правило, программисты не несут никакой персональной ответственности за поведение своих программ. Даже если это очень серьёзные программы, типа встроенных систем на спутниках и в авиации. Нет такого, что если из-за программной ошибки погибла тыща человек, и это было обнаружено пост-фактум, то автора ошибки нашли и посадили. Как максимум, понесёт ответственность руководство компании-производителя.

И как при этом можно доверять полностью автоматическим системам?

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:26 (ссылка)
Однако... приходится. Вот Вам ответ печатаю - и хрен знает как. но потом это там, Вам, видно. Конечно. это пустяк, если сбой произойдет - никто и не чихнет... Однако же масса операций доверяется компьютерам. и всё большая масса. Тут как-то странно - когда речь о том. что ядерную войну не вести. - аргументы о том, что программы несовершенны. а когда - например - разговор зайдет о том. что нельзя программам доверять проверку знаний в вузе или еще чем таком типа медицинской диагностики - наоборот. говорят о мифах недоверия к компьютерам и интернету, о суевериях отсталых людей...

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]gamajun@lj
2007-09-28 10:35 (ссылка)
Сейчас видно, а завтра может и невидно будет. Но ведь действительно пустяк в данном случае. Тут нам достаточно хоть какой-то уверенности, что всё отработает правильно. А там, в ядерных войнах, недостаточно и 99,9% уверенности, никто не хочет доверять такие вещи чему-то, что демонстрирует вероятностное поведение, и не несёт никакой ответственности за свои действия даже теоретически.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:04:18
(без темы) - [info]gamajun@lj, 2007-09-28 12:34:07
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:40:36
(без темы) - [info]gamajun@lj, 2007-09-28 12:48:49
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 13:08:56

[info]gnuzzz@lj
2007-09-28 10:07 (ссылка)
компьютерная система с датчиками намного надежнее человека. Проблема в том, что она надежнее на том множестве ситуаций, которые были предусмотрены разработчиками. А возможных ситуаций, как правило, намного больше - всегда может случится что-то непредвиденное (в рассматриваемом случае, например, непредвиденная ситуация - это даже не "засветка датчиков спутника от высотных облаков", а "ракетные нападения только с одной базу не происходят"). Именно на этот случай и нужен "полковник Петров с кнопкой".

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:28 (ссылка)
Да, я понимаю. Я пытаюсь понять, почему про ракеты - вот такие аргументы, а если б я- предположим - написал. что тесты нельзя использовать для образования и проверки знаний, что комп.диагностика в мед. целях нехороша и т.п. - мне были бы совсем иные ответы. Почему?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]reader59@lj
2007-09-28 10:51 (ссылка)
А почему "совсем иные"? Правильный ответ тут, имхо, один - все зависит от обстоятельств, места и времени...
Если же говорить сугубо формально, то надо рассматривать систему "человек-машина", где каждый элемент обладает некоторой, причем вполне счетной, надежностью и рядом других технических параметров. И человек, И машина. "Или" тут некорректно в принципе. Дальше - вполне инженерная работа: есть задачи, для решения которых технических возможностей человека недостаточно (пример - защита корабля от крылатых ракет: время на обнаружение, распознавание, классификацию и уничтожение целей порядка 7 секунд - человек не справится никак); есть задачи, полохо формализуемые по определению - та же медицина например, и здесь компьютер может играть только вспомогательную роль. Так что все это вопрос грамотного проектирования систем, не более.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:09:22
(без темы) - [info]reader59@lj, 2007-09-28 12:38:16
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:43:04
(без темы) - [info]reader59@lj, 2007-09-28 13:14:22
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 13:18:36
(без темы) - [info]reader59@lj, 2007-09-28 13:45:15
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 15:04:36

[info]filin@lj
2007-09-28 11:16 (ссылка)
Это же подмена подхода: условный Петров - в полном объеме пользуясь результатами работы техники - принял решение. Аналогом будет "после того, как компьютер диагностировал серьезную болезнь, пациент поступает к людям-специалистам".
А тест, если он что-то решает в судьбе, а не просто для проверки знаний - должен предполагать возможность аппеляции опять же к людям.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:12:09
(без темы) - [info]filin@lj, 2007-09-28 12:16:06
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:37:43
(без темы) - [info]filin@lj, 2007-09-28 12:48:43
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 13:08:16

[info]koudesnik@lj
2007-09-28 10:17 (ссылка)
Примерно из этой же серии - http://ru.wikipedia.org/wiki/Столкновение над Боденским озером. Прибор говорил вверх, а диспетчер вниз - послушали диспетчера, ну и ... Когда расследовали в том числе выяснили (об этом есть серия в "Расследовании катастроф") что пилоты западных стран предпочитают слушать технику (дают преимущество указаниям приборов), а восточных человека.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:29 (ссылка)
Диспетчеров не отменяют... хотя они ошибаются.

(Ответить) (Уровень выше)


[info]pussbigeyes@lj
2007-09-28 10:32 (ссылка)
Ошибаются люди, ошибается железо. Но ошибаются, как правило, по-разному. В случае общего положения, логики этих ошибок если и не взаимно дополнительны, то почти перпендикулярны. По-моему, двойная человеко-машинная подстраховка снижает риски. Команда, отданная человеком, тоже анализируется компьютером перед непосредственным выполнением. Доказательством эффективности такой схемы служит слабая наблюдаемость до сих пор глобальных катастроф (в Чернобыле, как раз, все контуры машинного контроля были предварительно отключены).

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 10:39 (ссылка)
Риски перемножаются... и потому введение в контроль совсем иной системы - по своим принципам - уменьшает риск. Понятно. Но если разные логики - то можно построить комп. систему с перпендикулярной логикой. запараллелить их. и пусть работают без Петрова. Нет?

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]pussbigeyes@lj, 2007-09-28 10:45:05
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:06:30
(без темы) - [info]pussbigeyes@lj, 2007-09-28 12:26:37
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:38:16

[info]mikev@lj
2007-09-28 10:43 (ссылка)
Я думаю, тут дело вот в чем. Программист закладывает в систему какую-то модель. Эта модель описывает некий спектр возможных ситуаций, возможно, достаточно широкий. Но жизнь богаче. Обязательно возникают нестандартные ситуации, которые не вписываются в модель. Попытки усложнить модель приводят к снижению других характеристик системы: быстродействия, надежности, цены, наконец. Поэтому любая реальная система - результат компромисса. Если ситуация вписывается в модель, техника работает лучше человека, если нет - может быть по-разному.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 12:21 (ссылка)
Однако о том, вписывается ли ситуация в модель. мы не имеем данных. Если б имели - вписали б в модель.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]mikev@lj, 2007-09-28 15:40:26

[info]filin@lj
2007-09-28 10:45 (ссылка)
Я вообще не понимаю, как в такой ситуации можно предъявлять претензии - обязанности дежурного офицера заключаются именно в том, чтобы оценить то, что сообщают ему службы наблюдения (сразу по нескольким каналам) и принять решение. Что он и сделал, причем сделал правильно.
:-)

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 12:21 (ссылка)
Да. конечно, речь не о решении Петрова. То, что он прав. мы уже знаем.

(Ответить) (Уровень выше)


[info]dennett@lj
2007-09-28 10:52 (ссылка)
Мне кажется, аргумент тут такой - программисты пишут программу, учитывающую общие, абстрактные принципы, а человек подводит конкретную ситуацию под эти принципы.

Это хорошо с двух сторон. С одной - группа программистов-специалистов, на этапе разработки программы с будущими конкретными ситуациями столкнуться не может. А с другой - машина не может подвести частное под общее.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 12:25 (ссылка)
Да, это хороший выход. Тогда откуда берется программистский аргумент. что вмешательство человека в принятие системой решения часто приводит к ошибкам? приведенный тут пример ошибки диспетчера и авиакатастрофы... И другие мыслимые примеры. Причем дырка тут, как мне кажется, фундаментальная. Состоит она в том, что компьютер (программа) учитывает общие абстрактные принципы, но об этом знаем только мы (в пределе - вот Вы и я, раз с Вами согласился). Любой результат работы программы конкретен не менее. чем решение человека. Это мы (наблюдатели) провели различение общего и конкретного. Во всех реальных ситуациях этого различия нет - общее ровно нигде не представлено. На деле различаются - составителями программы! - просто разные классы конкретных ситуаций. различаются понятным образом - в одних выкидывается сигнал человеку, в других программа продолжает работать "внутри себя", амостоятельно что-то делает.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]dennett@lj, 2007-09-28 13:31:29
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 13:39:15
(без темы) - [info]dennett@lj, 2007-09-30 12:36:28
(без темы) - [info]ivanov_petrov@lj, 2007-09-30 14:39:36

[info]dottedmag@lj
2007-09-28 10:54 (ссылка)
Старое доброе "нутром чую" никуда не денется - человеческий мозг всё-таки на много порядоков мощнее самых навороченных экспертных систем, когда дело доходит до принятия решений в условиях экстренной недостачи фактов.

Любая экспертная система - это формализованный набор выявленных путём консультаций с экспертами взаимосвязей, но уловить новые закономерности или проверить действенность уже известныз эта система не может. Собственно, поэтому сейчас и развиваются системы класса "поддержки принятия решений" для особо сложных и ответственных областей - все понимают, что системы "принятия решений" на данном уровне развития техники невозможны.

Конечно, это относится только к принятию решений, а не к техническим вопросам типа "запустить ракеты, когда нажали на эту кнопку".

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 12:28 (ссылка)
_на много порядоков мощнее_
Правильно ли я Вас понимаю - при значительной скорости роста компьютерных мощностей мы довольно скоро сможем ибавиться от этой проблемы? Можно даже так сказать - когда мы с Вами сойдемся в том. что вот такая-то комп. система (Синий позитрон, Алый гигант или как ее там назовут) по мощности превосходит человека - ну, по любым измеряемым параметрам она мощнее... Тут можно и кнопку ей отдать. При очень хорошо написанных программах, разумеется. При тестировании. проверке и прочей всей обслуге.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Reply to your comment... - [info]dottedmag@lj, 2007-09-28 12:32:11
Re: Reply to your comment... - [info]ivanov_petrov@lj, 2007-09-28 12:39:06

[info]captainl@lj
2007-09-28 17:28 (ссылка)
== человеческий мозг всё-таки на много порядоков мощнее самых навороченных экспертных систем, когда дело доходит до принятия решений в условиях экстренной недостачи фактов.==

Представьте себе сверхзвуковой истребитель, летящий на высоте 100 м над землей, когда пейзаж из-за большой скорости сливается в серую пелену и ошибка в управлении на пол-секунды может быть смертельной. Это как раз один из случаев принятия решений в условиях экстренной недостачи фактов. Решение все равно принимается человеком (опосредованно - разработчиком софта для истребителя), но в реальном времени человеческий мозг оказывается на много порядков слабее.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Reply to your comment... - [info]dottedmag@lj, 2007-09-28 17:36:01

[info]alexaggi@lj
2007-09-28 11:14 (ссылка)
Сравнение "специализированная программа" vs "человек-профессионал"...
Давно копья ломают.
2 истории из жизни в тему:

У моего начальника был когда-то отдел на ЛОМО. Году эдак так в 70 наверное. Отдел состовлял программы для станков с ЧПУ. И закупил этот отдел НАИРИ - хорошая машина по тем временам...
Так один из инженеров отдела на спор брался решать задачи (составлять программы) быстрее, чем эта НАИРИ. Сначала (в период изучения машины) он выигрывал. Потом перестал...

Я в текущий период жизни занимаюсь строительным CAD. Ну и заметил замечательную тенденцию (в прочем я её и раньше замечал, просто она сейчас мне более ясно видна) - использование специализированных рассчетных программ отупляет. Если раньше инженер, используя линейку\калькулятор реально знал как именно что считается и (при достаточном опыте) мог оценить результат расчета "на глазок" то молодой инженер (никогда сам не считавший "по-старинке") критически оценить результат рассчета программы не может. Он "верит компьютеру", потому что "компьютер не ошибается". Результаты программы рассчета становятся "абсолютно верным знанием" и не обсуждаются даже когда они явно ошибочные (у каждой программы есть свои "болевые точки", ломом всё можно починить)...

В общем чем лучше будут программы тем меньше будет людей, способных заметить и исправить ошибку.
Программ предсказания пусков ядерных ракет это тоже касается.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 12:30 (ссылка)
Да, про подоплеку мнения "комп. не ошибается" видел... Помню какую-то чудесную сцену про неошибаемость калькулятора - когда там получилось заведомо ложное решение, и тем не менее было принято человеком как ответ абсолютно верный. ТуТ. конечно. речь не о компьютерах... а об автоматизации человеческого понимания.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]alexaggi@lj, 2007-09-28 12:40:59
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 12:44:53

[info]reader59@lj
2007-09-28 13:30 (ссылка)
Если раньше инженер, используя линейку\калькулятор реально знал как именно что считается и (при достаточном опыте) мог оценить результат расчета "на глазок"

Таких и сейчас ровно столько же. Тут же вопрос не в технических средствах расчета, а в понимании вещей фундаментальных (для строителей - того же сопромата, например). Ну вот не может эта балка гнуться вверх, если сила к ней приложена сверху, и все тут. Исходя из общих принципов, а не чисел.
А большинству что во времена логарифмических линеек, что в нынешние голова нужна в основном чтобы шляпу носить.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]alexaggi@lj, 2007-09-28 14:33:39
(без темы) - [info]reader59@lj, 2007-09-28 14:56:59
(без темы) - [info]gekkkon@lj, 2007-09-28 16:19:03
(без темы) - [info]reader59@lj, 2007-09-28 22:30:38

[info]radiotv_lover@lj
2007-09-28 11:49 (ссылка)
Петров знал что там за техника, и наверняка она не первый раз гнала ерунду.
И ему не хотелось из-за того, что на заводах пьяные наладчики нахалтурили, устраивать войну.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 12:31 (ссылка)
Да, про Петрова я и не спорю, он прав по факту - теперь мы об этом знаем... А вот тогда не знали еще.

(Ответить) (Уровень выше)


[info]_aristeo@lj
2007-09-28 12:02 (ссылка)
Тут общего ответа дать нельзя. Все зависит от человека и от техники - от профессионализма человека и точности техники. Следует помнить, что техника - всего лишь инструмент, что последнее слово остается за человеком. Есть ситуации, когда человек слеп, когда полагаться следует только на технику (например, при слепом полете). Есть случаи, когда техника используется только для прояснения ситуации, когда, например, врач пользуется различными приборами для обследования пациента, но диагноз ставит все-таки сам (конечно, современные компьютеры умеют ставить и диагнозы, но все же хорошего врача не заменит ничто).

Просто нужно знать возможности техники и ее ограничения.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 12:34 (ссылка)
Мне кажется. это решаемая проблема. _хорошего врача не заменит ничто_ До тех пор. пока сохраняется понятие хорошего врача из докомпьютерной эры - который видел человека целиком, был диагностом и т.п. Врач-специалист, все в большей степени ориентирующийся на показания тестов, диагноз компьютера. справочники и прдписания - все в большей мере может быть заменен компьютером. в конечном счете, мы должны придти по крайней мере к паритету с решением ПВО: пусть комп ставит диагноз больному до тех пор, пока это не предсмертный диагноз. тогда - в этом случае - комп сигнализирует человеку-врачу6 пацент Иванов через 25 минут скончается. какие меры, мол, решаете принять? Ну, тогда врач может взглянуть на Иванова...

(Ответить) (Уровень выше)


[info]olaff67@lj
2007-09-28 12:43 (ссылка)
>А какие у нас рациональные основания - кроме "боязно что-то" - полагать, что человек ошибается реже?

Рациональные, говорите... Хм, "за неделю одному тут с не справится, тут помощник нужен", а именно - компьютер. Если не были прописаны оговорки в программе, что "с одной базы не взлетают" и т.п., то Петров был неправ - с точки зрения компьютера. Но мы-то уже (апостериори) знаем, что это не так. Отсюда еще вопрос: Как вложить в компьютер такого рода знание в априорной форме?

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 12:46 (ссылка)
Ну, это вроде бы не сложный вопрос. Базы, основанные на экспертных оценках... Ради такого дела можно просто всех поголовно экспертов обойти. врнести мнения. согласовать. увязать. потом формализовать по критериям.. Делов-то.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]olaff67@lj, 2007-09-28 13:04:19

[info]watertank@lj
2007-09-28 14:00 (ссылка)
Давайте сделаем небольшую экскурсию в историю начала недавних войн.

В 1870 году Бисмарк подделал письмо французского посла германскому императору и "слил" его в прессу. Так началась франко-прусская война, в которой погибло или было ранено около миллиона человек.

В 1914 году, после покушения на эрц-герцога Франка Фердинанда, Австро-Венгерская объявила войну Сербии. Так началась первая мировая война, в которой погибли, были ранены или пропали без вести около 40 миллионов человек.

В 1919 году был заключен Версальский договор, по которому Германия должна была заплатить огромные репарации союзникам. Это привело к разрухе в экономике, бешенной инфляции, росту националистических настроений и победе нацистов.
В 1939 году нацист А. Гитлер начал вторую мировую войну, в которой погибли примерно 60 миллионов человек.
В 1941 году И.В. Сталин, несмотря на предупреждения разведки и дипломатов, не посчитал вероятным нападение Германии на СССР, в результате чего погибли миллионы советских военнослужащих и мирных жителей.

В 1964 американский конгресс, на основе ошибочных данных о нападении в Тонкинском проливе, разрешил президенту Джонсону начать войну против Северного Вьетнама. Количество погибших и раненых оценивается от 4 до 8 миллионов человек.

В 1979 году Политбюро ЦК КПСС принимает решение о начале войны в Афганистане. Количество погибших и раненных - ок. 2 миллионов человек.

В 2003 году президент США Буш предоставляет в Конгресс США искаженные данные об иракском оружии массового поражения и получает право начать военные действия. Количество погибших и раненных оценивается в 1 млн человек.

На фоне всех этих иррациональных человеческих решений работа компьютеров, управляющих большинством полетов гражданской авиации и поездами в парижском и токийском метро, вселяет надежду на лучшее будущее человека.

(Ответить) (Ветвь дискуссии)


[info]ivanov_petrov@lj
2007-09-28 15:19 (ссылка)
(очень тихо) всё же - бешеной инфляции, бешеной, я умоляю.

Да, я понял. Надеюсь, Вы видите, что это риторика. Но при этом в качестве риторического упраженения это весьма убедительно. С другой стороны, и без всякой риторики я совершенно не против управления метро и авиацией.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]watertank@lj, 2007-09-28 16:01:55
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 16:10:19
(без темы) - [info]watertank@lj, 2007-09-28 16:23:35
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 16:35:24
(без темы) - [info]gekkkon@lj, 2007-09-28 20:52:26
(без темы) - [info]ivanov_petrov@lj, 2007-09-29 02:42:13
(без темы) - [info]gekkkon@lj, 2007-09-29 05:19:09
(без темы) - [info]ivanov_petrov@lj, 2007-09-29 05:45:05
(без темы) - [info]watertank@lj, 2007-09-29 04:17:02
(без темы) - [info]ivanov_petrov@lj, 2007-09-29 05:43:27
(без темы) - [info]watertank@lj, 2007-09-29 15:54:42
(без темы) - [info]ivanov_petrov@lj, 2007-09-29 16:16:36
(без темы) - [info]watertank@lj, 2007-09-29 17:31:26
(без темы) - [info]ivanov_petrov@lj, 2007-09-30 14:37:58
(без темы) - [info]watertank@lj, 2007-09-30 17:20:46
(без темы) - [info]vkni@lj, 2007-09-30 20:12:13
(без темы) - [info]watertank@lj, 2007-09-30 20:31:20

[info]chingizid@lj
2007-09-28 14:20 (ссылка)
будучи невежественным литовским крестьянином,
я все же осторожно предполагаю,
что собирают и программируют машины все те же люди.
перепоручив все дела компьютерам, мы точно так же оказываемся заложниками всех возможных человеческих слабостей и ошибок, лишаясь при этом использовать реальную человевческую силу - интуицию. вон как у того же Петрова.
ну и смысл? :)

(Ответить) (Ветвь дискуссии)


[info]watertank@lj
2007-09-28 15:03 (ссылка)
Интуиция не всегда работает "как надо". Например, при свете неоновых ламп или в пасмурную погоду человеческая интуиция подсказывает более пессимистические варианты развития событий.

Насчет машин, тоже не так все просто. Несколько лет назад выяснилось, что шахматный компьютер программируют и собирают люди, а играет он лучше самых лучших человеческих гросмейстеров.

Смысла в этом, конечно, немного.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]chingizid@lj, 2007-09-28 15:14:46
(без темы) - [info]watertank@lj, 2007-09-28 21:02:46

[info]ivanov_petrov@lj
2007-09-28 15:27 (ссылка)
Человек вводится в компьютерную систему как мина - человеческие ошибки (действия не по инструкции) должны нейтрализовать закономерные ошибки компьютерных решений. Ошибка на ошибку дает выживание.
И всё же не склеивается. Как временное решение для данного сейчас - может быть... Тем более что оно по факту так. а вот как решение принципиальное для всех задач такого класса - не нравится. Я не верю, что ошибку можно исправлять ошибкой. Кстати, слово интуиция для меня довольно пустое... Или очень полное. Впрямом (полном, строгом) смысле никакой интуиции у петрова не было. это ошибочное словоприменение. В размытом, общеязыковом смысле это, конечно, можно назвать интуицией - но тогда это лово-помойка, куда сливают всю дрянь за вычетом рациональных суждений.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(без темы) - [info]chingizid@lj, 2007-09-28 15:43:03
(без темы) - [info]ivanov_petrov@lj, 2007-09-28 15:54:29


1-я страница из 2
<<[1] [2] >>