Год назад
Здесь в журнале была вот такой разговор http://ivanov-petrov.livejournal.com/287950.html
Это о возможностях принципиальных ошибок всего экспериментального метода науки - и способах излечения. Ткнулся туда, потому что юбилей - год обсуждению... Вот и полез смотреть - кто говорил, что и как. В общем,
Я сама была такою
Триста лет тому назад!

ivanov_petrov@lj
За время своего длительного развития наука на многочисленных ошибках выучила урок и в основу научного метода было положено правило воспроизводимости результатов. Сейчас оно стало азбукой научного исследования, и любой метод, любая работа, не удовлетворяющая этому условию, научной не считается. Однако любая ошибка связана с методом, ее порождающим. Невоспроизводимость результата - ошибка познания, ошибка, связанная со сравнительным методом исследования, - слабое место этого метода. То есть наука, развившаяся до стадии сравнительного метода и получившая с его помощью множество ценных результатов, обнаружила также и его главный недостаток. Ошибка была осознана и выработано правило воспроизводимости, лишь при выполнении которого сравнительное исследование может работать.

Затем произошла смена научного метода в естествознании. Произошло это недавно, первые следы нового метода можно обнаружить в конце XIX, а начало расцвета в ХХ веке. Было получено великое множество чрезвычайно интересных результатов, и новый метод прекрасно зарекомендовал себя в отношении ошибки невоспроизводимости. Это уже не его ошибка; экспериментальный метод, конечно, должен давать воспроизводимые результаты, именно воспроизводимость в эксперименте достаточно легко контролировать.

Можно высказать еще более сильное суждение, обоснование которого слишком громоздко, чтобы здесь его приводить. Дело в том, что экспериментом, собственно, и является воспроизводимый опыт. Пока опыт невоспроизводим, работа экспериментального метода не складывается; как говорят, идет “отладка методики”. Воспроизводимый, устойчивый результат есть показатель сложившегося эксперимента. Воспроизводимость из предмета постоянного внимания и контроля, каким она была на сравнительной стадии науки, из внешнего критерия оценки работы стала составной частью новой научной парадигмы.

А что же ошибки экспериментального метода? Родовой ошибкой экспериментального метода является несравнимость результатов, полученных с помощью различных вариаций метода. Результат неотделим от конкретного варианта экспериментального метода, и тем самым метод входит в картину мира, которую открывает экспериментальное исследование.

Итак, следует подчеркнуть, что каждому этапу развития науки соответствует свой тип ошибок. Естественно, в научном исследовании можно допустить множество ошибок, но у каждого метода имеется основная их причина, крайне трудно исправимая именно при данном методе.

В XVII-XVIII веках действовала натуралистическая парадигма, производились наблюдения и описания. Ошибкой данного метода была неточность. В результате вырабатывались все более строгие методы описания наблюдений, складывалась определенная культура точного описания. Затем в XIX веке развился сравнительный метод. Его основной ошибкой была невоспроизводимость. Это не значит, что требования точности описания перестали быть важными, однако сравнительный метод самим своим устройством во многом гарантирован от погрешностей неточного описания. Стала складываться новая научная культура, призванная защитить познание от имеющегося дефекта метода. Наконец, в ХХ веке развился экспериментальный метод, ошибкой которого является несравнимость результатов. Методов устранения этой ошибки пока не придумано. Несравнимость разлагает научное познание, так сказать, изнутри. Внутри каждого отдельного метода и методики “все чисто”, наблюдается явный прогресс познания и формируется определенная картина мира. Такой метод представляет собой как бы науку в миниатюре, поскольку он удовлетворяет всем старым критериям научного знания и дает результат - научную картину мира. Однако множество таких методов формирует взаимоисключающие картины мира, и у нас нет способа их сопоставления. Недаром на время господства экспериментального метода пришлась интенсивная дифференциация наук.

Указанные последствия применения экспериментального метода требуют осмысления, выработки специальных правил работы. Другая неприятность состоит в том, что результаты, полученные сравнительным методом, не имеют смысла в “прекрасном новом мире” новой методологии науки, и тем самым каждая экспериментальная методика лишена сообщения не только с другими, параллельно развивающимися экспериментальными методами, но и с прошлыми достижениями данной научной дисциплины. С изобретением каждого нового подхода теряются достижения всех предыдущих работ, каждый новый метод, “маленькая наука”, начинает исследование предмета почти с нуля и стремится к созданию собственной картины мира.

Для того чтобы понять, чего требует парадигма экспериментальной биологии, надо обратить внимание на то, как достигалась воспроизводимость результатов в прежней сравнительной парадигме. Хорошо известно, что полученный в каком-либо исследовании результат должен быть не просто высказан; вместе с результатом должны быть точно описаны все условия его получения. Именно этим точным описанием условий достигается воспроизводимость результата. При этом исследователю требуется провести дополнительную работу: он сам должен выяснить, какие условия важны для его результата и их следует описать, а какие - не важны, и о них нет необходимости сообщать подробно. Эта дополнительная по отношению к публикации самого результата работа исследователя и служит гарантией воспроизводимости результата. Обратим внимание на то, чем обеспечивается воспроизводимость - точным описанием. Способность к точному описанию наука выработала на предыдущей, натуралистической стадии, и теперь прежнее достижение используется для новых задач, уже не в качестве самоцели, а для гарантии воспроизводимости результата.

Отсюда можно понять, чем должна быть дополнена экспериментальная биология. Помимо публикации результата и точного описания условий его получения, что гарантирует воспроизводимость, исследователь в области экспериментальной биологии должен затратить дополнительные усилия для того, чтобы его результат можно было сравнить с результатами, полученными иными методами. Этот исследователь должен выполнить работу сравнения методов, а для этого каждый метод должен быть рационально и ясно описан, представлен в виде, дающем возможность сравнения.

flying_bear@lj
Мне на самом деле всё это очень близко - то, что Вы написали. Но иногда полезно заострить вопрос, чтоб продвинуться дальше... Ну вот, насчет зоопсихологии. Допустим, я бы написал следующее: Какой вопрос был ключевым для физики 19 века? Конечно, о природе эфира! И, несмотря на всё колоссальное количественное развитие физики 20 века, на этот вопрос ответа так и нет. Более того, современные физики прикрывают свое бессилие разговорами о якобы бессмысленности этого вопроса...

Меня бы мгновенно разорвали на сорок тысяч маленьких медвежат, и совершенно заслуженно.

В чём разница?

ivanov_petrov@lj
Разниц, как всегда, две.

Первая - про эфир. как я понимаю, про эфир ответ есть: что его нету. А те проблемы, о которых я сказал - они есть, это не псевдопроблемы и не ложные вопросы. Просто в биологии вопросов так безумно много, что концентрироваться сразу на всех не удается. Многие уходят в тень, покрываются пылью.

Вторая - основной смысл, как какжется. у меня другой. Я не столько о том, что какие-то вопросы безответно отодвинуты - это отдельная веточка, сколько - вот об этой изложенной идее преемственности и развития методов проверки знания. От субъективизма лечит точное описание; от ошибок сравнения нужна воспроизводимость (точное описание уже встроено в сравнение); эксперимент уже включает воспроизводимость, но ему не хватает...

Вот эта мысль, как мне кажется, не банальна. Или - если я ошибаюсь - буду рад узнать, где она уже разобрана.

эксперимент определяется теорией, она решает, что такое факты на входе, на выходе, определяет интерпретации и объекты - это да. Здесь я пытался сформулировать ахиллесову пяту экспериментального метода. Утверждал, что у каждого (периода) научного метода есть своя слабая сторона, которую он учится исправлять. экспериментальный метод пока не осознал свою слабую сторону и тем самым "за себя не отвечает". Разумеется, это весьма общее высказывание, и отдельные эксперименты могут проводиться во всем блеске - но как составная часть методологии эта дополнительная и необходимая методу страховка в него еще не введена. Так мне показалось.

flying_bear@lj
Да. Понимаю... Но возможна ли такая страховка в принципе? Путь наш - во мраке... Скорее, нам надо учиться - как, ощупью, ползком, опираясь на _принципиально недостоверную_ информацию, двигаться всё-таки в правильном напрвлении. Но это, конечно, уже за пределами науки как таковой.

poletaj@lj
Нужен едный язык (критерии сравнения)? которого нет.

sparrow_grass@lj
Вообще - поднятая Вами пробелма очень интересная. Но хотелось бы всё-таки побольше конкретики, чтобы до конца вникнуть. Вы пишете про биологию, а как думаете, эта проблема универсальна для всех разделов биологии? и для всех экспериментальных наук?

Вообще, как я поняла описываемую проблему - если мы рассматриваем некую систему, в совокупности всяких параметров, которыми она описывается, и при этом используем различные методы, то получаются разные результаты даже не потому, что методы неправильные, просто мы не всегда эти методы правильно понимаем и используем. Я увидела проблему вот в чём - есть метод, и есть его потребители. И часто те, кто использует метод (методы) для своих исследований, не особенно глубоко в них разбираются, чтобы адекватно использовать для поставленных целей. Но есть уже какие-то наработанные, накатанные способы определения чего-либо разными методами, и в такой колее уже вроде не возникает особых проблем, особенно если система не очень сложная (зависит от количества факторов, более-менее поддающемуся контролю).

ivanov_petrov@lj
Я думаю, это для всех естественных наук - но я бы исключил отсюда их математизированные разделы. Просто потому, что я не способен оценить, как там идут дела. Может быть, и там так же, но не мне об этом судить.

Нет, это не потому, что методы неправильные. Корень проблемы совсем не в этом. Попробую сказать... Имеется сложная система. Каждый метод выделяет какой-то ее аспект для исследования по своему. Это, собственно, и есть определение метода - он делает свой объект, определяет его. Но при этом такое создание объекта происходит в методологии неявным образом. То есть утверждается, что метод исследует "вот это", но если взять десять методов, исследующих это, придется точнее определять, какой аспект этого исследуется в каждом данном случае. И несопоставимость, в простоте говоря, возникает именно из того, что каждый метод говорит о своем аспекте системы. И потому хорошо было бы явным образом формулировать, каким именно аспектом занимается метод - и как этот аспект связан с прочими, чтобы можно было сказать, чему на самом деле соответствует полученный результат в рамках другого метода. Представьте, изучаем мы мышление человека. (Я фантазирую). И вот одна группа экспериментаторов кладет человека на сверхчуствительные весы и смотрит увеличение тяжести головы при мышлении (туда кровь приливает). Другая считает публикации. Третья смотрит, как решают логические задачки. И т.д. И таких методов могут быть сотни - нерофизиологические, психологические, антропологические... и все говорят - мы изучаем мышление. Как сопоставлять эти результаты? Сейчас - никак. Самый цитируемый автор по объему приливающей к мозгу крови может вовсе не быть лидером - и непонятно, что это значит.
Так что дело не в глупых потребителях, не понимающих умный метод, а именно в недоработке самого метода. Нужны объективированные процедуры описания объекта - этого нет. нужны процедуры сопоставления тех картин мира (обычно непроговариваемых), в рамках которых работают разные методы. Требуется пробивать и уснащать в правильных местах удобными формализмами коридоры между разными методами, связывая аспекты одного объекта - заодно рефлектируя, а один ли это объект вообще. И мне кажется. что здесь можно не ругаться по частностям на тот или иной метод или ту или иную науку, а сказать шире - что сам экспериментальный метод еще не содержит всех необходимых ограничений и уточнений.

lee_bey@lj
ИМХО, такое положение дел должно быть типично в ситуации, когда нет единой теории, объединяющей различные части этой области знания и пытающейся объяснить все существующие факты (в этой области знания) на одной основе. И, ИМХО, здесь даже не обязательно иметь точную теорию --- достаточно какую-нибудь "неточную" -- т.е. предварительную, "прикидочную". Как только такие теории начнут появляться --- пусть даже поначалу и не очень убедительные --- так все постепенно и начнет выстраиваться. А пока даже попыток нет -- это ж почти позитивизм, однако. А (ИМХО) никому на позитивизме не удавалось уйти далеко --- не так у человеков мозги устроены. В общем, тут, наверно, можно провести аналогию с астрономией: Тихо Браге -- Кеплер -- Ньютон. Если я ничего не путаю с именами, Тихо Браге сделал огромную работу по систематизации астрономических данных наблюдения за планетами, затем Кеплер на основе этих данных вывел локальную теорию (законы Кеплера --- ну, что планеты вращаются по эллипсам и т.п. --- не буду цитировать), а потом уже Ньютон объяснил все это законом тяготения и включил в свою единую теорию. Если я правильно понял, во многих областях биологии уткнулись в "этап Кеплера".

scholar_vit@lj
Меня от пиетета перед экспериментом излечил один из моих наставников. Докладывал я на семинаре одну работу и неосторожно сказал: "Экспериментаторы видят, что критический индекс равен тому-то". Он меня остановил: "Запомните, пожалуйста: экспериментаторы НИ-ЧЕ-ГО не видят! Это мы, теоретики, говорим им, куда смотреть и что видеть". Кстати, он оказался совершенно прав: то, что экспериментаторы видели, на самом деле было артефактом методики. Мы потом им объяснили, куда надо смотреть на самом деле.

Я в биологии полный дилетант, но мне кажется, что увлечение экспериментом и, как Вы говорили в прошлом посте, статистикой, принесло этой науке больше вреда, чем пользы: гора фактов, экспериментов и корреляций не только заслонила понимание, хуже: для многих исследователей сама концепция "понять что-то" кажется чуждой. Впрочем, нам, физикам, повезло с простой изучаемой системы, да.

lestp@lj
Не уверен что я правильно понял вашу мысль, но мне кажется что проблема несопоставимости результатов, полученных разными экспериментальными методами очень хорошо известна. Бороться с ней очень просто: robust result это тот, который подтвержден несколькими разными способами.
Если вы пролистаете несколько научных журналов, вы увидите что плохонькие непрестижные журнальчики публикуют результаты одного эксперимента; а чтобы попасть в Nature, Cell или Science, нужно предъявить результат, подтвержденный пятью, восемью, десятью разными методами.

Используя ваш пример о скорости машины, можно сказать что секундомер, спидометр, песочные часы, внутреннее чувство голода и все прочие методы давным-давно откалиброваны друг относительно друга, и известно, какие из них можно считать сопоставимыми. При предъявлении результата, нужно показать как он коррелирует с замерами, полученными другими методами, и если никак, то объяснить почему.