Благодарю. Наконец-то вы привели ваше определение.

Остается разъяснить следующие моменты.

1. Верно ли, что выпуклость логарифма функции влечет ее экспоненциальный рост согласно вашему определению? Этим утверждением вы обосновываете (супер)экспоненциальный рост концентрации.

2. Верно ли, что функция f(x)= x^2+1000 экспоненциально растет на интервале от 0 до 1 согласно вашему определению? Ее логарифм - выпуклая функция.

3. Верно ли, что убывающая f(x) = - x^2-1000 функция экспоненциально растет на интервале от 0 до 1 согласно вашему определению? Ее логарифм - тоже выпуклая функция.

Я совершенно не знаю, прав ли автор дневника, но Вы спрашиваете про другое.

Он говорит про резонность говорения о неком наборе пар чисел, что они суть результаты замеров феномена, хорошая модель для которого есть некая одна экспоненциальная зависимость второго члена пары от первого.

Вы говорите про функции.

mi_b@lj использовал следующий утверждение - если логарифм функции является выпуклой функцией, то функция растет экпоненциально. Я преследую только одну цель - убедить публику, что этот аргумент некорректен, и, следовательно, выводы mi_b@lj об экспоненциальности роста концентрации его аргументы не подтверждают (в его аргументации есть и другие дефекты, но это меня сейчас не интересует).

Для того, что бы продемонстрировать, что некоторое общее утверждение неверно, достаточно опровергнуть его на примере. Я привел простейшие примеры.

Если вы хотите иметь набор пар чисел вместо формулы, можно составить таблицы значений этих функций, скажем, с шагом 0.001 и считать их результатом гипотетического эксперимента.

В этом смысле Ваш ответ вполне резонен и ответы довольно просты, учитывая, что никто ничего в этом мире не меряет с абсолютной точностью.

1. Нерелевантно.

2. Для любой заданной точности я впишу в этот набор данных экспоненту.

3. Для точности > 0.5 я впишу в этот набор данных экспоненту.
Для точности <= 0.5 я не впишу в этот набор данных экспоненту.

1. Вот мы читаем "Нарисуем теперь график логарифма концентрации Fig 2. ... Мы же видим кривую, лежащую заметно ниже таких отрезков (показанных красным цветом). Значит, рост быстрее, чем экспоненциальный." в п.3 в http://www.livejournal.com/users/mi_b/39604.html.

Может, вам и нерелевантно, а mi_b@lj на этом все свое рассуждение строит (см. также комменты).

2. Это будет ценно. Особенно в избирательной компании.

3. Это будет еще ценнее. Если убывающую функцию можно считать экспоненциально растущей, то... Увольте, не буду объяснять.

2&3 Неужели Вы так цените столь тривиальный навык? Если да, могу обучить.

Спасибо, не надо. Меня в школе и университете и не таким штукам обучали. Называть убывающую функцию (экспоненциально) возрастающей было просто необходимо для сдачи экзаменов.

Если Вы покажете где я "называл убывающую функцию (экспоненциально) возрастающей", Ваш коммент будет резонен.

Юзер sowa очень близок к бану в этом журнале, поэтому дискуссию с ним лучше перенести в другое место. Извините.

Я к вам не придирался. Я просто сказал, что меня еще более крутым штукам обучали.

...Ваш вопрос вполен резонен...

Мое определение ничего про функции не говорит. Вы и правда не понимаете, чем аналитическая функция отличается от конечного набора точек?

http://www.livejournal.com/users/mi_b/40477.html?thread=221725#t221725

- вы до этого места комменты дочитали?

Перечитайте определения еще раз. Там слова выпуклость нет вообще. Если Вас смущает выражение "выпуклый" член, замените его на х^2. Как вычислять вещественный логарифм от отрицательного числа -Х^2-1000 я не знаю.

Я достаточно потерял времени, читая Ваше занудство. Пока Вы не приведете своего внятного определния экспоненциального роста, того, которое Вы имели в виду, когда кричали о демагогии, и в течении последущей дискуссии, я не хочу вести с Вами дискуссии и буду банить.

Я нигде не кричал. Я не умею кричать письменно.

Что вы все ругаетесь? Вы уже почти ответили на мои вопросы.

Как я вас понял, ответ на вопрос 1 - нет. Следовательно, ваши утверждения о (супер)экспоненциальном росте концентрации пока не обоснованы.

Кроме того, по-видимому, ответ на вопрос 3 - тоже нет. То есть у нас уже есть точка соприкосновения взглядов. Что касается логарифмов от отрицательных чисел, понятно, что хотя вещественный логарифм и неопределен, логарифмическая производная определена и ее можно обсуждать.

Остался второй вопрос.

Насколько помню из объяснения моего товарища-экономиста, (которому я пытался всучить свою теорию о прогнозировании рынка акций рядами Фурье), в экономике есть три функции - линейная, экспонента и логарифм. Если растёт быстрее, чем линейно - значит, рост экспоненциальный. Если медленнее - логарифмический. Насколько я понял, уважаемый автор дневника исходит из похожих соображений.

нет, я не экономист, не статистик, и, хоть и не математик, в курсе, что существуют разные функции ;)

если мы наблюдаем полиномиальную функцию небольшой степени на достаточно большом участке, она не окажется экспоненциально растущей в моем определении. И, кстати, из возрастания+выпуклости логарифма следует суперэкспоненциальный рост (опять же, в моем определении, а другого я так и не увидел) - причем совершенно тавтологично.

Поскольку "несколько общепринятых определений" Вы добавили в сообщение, имеющее громадный хвост полемики, позволю себе задать свой вопрос здесь...

Не могли бы Вы привести не только определения, но и ссылки на источники (желательно доступные в электронном виде). Особенно интересует момент с "суперэкспоненциальным" ростом в случае выпуклости регрессионных остатков. Хотелось бы все же увидеть точную формулировку... Дело в том, что как статистик Вы не можете не знать пример с подгонкой функции x^2 преобразованием log(y + 0.95) на можестве точек {0, 1, 2, 3, 4}, который является классическим в регрессионном анализе (см. Ф.Мостеллер, Дж.Тьюки, Анализ данных и регрессия)...

Не могли бы Вы для начала привести определение "экспоненциального роста", которое Вам представлялось бы правильным в подобных ситуациях, по возможностями с ссылками. После этого я с удовольствием обсужу с вами вопрос эквивалентности, резонности и общепринятости наших определений.

Прошу меня простить за такой ответ, но после дискуссии с sowa мне не хотелось бы обсуждать эти вопросы с теми, про кого я не уверен, что он имеет в виду что-то содержательное.

Отчего бы и нет? Мне всегда казалось очевидным, что для 'samples' единственное возможное определение -- линейность логарифма. Так что в этой части наши с вами определения вполне согласуются. Вопрос только в том, как понимать линейность. Мы снова не разойдемся во мнениях, если я скажу, что под линейностью я понимаю значимость линейной регрессионной модели. Вот только значимость IMHO здесь следует понимать в классическом смысле -- с точки зрения свойств регрессионных остатков, которые должны быть независимы и распределены нормально с параметрами распределения, зависящими от выбранного уровня значимости. Именно такое понимание используется при нелинейной "подгонке" данных.

Дело в том, что как только вместо 'well fit' Вы начинаете говорить о "росте", начинаются проблемы. Если не выходить за пределы отрезка задания отсчетов, то мое высказывание "данные хорошо подогнаны логарифмом" (т.е. укладываются в регрессионную модель после логарифмирования) просто эквивалентно вашему "экспоненциальному росту". Беда в том, что ни "подгонка", ни "экспоненциальный рост" ничего не говорят о поведении данных за пределами отрезка задания отсчетов. В то же время термин "экспоненциальный рост" претендует на то, что он отражает какие-то внутренние свойства источника данных вообще, безотносительно промежутка задания отсчетов, самих отсчетов, погрешностей в них и т.п., чего на самом деле нет. IMHO, именно это возмутило Ваших оппонентов и породило примеры с функцией, которые и выявляют эту проблему. Смотрите: с моей точки зрения "преобразование log(y+0.95) хорошо подгоняет отсчеты функции x^2 на точках {0, 1, 2, 3, 4}" и никакого казуса не возникает, поскольку я ничего не говорю о самой функции. Утверждение же "функция x^2 имеет экспоненциальный рост на отрезке [0, 4]" оказывается совершенно неприемлемым с точки зрения общематематической культуры.

Заметьте, я не говорю, что регрессионная модель вообще лишена ценности как содержательная модель данных. Она вполне может представлять содержательный интерес, если есть внешние причины выбрать то или иное преобразование. Пример я привел в этом вот посте.

Теперь, если я удовлетворил вашу щепетильность, то позвольте уточнить мой вопрос. Я не встречал примеров использования локальных функциональных свойств регрессионных остатков (выпуклость) после нелинейного выравнивания для получения осмысленных заключений о поведении исходной функции. В совокупности с тем, что перед нелинейным выравниванием обычно производится "нормализация" данных (всевозможные сдвиги и масштабирования), я не думаю, что такие выводы возможны. Еще раз прошу привести ссылки...

Если я Вас правильно понял, Вы готовы говорить об экспоненциальном фите к данным, но Вам не нравится употребление термина "экспоненциальный рост" (ЭР) по отношению к конечным выборкам. Я понимаю такой математический пуризм, но, как я уже говорил где-то в гуще веток, если Вы, например, поищите в Гугле "exponential growth"+GDP или "exponential growth"+population, Вы увидите, что масса народу использует этот термин не в применении к моделям, а в применении к реальным и небольшим - порядка десятков наблюдений - выборкам. Если не считать, что все они жулики и не понимают, что говорят, то придется признать, что такой термин в некоторых науках используется. И это не то же самое, что хороший фит экспонентой. (Даже при умеренном шуме на выборках такого размера отличить фит экспонентой от фита многочленом 4 степени практически невозможно.)

Мои оппоненты, кстати, не говорили, что термин неприменим к конечным выборкам. Они говорили, что конкретно в этом ряду такого роста нет, а если бы был двойной экспоненциальный, то sowa считал бы это основанием для беспокойства.

Таким образом, осталось выяснить, что же имеется в виду, когда говорят об ЭР. Никаких определений ЭР кроме линейности логарифма, (эквивалентного ему) постоянного периода удвоения, и (неудобного, но эквивалентого) пропорциональности приращений и значений лично я никогда не видел - и Вы их, кажется, не предлагаете.

С ЭР мы, кажется, разобрались (да?). С суперэкспоненциальностью и двойной экспоненциальностью, надеюсь, теперь тоже все ясно.

Вы просили примера использования локальных свойств регрессионных остатков для осмысленных выводов. Я не уверен, что слово "выпуклость" используется в том смысле, который удовлетворит пуриста - sowa тут уже где-то придирался к тому, что я говорил выпуклый в отношении графика (нижнего на Fig1) с шумом. Вычислять вторые производные заметно зашумленных данных - совершенно бессмысленное занятие. Под "выпуклым" понимается общая форма кривой, а отдельные небольшие ее куски, конечно, могут быть вогнутыми. Так вот, использование общей формы кривой остатков ("как х^2", "как -х^2", "как sin(x)|0 .. 10pi", "как sin(x)*exp(x)| 0.. 10pi") в анализе данных совершенно стандартно. Первый пример, который вылезает в Гугле - это http://www.mathworks.com/access/helpdesk/help/techdoc/math/datafun15.html Если данные, которые мы пытаемся линейно или нелинейно фиттить, получены логарифмированием, это не меняет общих подходов к изучению фита. Или Вы имеете в виду что-то другое?

Конечно, выпуклость логарифма неинвариантна относительно переносов вдоль оси y - это вполне естественно, учитывая что определение экспоненциального роста явно неинвариантно относительно них. Брать логарифмическое преобразование не заведомо положительных данных, конечно, не стоит. И, "нормализация" вообще может быть опасной штукой.

Просмотрел вашу ссылку. Да, там говорится про сами регрессионные остатки и про "fit of residual", но относительно этого "fit" постоянно делаются однотипные заключения: "residuals are strongly patterned" т.е. говорится именно об упомянутых мною "явных закономерностях в регрессионных остатках", которых быть не должно. В заключение делается вывод: "the residuals are more random than for the simple polynomial fit". Там нет ни слова про выпуклость кривой регрессионных остатков!

Теперь про "экспоненциальный рост" и "экспоненциальный fit". Здесь в дискуссии несколько раз приводился пример с хорошим экспоненциальным фитом функции x^2, который ясно показывает, что fit как источник модели несостоятелен. Кстати, по результатам поиска создается впечатление, что авторы статей все же неявно опираются при выборе экспоненциального фита на какую-то модель наблюдаемых данных, имеющую внешнее по отношению к данным обоснование. В этом случае они действуют в рамках правил. Если же использовать fit как источник закономерностей в данных, то бредовость получаемых результатов будет ограничена только порядком выбранной модели ;)

Кстати, Вы пишете "если не считать, что все они жулики...". Да, все мы знаем, что "миллион леммингов не может ошибаться", но все же... С точки зрения статистика такая гипотеза имеет право на жизнь и должна проверяться наравне с другими ;) Причем с ростом актуальности темы число тех, кто готов поступиться здравым смыслом, растет очень быстро ;))

Так что на настоящий момент Вы не смогли привести ссылку на работу, в которой бы использовались функциональные свойства регрессионных остатков, т.е. не смогли найти источник "общепринятых определений". Как только найдете, буду рад продолжить обсуждение.

P.S. Кстати, даже в статистике есть гораздо более серьезные публикации, чем листовки сайта Mathlab'а, который по глюкавости сможет соревноваться только с MS Windows.

1) Там изучается pattern остатков как элемент анализа фита и мотивация добавления новых регрессионных членов. Понимаете, если посмотреть на правую верхнюю картинку, то сразу очевидно, что квадратичный член улучшит качество фита и что коэффициент при нем будет существенно положительным. Это они и делают на левой картинке во втором ряду. Согласно определению линейного роста, это говорит о нелинейности.

2) Вы прочли начало этой дискуссии в журнале у bbb? Если да, то где Вы обнаружили меня использующим "fit как источник закономерностей"? Дискуссия началась именно с того, что bbb говорил, что (очевидный ему на вид)линейный рост концентрации показывает, что она не может быть вызвана экспоненциальным ростом (он использовал слово "взрывной") любого антропогенного фактора. Следовательно, наличие и скорость роста обсуждались с самого начала в рамках модели, в которой естественной гипотезой является именно экспоненциальность. Наличие экспоненциального роста не доказывает наличия каузальной связи, но опровергает аргумент про "линейный рост, исключающий антропогенность". Замечу, что сам аргумент про линейность как доказательство отсутствия каузальности тоже весьма сомнителен, но почему-то не вызвал никаких протестов у математиков-пуристов ;)

3) Если Вы считаете, что все, использующие термин "экспоненциальный рост" не в асимптотическом смысле, жулики и шарлатаны, то обсуждать, действительно, нечего. Вы можете четко сформулировать свою точку зрения: "ЭР - всегда выдумка алармистов", "ЭР - это то же самое, что хороший фит", "ЭР бывает, но в этих данных его нет"? На настоящий момент, Вы оказались неспособны сформулировать определние ЭР, которое Вы бы считали правильным в данной ситуации.

4) Вы, как уточнение, просили ссылку на использование "локальных свойств регрессионных остатков". Я, объяснив, что слово "локальные" не вполне применимо к тому понятию "выпуклости", которое имелось в виду, дал Вам ссылку именно на анализ форм кривых остатков. До этого уточнения, Вы просили ссылки на определение ЭР:

Биологи: Period of sustained growth of a microorganism in which the cell number constantly doubles within a fixed time period. (http://wvlc.uwaterloo.ca/biology447/modules/intro/microbiologyglossary.htm)

Метеорологи: (or decay) profile of growth (or decay) of a quantity whose gradient is directly proportional to the quantity itself. (http://www.advancedforecasting.com/weathereducation/weatherglossary.html)

Совсем sloppy экологи: Growth in the size of a population (or other entity) in which the rate of growth increases as the size of the population increases. (http://www.blackwellscience.com/e.cology/resources/glossary/glosse_t.html)

Заметим, что ни слова про goodness of fit они не говорят. Также, как и асимптотическое определение ЭР ничего не говорит про поточечную близость. Понимаете, fit и характер роста - это разные вещи.

Я надеюсь, нам не придется обсуждать, что fixed time period или directly proportional имеется в виду приближенно, потому что не приближенного в природе не встречается?

5) Так что на настоящий момент Вы не смогли привести ссылку на работу, в которой бы использовались функциональные свойства регрессионных остатков, т.е. не смогли найти источник "общепринятых определений".

Какая у остатков - набора точек - может быть "Функциональная форма"? Определите, пожалуйста, это понятие строго ;) Я вам дал ссылку на использование формы кривой как мотивации для добавки квадратичного члена в регрессиию. Исследование формы кривой остатков является стандартной эмпирической техникой, которая может, например, подсказать правильный добавочный регрессионный член. Ссылок, подобных данной, есть немало, но я не вижу необходимости обсуждать еще и их - Вас уже неустроила глюкавость MATLAB, найдете, чем быть недовольным и с любой другой ссылкой.

PS Если Вы не уверены, что MATLAB пишется без h, Вы уверены, что лучше меня можете судить о его глюкавости ;)? И причем тут это?

1. Там изучается pattern остатков как элемент анализа фита и мотивация добавления новых регрессионных членов.

В точности так. Только не надо забывать, что все это написано в учебном руководстве по статистическому пакету, который по определению должен уметь делать все то, что от него хотят пользователи. В том числе экологи, биологи, etc. Доказательством разумности самой методики эта ссылка не является. (По сути об этом см. п.4.)

2. [...]

Согласен почти на 100%. Здесь я тоже попытался объяснить bbb@lj мотивацию, обычно используемую в качестве обоснования экспоненциального роста. Но заметьте, что я в своих аргументах фактически использую линейную регрессию, выбирая показатель экспоненты из результатов обработки данных об общемировой добыче горючего. Насколько я знаю, именно такое обоснование используется во всех серьезных публикациях на эту тему и оно гораздо ближе подходит к доказательству наличия причинно-следственной связи.

3. [...] Вы можете четко сформулировать свою точку зрения: "ЭР - всегда выдумка алармистов", "ЭР - это то же самое, что хороший фит", "ЭР бывает, но в этих данных его нет"? На настоящий момент, Вы оказались неспособны сформулировать определние ЭР, которое Вы бы считали правильным в данной ситуации.

Ok, уточню свою точку зрения. Термин "экспоненциальный рост" может использоваться при наличии априорной ("внешней") по отношению к данным экспоненциальной модели процесса. В той аргументации, которую представил я, об экспоненциальном росте говорить можно и в этих данных он (IMHO) присутствует. Экспоненциальный фит (при фиксированном показателе, извлеченном не из самих данных) может служить только фактом, подтверждающим гипотезу о связи добычи горючего и концентрации CO_2. Сам по себе экспоненциальный фит не является источником модели т.е. на основе хорошего экспоненциального фита нельзя делать выводы об экспоненциальном росте.

Кстати, я бы Вас просил быть несколько сдержаннее в применении к собеседнику оценочных характеристик (способен/не способен). Мне тоже кажется, что я вам тут пытаюсь объяснить тривиальные вещи, которые рассказывают студентам в общем курсе статистики... Честно говоря, я даже боюсь спрашивать, делали ли вы при вычислении статистик и выборе уровней значимости поправку на тот факт, что показатель экспоненты был выбран из самих данных.

4. Я, объяснив, что слово "локальные" не вполне применимо к тому понятию "выпуклости", которое имелось в виду, дал Вам ссылку именно на анализ форм кривых остатков.

Под локальными свойствами я, конечно же, понимал не предельный переход, а свойства, рассматриваемые на заданном масштабе. Например, на ваших картинках легко указать масштаб L, на котором график регрессионных остатков почти целиком лежит ниже любой хорды с заданной длиной L ее проекции на ось Ox. Так что говорить о выпуклости здесь вполне корректно.

Скажите, Вы действительно не видите разницы между a) фитом регрессионных остатков параболой с последующим использованием композиции преобразований и b) сделанными Вами общими утверждениями о связи выпуклости кривой регрессионных остатков со скоростью роста исходной кривой?

А ваши ссылки раз от раза становятся все замечательнее и замечательнее ;)) В прошлый раз были ссылки на листовки софтверной фирмы, теперь в дело пошли глоссарии биологов и экологов. Когда человек говорит слова "общепринятое определение", все это понимают так, что это определение является общепринятым в одной из областей математики (хотя бы и прикладной). Общепринятый жаргон экологов и арго биологов к счастью не являются источником определений.

{К слову, вот выдержка из Microbiology Glossary: vector - (i) Plasmid or virus used in genetic engineering to insert genes into a cell. (ii) Agent, usually an insect or other animal, able to carry pathogens from one host to another. Предлагаю использовать в качестве определения вектора.}

Я тут уезжал на пару недель, поэтому дискуссия прервалась. Мне кажется, что главное расхождение у нас вот в этом:

В прошлый раз были ссылки на листовки софтверной фирмы, теперь в дело пошли глоссарии биологов и экологов. Когда человек говорит слова "общепринятое определение", все это понимают так, что это определение является общепринятым в одной из областей математики (хотя бы и прикладной). Общепринятый жаргон экологов и арго биологов к счастью не являются источником определений.

{К слову, вот выдержка из Microbiology Glossary: vector - (i) Plasmid or virus used in genetic engineering to insert genes into a cell. (ii) Agent, usually an insect or other animal, able to carry pathogens from one host to another. Предлагаю использовать в качестве определения вектора.}

Мне это кажется замечательным выражением довольно крайней формы математического снобизма (ничего личного, я знаю людей, которые таким снобизмом очень гордятся). Когда мы говорим о концентрации чего-то в атмосфере, "общеупотребительно" именно то определение, которое есть в глоссарии у метеорологов. Когда мы говорим о росте населения и промышленности, "обшеупотребительно" именно то определение, которое подразумевают демографы и экономисты. (К счастью, в данной ситуации, метеорологи и демографы используют одно и то же определение.) А когда мы говорим про плазмиды и вирусы, то вектор - это именно то, что биологи называют вектором, независимо от того, что про это думают математики. И т.д.

Мне кажется, кстати, что в дискуссии лучше либо требовать доказательств "общеупотребительности", либо пренебрежительно писать про леммингов и глоссарии - но не делать и того и другого одновременно ;)

Скажите, Вы действительно не видите разницы между a) фитом регрессионных остатков параболой с последующим использованием композиции преобразований и b) сделанными Вами общими утверждениями о связи выпуклости кривой регрессионных остатков со скоростью роста исходной кривой?

В моем определении "скорость роста" напрямую связана с выпуклостью. Фит параболой используется там только как тест на нелинейность тех или иных данных. Приведенные p-статистики, кстати, учитывали число степеней свободы, потерянных при фите. Мы оба выделяем разными шрифтами, что ЭР - это не то же самое, что хороший фит экспонентой. Так что, в п.3 мы согласны, хотя я так и не понял, как Вы определяете ЭР.

Насколько я знаю, именно такое [http://www.livejournal.com/users/sowa/44545.html?thread=789505#t789505] обоснование используется во всех серьезных публикациях на эту тему и оно гораздо ближе подходит к доказательству наличия причинно-следственной связи.

Если бы я писал что-то, претендующее на "серьезную публикацию", я бы этого не писал в ЖЖ ;). И я не доказывал наличие связи, а опровергал конкретный аргумент об ее отсутствии. По существу же у нас, кажется, разногласий нет.

{Продолжение}

5. Какая у остатков - набора точек - может быть "Функциональная форма"? Определите, пожалуйста, это понятие строго ;)

"Функциональная форма" -- это здорово, ;)) я говорил о функциональных свойствах. Всевозможные выпуклости/монотонности определяются легко (выше я привел пример), но это требует некоторых ухищрений. Впрочем, если перейти к состоятельной оценке спектра по вейвлете со специальным образом выбранными свойствами, то все эти локальные свойства превращаются в условие знакопостоянства и статистической значимости отличия от нуля элементов спектра на заданном масштабе.

Если Вы не уверены, что MATLAB пишется без h, Вы уверены, что лучше меня можете судить о его глюкавости ;)? И причем тут это?

Я знаю, как пишется слово Matlab, но это здесь действительно не в тему. Впрочем, я знаю о его внутреннем устройстве достаточно, чтобы с некоторым сожалением, но все же отказаться от его использования, кстати, вслед за создателем его первоначальной версии Каханером. А Вы его, похоже, все еще используете ;))

{Исправление}

Вместо:

Здесь я тоже попытался объяснить bbb@lj мотивацию, [...]

Следует читать:

Здесь я тоже попытался объяснить bbb@lj мотивацию, [...]