Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет mi_b ([info]mi_b)
@ 2004-08-12 21:30:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
смотрим на кривые
Человеческий глаз очень плохо приспособлен к анализу выпуклости кривых. Выше-ниже, растет-падает на графиках видно хорошо, а с выпуклостью, знаком второй производной, нетренированный глаз справляется куда хуже. У меня, похвастаюсь, глаз к этому тренированный, потому что я 11 часов в день пялюсь в кривые, где выпуклость и даже изменения выпуклости очень важны.

Вот тут возник спор о том, как меняется содержание CO2 в атмосфере последние полвека, эспоненциально или линейно (график, данные). Некоторые обсуждающие считали, что, если линейно, то это делает маловероятным антропогенный характер изменений, потому что всякая промышленность и население растут экспоненциально. Это утверждение мне, кстати неочевидно, но это неважно, потому что ясно, что рост там суперэкспоненциальный. Один из участников дискуссии в другом треде попросил меня объяснить, почему это мне очевидно.

Update 2: удивительным образом, после обмена многими десятками комментариев выяснилось, что наиболее горячие противники идеи об экспоненциальном росте не знакомы с определнием "экспоненциального роста", которое было бы применимо к подобным экспериментальным данным.

По определению, временной ряд имеет экспоненциальный рост если его логарифм имеет линейный рост. Это определение эквивалентно постоянному периоду удвоения.

Линейный рост обычно определяют как значимость положительного коэффициента при наклоне и незначимость коэффициента при "нелинейном" члене в соответствующей случаю регрессии. Суперэкспоненциальный рост определяют через более быстрый, чем линейный рост логарифма, то есть, значимо положительный коэффициент при нелинейном выпуклов вверх члене регрессии.




Update 1: картинки заменены линками для облегчения траффика.

1. Берем данные по ссылке. Работать будем с последним столбцом, кототрый отличается от простого среднего за год тем, что авторы использовали чуть более сложную фильтрацию. Выкидываем первый год, где слишком много наблюдений пропущено.


Fig 1


2. Рисуем график Fig 1. Видим: кривая выпукла вниз, она лежит ниже красной хорды, а нарисованное внизу отклонение от ближайшей к ней (зеленой) прямой имеет ярко выраженную чашеобразную форму. Видим, что, помимо роста, есть компонента высокой частоты, поэтому ни на какую простую кривую в точности наши данные не лягут. Но можно говорить об общем характере роста. Рост со временем ускоряется, но это еще не говорит об экспоненциальном росте.


Fig 2


3. Нарисуем теперь график логарифма концентрации Fig 2. Если изменение концентрации приближенно описывается какими-нибудь медленно растущими функциями, например, линейными, то этот график будет выпуклым вверх - лежать выше достаточно длинных отрезков, соединяющих его точки. Если оно описывается двумя склеенными кусками таких функций, мы увидим две склеенных выпуклых вверх кривых. Мы же видим кривую, лежащую заметно ниже таких отрезков (показанных красным цветом). Значит, рост быстрее, чем экспоненциальный. Быстрее ли рост, чем exp(exp(время))?

Fig 3


4. Построим для этого третью картинку, график log(log(концентрации)), Fig 3. Поскольку и он более-менее выпукл вниз, и, большей частью, лежит ниже своих красных хорд, мы имеем дело точно с суперэкпоненциальным ростом, и, возможно, даже двойным экпоненциальным exp(exp(время)).



А если кто статистические тесты любит больше графиков, ему сюда. Результат там тот же самый.




(Добавить комментарий)


[info]109@lj
2004-08-12 10:47 (ссылка)
на самом первом графике по ссылке, почему там такая чёткая периодичность с периодом в два года? очень странно.

(Ответить) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-12 10:56 (ссылка)
период в один год - погодный. В два - не знаю. Мало ли там чего. Это, в данном случае, не важно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]109@lj
2004-08-12 11:48 (ссылка)
посмотрите внимательно, именно два. это важно, поскольку подрывает доверие к данным.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-12 11:56 (ссылка)
на pdf графике (http://cdiac.ornl.gov/trends/co2/graphics/mlo144e_thrudc03.pdf) я вижу период 1 год, который естественен и сглажен в численных данных, которые я анализирую. Не вижу периода 2 года ни на графике, ни в данных.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]109@lj
2004-08-12 14:17 (ссылка)
да, действительно год. что-то я обсчитался.

(Ответить) (Уровень выше)


[info]misha_b@lj
2004-08-12 11:02 (ссылка)

Da, vpolne ybeditel'no, rost yavno bustree, chem linejnuj.


Da i voobshe stranno - ny net polnogo dokazatel'stva potepleniya, hotya mnogo kosvennuh podtverjdenij. Ny a dlya kakih yavlenij syshestvyiyt polnost'yu dostovernue matematicheskie modeli? Na pal'tsah mojno pereschitat'.

(Ответить)


[info]vinopivets@lj
2004-08-12 12:38 (ссылка)
Что нет тут прямой - это уж точно. Если честно - вообще не понимаю, как эти мутные данные можно интерпретировать (если не иметь толстой морковки ради которой таки стоит).

(Ответить)


[info]sowa@lj
2004-08-12 22:31 (ссылка)
"Человеческий глаз очень плохо приспособлен к анализу выпуклости кривых." - ну что вы такое, эээ... говорите. Даже первокурсник в Америке глазом видит, где кривая выпукла и в какую сторону. Им без этого calculus не сдать.

(Ответить)


[info]bbb@lj
2004-08-13 05:00 (ссылка)
А вот для интереса - как ваша наука оценит ту же кривую, но только не за сорок лет, а за последние тридцать - скажем, с 1960 года? Я не для подколки, а всерьез. Если, конечно, это не очень трудоемко.

(Ответить) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-13 05:40 (ссылка)
Никакой науки не использую - я пытаюсь наглядно показать, как можно увидеть нелинейность. Чтобы делать на корректном научном уровне, нужно больше точек и другие методы.

Вы, наверное, имели в виду с 1970 года, да? Тогда точек еще гораздо меньше и нелинейность на вид куда меньше выражена, да. Но точка 1970 ведь и выбирается визуально так, чтобы было полинейнее. Просто на экспоненте с наложенным случайным шумом можно всегда найти такую точку, что выпуклость от нее будет гораздо меньше, чем глобально.

Насчет аппроксимации 2 прямыми: есть такое понятие как "экономная (parsimonous) параметризация". К любым (в том числе, полностью случайным) данным можно подобрать кривую или набор кривых, на которые данные идеально лягут. Вопрос в том, сколько параметров нужно для задания этих кривых. Чем больше параметров, тем больше семейство возможных кривых и тем лучше фит к данным - не потому что мы нашли закономерность, а потому, что у нас очень много кривых, из которых мы выбираем.

Грубое rule of thumb говорит, что нужно хотя бы 25-30 точек данных на каждый параметр. Так вот, экспоненциальный фит, как и линейный, требует 2 параметра - у нас точек на полном наборе 45, почти достаточно. Фит из двух прямых требует 4 параметра, то есть 100-120 точек данных, поэтому такой фит легко подобрать, но это не будет ничего значить. Фит из 15 отрезков прямых будет вообще почти идеальный, но это будет фит не к тренду, а к шуму.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]bbb@lj
2004-08-13 05:54 (ссылка)
А все-таки - было бы очень интересно поглядеть на картинки. Да, конечно, с 1970 года, я просто не ту цифру написал.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(Скрытый комментарий)

[info]bbb@lj
2004-08-13 10:49 (ссылка)
Проверьте линки. Даже когда я поправил ваше имя в урле, они все равно не открываются :)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-13 10:56 (ссылка)
попробуйте теперь еще раз. Пятница вечер - такое время, мимо стула можно сесть, не то что файлом промахнуться ;)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]bbb@lj
2004-08-13 11:15 (ссылка)
Имя в урле все-таки не поправили. Ладно, могу и ручками. Картинка номер 5 все равно не видна, но вот картинка номер 6 дает, если по-простому, что-то уж совсем не отличимое от линейности, а?

То есть, возвращаясь к исходному предмету (не к форме кривой, а к связи выбросов и концентрации) - получается, что на протяжении тридцати последних лет непрерывный РОСТ антропогенных выбросов на темпах роста концентрации CO2 в атмосфере не сказался НИКАК.

(Ответить) (Уровень выше) (Ветвь дискуссии)

(Скрытый комментарий)

[info]bbb@lj
2004-08-13 11:26 (ссылка)
Насчет правки комментов - не подумал, да :)

Картинка номер 5 - нет, не видна, хоть убей.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-14 01:57 (ссылка)
Я, прямо, не знаю, что и делать - я скопировал адрес прямо из строки броузера и у меня открывается. Вы, простите, refresh пробовали? Если да, то, я слышал, советуют почистить локальный кэш.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]bbb@lj
2004-08-14 03:58 (ссылка)
Сейчас - да, видно. Не знаю, почему вчера не получалось.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-18 00:29 (ссылка)
А что случилось с тем постом, где Вы увидели линейный рост логарифма? Вы передумали? Забавно ;)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]bbb@lj
2004-08-18 03:10 (ссылка)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-18 03:36 (ссылка)
Вы меня интиргуете ;) Ну хозяин - барин, дело Ваше

(Ответить) (Уровень выше)


[info]109@lj
2004-08-13 07:51 (ссылка)
я получил от вас два ответа на свои комменты. ни на один из них ответить не удаётся (protected, screened, etc.) нехорошо.

-----
в дискуссии о форме кривой немного неуместна

как неуместна? по-моему, не просто уместна, а это и есть в точности наша задача: есть экспериментальные данные, надо понять, какой аналитикой они лучше аппроксимируются.

легко построить такие гладкие функции А, Б и В что

а вот это как раз неуместно. у нас не гладкие функции, а экспериментальные данные, со своими случайными и систематическими погрешностями.

"хорошо аппроксимирует" действительно допускает разные трактовки, но по крайней мере негативный аспект однозначен: если standard deviation параметра модели больше, чем сам параметр, то такая модель не годится.

(Ответить) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-13 09:17 (ссылка)
да, со скринингом я думал, что будет не видно но можно ответить. Извините. Вот Ваш предыдущий комментарий и мой ответ на него:


109
2004-08-13 07:52 (from 169.132.18.95) (link) Select
я всё думал, что это шутка такая у вас затянувшаяся. но похоже, это вы серьёзно. предмета стат. методы обработки эксперимента у вас не было на первом курсе?

вкратце. имеем некие экспериментальные данные, требуется понять, какая аналитическая зависимость их лучше аппроксимирует.

данные плохие. в том смысле, что зависимость очень слабо отличается от линейной, и коэффициенты зависимостей (1): a * x * exp(b * x) и (2): a * x + b * x^2 + c * x^3... будут иметь большую погрешность (все, кроме коэффициента, отвечающего собственно за наклон кривой - "а" для зависимости (1))

собственно, весь анализ таких данных сводится к прогону через двух-трёхпараметрические модели и сравнению параметров с их погрешностями. все модели, в которых трисигма близка к величине собственно параметра, выкидываются, как неадекватные.

вы же, при всём моём к вам уважении, погрешность вообще не оценили. ну как же так можно!

(Reply to this)(Thread)


mi_b
2004-08-13 08:21 (from 194.203.201.121) (link) Select
То, что Вы предлагаете, делается в поточечной least squares метрике. Которая штука хорошая, но в дискуссии о форме кривой немного неуместна. Я имею в виду, что, например, легко построить такие гладкие функции А, Б и В что А будет гораздо ближе к Б чем к В в least squares метрике, но А'' (вторая производная) будет гораздо ближе к В'', чем к Б'. То есть вопрос в смысле определения "хорошо аппроксимирует".

Чтобы работать напрямую с выпуклостями, можно много чего делать - я про это писал в том треде. Но у меня было подозрение, что все, сколько-нибудь ненаглядное, мало убедит оппонента.

(Reply to this)(Parent)


Теперь к этому замечанию.

Давайте я Вам повторю еще раз: метрика "поточечной сходимости" на кривых - эта не та метрика, в которой надо сравнивать выпуклости. Наша задача - это не найти кривую с минимальным среднеквадратичным отклонением. Нам нужно понять, меняется ли производная гладкой функции, которую мы наблюдаем с шумом, и как она зависит от значения функции. Это разные задачи, понимаете?

Пример с гладкими кривыми легко переделать в пример с негладкими кривыми, заменяя вторые производные соответствующими разностями.

Тем не менее, задачи похожие. Результаты фита легко предсказать. Из характерных графиков вычетов (нижние графики на Fig1 и Fig2) совершенно очевидно, что коэффициенты при нелинейном члене - что параболическом, что экспоненциальном - будут существенны даже и на 1% уровне. Хотите пари? ;)

Слепо доверять "стандартным отклонениям", которые даст регрессия, кстати, в этой задаче нельзя, потому что они предполагают нормальность и некоррелированность ошибок, а ее, во-первых, тут явно нет, а, во-вторых, нормальность для линейного фита несовместна с нормальностью для лог-фита.



(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]109@lj
2004-08-13 09:48 (ссылка)
Наша задача - это не найти кривую с минимальным среднеквадратичным отклонением.

про среднеквадратичное - это вы сами писали, а не я. разные есть методы, метод наименьших квадратов - только один из них.

Нам нужно понять, меняется ли производная гладкой функции, которую мы наблюдаем с шумом, и как она зависит от значения функции.

мы не наблюдаем гладкую функцию. мы наблюдаем экспериментальные данные. нам нужно понять, по какому закону изменяется концентрация CO2. вы решили, что это вам удобнее это сделать манипуляцией с производными, вот только когда производные появляются. вы путаете цель и метод.

причём, решение идти через производные - неправильное, переход от данных к "производным" шум только увеличивает, иногда существенно. тем самым ухудшая возможность определить, какая аналитика лучше описывает данные.

совершенно очевидно, что коэффициенты при нелинейном члене - что параболическом, что экспоненциальном - будут существенны даже и на 1% уровне.

совершенно не очевидно. кстати, я практически уверен, что вы математик по образованию... ну или теоретический физик. не экспериментальный.

Слепо доверять "стандартным отклонениям", которые даст регрессия, кстати, в этой задаче нельзя, потому что они предполагают нормальность и некоррелированность ошибок, а ее, во-первых, тут явно нет

некоррелированность ошибок тут, очевидно, явно есть. погрешность каждого измерения имеет систематическую составляющую, которая нам неизвестна и не важна, поскольку ничего не меняет, и случайную. чтобы доказать, что случайная составляющая погрешности N-го измерения зависит от случайной составляющей N-1-го измерения, надо здорово потрудиться. я в предвкушении, начинайте.

а с нормальностью такая фигня. никакие ошибки не распределены нормально. но на это все плюют, потому что всё равно никто не сможет доказать, что у него ошибки распределены нормально, а для произвольного распределения формул нет. так что это такое негласное соглашение в научной среде, все делают статобработку по формулам для нормального распределения anyway.

(Ответить) (Уровень выше)


[info]109@lj
2004-08-13 09:50 (ссылка)
существенны даже и на 1% уровне

забыл спросить, а что это такое - "существенны на 1% уровне"?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-13 10:03 (ссылка)
Если Вы не уверены, что я называю 1% уровнем, Вы уверены, что хотите заключать пари? ;);)

Я имею в виду confidence level. Две станд девиации - это примерно 5% confidence level для нормального распределения. Я предлагаю пари о существенности, скажем, квадратичного члена для концентрации на в 5 раз более строгом уровне 1% - на, скажем, бутылку французского шампанского - а то мне уже надоело с этими данными возиться. Идет? ;)

Про некорректность вычисления производной и, тем, более, второй производной на зашумленных данных Вы там все правильно говорите. Только я, заметьте, нигде прямо этих производных не пытался оценивать. Лог-плоты тем и хороши, что позволяют судить о характере и динамике выпуклости без прямого взятия разностей.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]109@lj
2004-08-14 16:44 (ссылка)
не годится. я там в явном виде написал, что в формуле a * x * exp(b * x) за наклон отвечает а, а за изгиб - b. именно потому, что в полиноме отнюдь не так всё просто. так что с квадратичным членом не годится. с экспонентой - давайте, тем более, что ваша же цель - показать, что это даже более, чем экспонента. только как мы будем шампанское друг другу доставлять?

(Ответить) (Уровень выше)


[info]109@lj
2004-08-14 17:08 (ссылка)
Если Вы не уверены, что я называю 1% уровнем, Вы уверены, что хотите заключать пари? ;);)

какой-то вы бессмысленно неприятный, всё-таки. я где-то написал, что хочу с вами пари заключать?

"существенны на 1% уровне", мля. "доверительная вероятность" это называется по-русски. вы не знаете терминологии, придумываете какие-то свои словосочетания, а потом спрашиваете, хочу ли я заключать пари?

я, кстати, вместе с доказательством коррелирования ошибок, ещё и ваше определение экспоненциального роста с удовольствием послушаю.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-15 00:56 (ссылка)
Вы действительно хотите фиттить такое произведение? Это (почти - с чуть другой метрикой) эквивалентно регресии log+linear к логарифму данных. Я не уверен, что это прямой способ проверить экспоненциальный рост, по крайней мере, в моем определении (это определение я Вам напишу отдельным заскриненым комментарием, чтобы не лишать sowa радости открытия), и это плохая ситуация для регрессии опять же из-за автокорреляций. Тем не менее, я такую регрессию построил. Коэффициент при линейном члене (который был экспонентой в Вашем произведении) имеет T-статистику 47 - то есть отстоит от 0 на 47 своих стандартных девиаций. Коэффициент при логарифме отрицательный, что неудивительно, ведь выпуклый вверх логарифм должен компенсировать выпуклость вниз логарифма суперэкспоненйциальных данных.

В соответствии с моим определением, корректными тестами являются статистисчкие тесты в мом следущем посте. Доказательство коррелирования ошибок - наличие в них корреляции;) Я про это там тоже написал. Собственно, AR-член там как раз и убивает часть корреляций, которые мешают корректной регрессии.

Если Вы хотите, чтобы я с Вами нормально дискутировал, а не как с sowa, не переходите, пожалуйста, на личности. Терминологии по-русски я, действительно, многой не помню. Пари я предлагал потому, что меня, по правде, немного утомили эксперты, которым лень самим протестировать коротенький sample, но не лень писать страницами (разной грамотности), как должно его тестировать.




(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]109@lj
2004-08-15 06:12 (ссылка)
Доказательство коррелирования ошибок - наличие в них корреляции ;)

...а масло - масляное. ну так и где доказательство наличия корреляции?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-15 21:29 (ссылка)
За хамство в стертом комментарии делаю Вам последнее предупреждение - дальше будет бан.

Почему я заскринил второй комментарий я написал в первом комментарии. Вы сможете это выяснить если потрудитесь его прочесть целиком.

Я не очень понимаю, какое доказательство Вы столь нелюбезно требуете. Я в самом начале посмотрел на данные, посчитал автокорреляционную и частичную автокорреляционные функции приращений, сравнил коэффициенты с доверительными интервалами, поделился своим наблюдением с
[Error: Irreparable invalid markup ('<lj-user =>') in entry. Owner must fix manually. Raw contents below.]

За хамство в стертом комментарии делаю Вам последнее предупреждение - дальше будет бан.

Почему я заскринил второй комментарий я написал в <ljr-href url="/users/mi_b/39604.html?thread=214964#t214964" site="http://www.livejournal.com">первом комментарии</ljr-href>. Вы сможете это выяснить если потрудитесь его прочесть целиком.

Я не очень понимаю, какое доказательство Вы столь нелюбезно требуете. Я в самом начале посмотрел на данные, посчитал автокорреляционную и частичную автокорреляционные функции приращений, сравнил коэффициенты с доверительными интервалами, <ljr-href url="/users/mi_b/39604.html?thread=208052#t208052" site="http://www.livejournal.com">поделился своим наблюдением</ljr-href> с <lj-user = ost>. Если Вы не верите, что я это проделал - лучше прекратите тут дискуссию. Если Вы не верите, что я проделал это правильно - проделайте это сами. Ссылка на исходные данные есть в исходном посте. Если Вы хотите увидеть численные данные, попросите он этом вежливо.

(Ответить) (Уровень выше)

(Комментарий удалён)

[info]mi_b@lj
2004-08-13 10:44 (ссылка)
Мне как-то поднадоело с ВАми на эту тему беседовать, но если Вы настаиваете, я могу ответить на пару вопросов.

А вы действительно считате, что если логарифм выпуклый, то функция растет экспоненциально?
Нет. Например, exp(exp(x)) имеет выпуклый вниз логарифм, но не является асимптотически эквивалентной exp(x) на +бесконечности.

Или я что-то не понял?
Возможно

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-13 11:03 (ссылка)
A что же тогда получается с аргументацией в п.3 вашего поста? Там вы делаете вывод о экспоненциальном росте из выпуклости логарифма.

Пример можно привести и с полиномиальным ростом, скажем х^4 + const.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-13 11:11 (ссылка)
Вы твердо уверены, что log(x^4+const) - выпуклая вниз функция? Может, это ошибки округления?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-13 11:24 (ссылка)
Зависит о константы. Я дальше по-английски напишу, чтобы не переключать все время клаву.

A function g is convex iff g'' >0. (log f(x))'' = (f '' f - (f ' )^2) / f^2. Therefore, log f(x) is convex iff f '' f - (f ')^2 > 0. But, if f '' > 0, then replacing f by f+C does not changes f '' and f ', but changes the sign of f '' f - (f ')^2 in any desirable way.

Therefore, if f is convex (f '' > 0), then the convexity of log f tells *almost nothing* about the rate of growth of f.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-13 11:48 (ссылка)
действительно, для произвольной полиномиальной функции то, что там у меня написано, верно только асимптотически, а неасимптотически неверно. Тем не менее, для обсуждавшихся кусочно-линейных функций или квадратичных это верно и на конечных интервалах.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-13 12:06 (ссылка)
Ничего, кроме конечного интервала, в нашем распоряжении нет.

Что верно для кусочно-линейных и квадратичных функций? Что они растут экспоненциально при каких-то условиях?

Верно только то, что логарифм линейной или квадратичной функции имеет график, выпуклый вниз (g''<0) .

Но вы же делаете вывод в противоположном направлении - что выпуклость графика влечет экспоненциальный рост. Что абсолютно неправомерно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-14 01:52 (ссылка)
Видите-ли, когда имеются эмпирические зашумленные временнЫе данные и нужно что-то сказать о характере роста, то эти данные всегда даны на конечном отрезке и обычно дискретны. Поэтому под "экпоненциальным ростом" в таких ситуациях понимают не O(exp) на бесконечности - про бесконечность мы вообще мало чего знаем. Замечу, что в данной конкретной ситуации, как и во многих других, например, экономических, отсутствие экспоненциального роста на бесконечности совершенно очевидно из физических соображений - я про это где-то уже писал в комментариях. (В кубическом метре воздуха поместится ограниченное число молекул CO2 при тех физических условиях, при которых они еще будут молекулами CO2.)

Выпуклость логарифма как признак суперэкспоненциального роста, когда речь идет об эмпирических данных на конечном отрезке, довольно тавтологична: логарифм лежит ниже своих хорд, значит сами данные лежат ниже своих экспоненциальных хорд. Да, в этом определении, данные, идеально ложащиеся на полином относительно невысокой степени или (о, ужас!) на сумму нескольких синусоид будут иметь суперэкпоненциальный рост - на рассматриваемом отрезке.

Я могу попытаться объяснить, какие неявные предположения делают важным асимптотическое поведение, но это, я думаю, и так понятно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-14 09:59 (ссылка)
При чем тут поведение на бесконечности? Наука этим не занимается, кроме очень абстрактных разделов (космология).

Понял я из ваших объяснений одно: вы (или ваша "наука") придумали такое определение экспоненциального роста, при котором, в частности, функции точно являющиеся полиномами (как, например, x^4 + const) называются экспоненциально растущими.

Несомненно, такое определение очень удобно для того, чтобы запугивать публику или, хотя бы, просто произвести впечатление. Чем вы и занимаетесь.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-14 10:26 (ссылка)
Об экспоненциальном росте временных рядов говорят во многих науках, где данных немного. Можете попробовать погуглить "exponentilal growth"+GDP (http://www.google.com/search?hl=en&ie=UTF-8&q=%22exponential+growth%22+GDP&btnG=Google+Search), или "exponential growth"+population (http://www.google.com/search?hl=en&lr=&ie=UTF-8&c2coff=1&q=%22exponential+growth%22+population&btnG=Search). Возможно, Вы считает, что все люди, это пишущие, жулики и шарлатаны, тогда эту дискуссию лучше закончить.

Если Вы допускаете, что некоторые из них - не жулики и шарлатаны, то естественно предположить, что у них есть какие-то способы определить понятие "экспоненциального роста" и какие-то тесты на наличие или отсутствие такого роста в относительно небольших, порядка десятков или сотен наблюдений, выборках зашумленных данных. Поскольку математическое определение экспоненциального роста (O(exp) на бесконечности) не может использоваться для практических целей, Вы могли бы догадаться, что имеется в виду что-то другое.

Дискуссия с Вами меня, как я уже писал, утомила. Еслди Вы хотите ее продолжать, предлагаю Вам в качестве упражнения выяснить, наконец, о чем же здесь идет речь, т.е. что называют экспоненциальным ростом в небольших выборках зашумленных данных. После этого дискуссию можно будет продолжить, например, здесь, но только с содержательными математическими аргументами.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-14 10:55 (ссылка)
Я допускаю, что некоторые из них не жулики и шарлатаны.

Естественно, можно говорить об экспоненциальном росте на конечных интервалах. Разве я где-то утверждал обратное? Однако, говорить об экспоненциальном росте функции x^2 + 1.1 на интервале (0,1) может только жулик и шарлатан.

Я не использую гугл для выяснения математических вопросов.

После вот этого замечания:

Вы твердо уверены, что log(x^4+const) - выпуклая вниз функция? Может, это ошибки округления?"

я сильно сомневаюсь в том, что вы способны к содержательным математическим аргументам. Все-таки, выпуклость вверх или вниз этой функции при подходящих константах - это упражнение для первокурсников.

Ваше утверждение о том, что определение выпуклости на глаз доступно только таким тренированным людям, как вы, которые "11 часов в день пялятся в кривые" так же вызывает сомнение в том, что вы владеете хотя бы дифференциальным исчислением в объеме первого курса любого университета.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-14 11:11 (ссылка)
Я имел в виду, что с x^4+const выпуклость логарифма отсутствует если наш отрезок расположен достаточно далеко справа.

А вот, что имели в виду Вы, когда писали на 4 комментария выше

Верно только то, что логарифм линейной или квадратичной функции имеет график, выпуклый вниз (g''<0)

?

Впрочем, если Вы будете продолжать эту дискуссию, не дав требуемого определения "экспоненциального роста в дискретной зашумленной выборке", мне, возможно, придется запретить Вам комментарии к этим двум постам.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-14 11:29 (ссылка)
Может, вы это и имели ввиду (откуда мне знать), но написали-то вы нечто совсем другое.

Цитированная фраза была попыткой понять вашу фразу

"Тем не менее, для обсуждавшихся кусочно-линейных функций или квадратичных это верно и на конечных интервалах."

Очевидно, неудачной попыткой.

Требовать от собеседника определения технического понятия, относящегося к своей, а не его области экспертизы - это не очень убедительный способ ведения полемики. Вы бы лучше сами привели определение.

Я так полагаю, что для некоторых функций на конечном интервале имеет смысл говорить о об их экспоненциальном росте - 1, 2, 4, 8, 16. А для других, в том числе и для обсуждаемых - нет. Если какое-то определение позволяет вам называть x^2+1.1 экспоненциально растущей функцией, то у меня возникают сомнения, нет ли тут скрытых целей.

Так что все в ваших руках - объясните, как определить экспоненциальный рост так, чтобы x^2+1.1 не росла экспоненциально, а концентрация углекислоты росла. Только, пожалуйста, без временных рядов и других статистических штучек. Как нибудь на уровне дифференциального исчисления, желательно, а лучше и без него. Все-таки речь идет о фундаментальном вопросе - что такое экспоненциальный рост. Тут и человек с улицы заслуживает того, чтобы ему объяснили.

Ну а если ваш аргумент - забанить, воля ваша.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-14 11:34 (ссылка)
То есть Вы со мной спорили о том, есть ли в данных экспоненциальный рост, или его нет, слали десятки комментариев, и при этом не можете дать определения "экспоненциального роста", пригодного в данной ситуации! Это феноменально! Я с таким, честно говоря, еще не сталкивался!

Я тут не специалист, но, возможно, Вам стоит обратиться к психотерапевту.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-14 13:22 (ссылка)
Ну по экспоненциальному росту-то вы специалист. Дайте ваше определение. Неужели, кроме ругательств, аргументов нет?

Я свое пояснил. Для тех, кто в танке. В моих аргументах изпользуется только одно обстоятельство - функция, точно заданная полиномиальной формулой небольшой степени не может рассматриваться как экспоненциально растущая. Такая, как x^2+1.1 на интервале [0,1]. Функция, заданная полиномом очень высокой степени (скажем, 100) на коротком интервале, может, в принципе, рассматриваться как приближенно экспоненциальная (на конечном интервале, как всем известно, любую функцию можно приблизить полиномом достаточно высокой степени).

Какой сделать выбор - полином или экспонента (или тригонометрический полином, скажем) - зависит от физического смысла данных. От размера коэффициентов, как я уже писал - не численного, а в смысле значимости в рассматриваемой физической задаче. Никакой анализ данных здесь не поможет.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-14 13:45 (ссылка)
Это - не определение. Перечитайте условие - требуется определить "экспоненциальный рост на дискретной выборке зашумленных данных". Никаких точных полиномов степени 100 в условии не упоминается. Не мне же Вас учить, как формулируются определения. Думайте дальше.

Когда будет определение, попробуйте проверить его для какой нибудь небольшой эмпирической нетривиальной выборки, которую принято называть экспоненциально растущей. Например, численности населения какой-нибудь страны или города, или ВВП какой-нибудь страны. Таких данных полно в сети.

И, я Вас прошу в третий раз, не пишите, пожалуйста, ко мне в журнал пока у Вас не будет практически применимого определения.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-14 14:01 (ссылка)
Послушайте, я вам экзамен не сдаю. Что это вы мне какие-то условия ставите? Вы мне тут заданий надавали, будто я к вам на упражнения по "анализу данных" хожу. Оставьте это вашим студентам, если они у вас есть.

Я вам свои представления об экспоненциальном росте объяснил. Объясните теперь вы свои, как принято в дискуссиях.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ex_ost922@lj
2004-08-15 19:05 (ссылка)
Два взрослых человека...

(Ответить) (Уровень выше)


[info]ex_ost922@lj
2004-08-13 11:08 (ссылка)
Красивые картинки. Э-эх, были бы у экономистов такие данные... Может быть даже что-нибудь полезное бы сделали.

(Ответить) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-13 11:12 (ссылка)
Там, кстати, совершенно нетривиальная корреляционная картина - возможно, смешанная ARMA высокого (не знаю какого) порядка, только точек очень мало.

А макроэкономические данные так примерно и выглядят, разве нет?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ex_ost922@lj
2004-08-13 11:32 (ссылка)
А макроэкономические данные так примерно и выглядят, разве нет?

Макро - не знаю, а вот, скажем, trade data, с которыми я последнее время пытаюсь работать - это песня... Достал что-то от United Nations - так там Россия импортировала 98% процентов своих бананов из Белоруссии. Достал другие (тоже от UN :) - там вроде все нормально, но, скажем, year-to-year changes выглядят абсолютно случайно. Не в смысле, что это martingale...

(Ответить) (Уровень выше)


[info]squadette@lj
2004-08-14 08:54 (ссылка)
> я 11 часов в день пялюсь в кривые, где выпуклость и даже изменения
> выпуклости очень важны.

месье диетолог?

(Ответить) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-14 09:29 (ссылка)
акушер ;)

(Ответить) (Уровень выше)


[info]sowa@lj
2004-08-16 11:40 (ссылка)
И где тут обоснование значимости коэффициентов?

Я об этой значимости писал в самом первом моем комменте у [info]bbb@lj.

(Ответить) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-16 21:34 (ссылка)
Вы уже комментировали тот мой пост, где было обоснование значимости. Поищите получше.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sowa@lj
2004-08-16 22:10 (ссылка)
Опять вы мне задания даете. Вы написали десятки комментов в разных журналах, постоянно пределываете свой первый пост. Сделайте милость, дайте ссылку.

(Ответить) (Уровень выше)


[info]juan_gandhi@lj
2004-08-16 11:58 (ссылка)
Извините, если ln(1/x) выпуклая вниз, следует ли из этого, что 1/x имеет "суперэкспоненциальный" рост? Или из выпуклости логарифма следует суперэкспоненциальность только в случае острой политической необходимости, по Колмогорову? ("Если из А следует Б, и Б приятно, то А истинно.")

(В сторону, насчёт населения - неужели и в Германии и на Тувалу, и в Ватикане население растёт-таки экспоненциально? Или все факты, противоречащие Вашим заявлениям, только подтверждают выдуманные Вами правила?)

(Ответить) (Ветвь дискуссии)


[info]mi_b@lj
2004-08-16 21:32 (ссылка)
За стертый мной предыдущий Ваш комментарий у вас уже есть одно предупреждение.

Вы, кажется, плохо умеете читать и считать:
1) мое определение говорит не о функциях, а о конечных временных рядах
2) ln(1/x) не является функцией, растущей быстрее, чем линейно
3) что население любой страны всегда растет экспоненциально я не говорил

(Ответить) (Уровень выше)