злой чечен ползет на берег - [entries|archive|friends|userinfo]
aculeata

[ website | Барсук, детский журнал ]
[ userinfo | ljr userinfo ]
[ archive | journal archive ]

[Dec. 15th, 2018|02:04 pm]
Previous Entry Add to Memories Tell A Friend Next Entry
Прочитала про то, как хороший веселый человек
воспринял научное понятие энтропии, посмеялась
было, и тут же обнаружила, что сама ничего-то
и не понимаю. Вот беру я строку, составленную
из букв русского алфавита. Если она составлена
из слов, у нее энтропия -- какая-то, в каком-то
смысле тем больше ее, чем меньше в строке информации.
Если из одних только букв "А" -- тут полный порядок,
энтропия на нуле. Если это случайная последовательность,
энтропия максимальна, ура, пиздец. Это я допустим
еще понимаю. А если у меня есть в распоряжении
только буквы "А", я образую из них структуры А, АА,
ААА, могу сделать бинарный или иной алфавит из
наборов букв и сообщать информацию -- а потом они
рассыпаются? В какой момент у меня энтропия
растет? С точки зрения Лейбница (если б он
интересовался энтропией) все очень просто,
казалось бы, поскольку существуют не только буквы "А",
но и все мыслимые из них конструкции, а как только
я выбрала строку текста из слов "А", "ААА" и т. д.,
энтропия уменьшилась. Ну а вот когда она рассыпалась --
почему именно это помогло вернуть все возможные
конструкции и увеличить энтропию? Наверное, все
же оно еще проще -- это какая-то вырожденная
квантовая механика букв А, бозоны они эдакие
неразличимые. Но понимать я ничего так и не
понимаю, сердце молчит.

https://www.facebook.com/krasnaya.ribka/posts/2240730275940164
LinkLeave a comment

Comments:
From:(Anonymous)
Date:December 15th, 2018 - 11:40 am
(Link)
да этого никто не понимает, не парься.
даже больцман и колмолгоров.
так, вид умный делают...
[User Picture]
From:[info]freir
Date:December 15th, 2018 - 12:09 pm
(Link)
есть еще парадокс джевонса:
любые попытки ограничить рост энтропии вызывают его увеличение
(но делают жизнь довольно сносной)
[User Picture]
From:[info]qwerty
Date:December 16th, 2018 - 03:12 am
(Link)
Если из одних только букв "А" -- тут полный порядок,
энтропия на нуле.
Ну нет. Есть алфавит (в данном случае русский). Есть источник сообщений, в прсотейшем случае выдающий последовательность независимых букв алфавита, каждую с некоторой вероятностью. Тогда энтропия сообщения считается по известной формуле. Иначе устроенные источники в эту модель не вписываются и энтропию сообщения для них нужно считать иначе. В частности, если источник выдает только букву 'А' и пробел (ну или точку) в конце слова или сообщения, то вероятность появления буквы зависит от контекста предыдущих букв, т.е. нужно умножать и складывать условные вероятности. Из этого можно извлечь вероятности слов (последовательностей букв 'A' разной длины), в т.ч. в контексте предшествующих слов. Нулевой энтропии из формулы не получится в любом случае.
[User Picture]
From:[info]bigturtle
Date:December 16th, 2018 - 05:33 am
(Link)
Почему - не получится? Если вероятность 1 под логарифмом, то ноль и будет.
[User Picture]
From:[info]qwerty
Date:December 16th, 2018 - 07:18 am
(Link)
Букв в сообщении - минимум две.

Нет, чисто теоретически можно придумать источник, который почти всегда, т.е. с вероятностью 1, выдает одну букву и почти никогда, т.е. с вероятностью 0, конец сообщения. Или в контекстно-зависимой модели выдает одну предопределенную последовательность.
[User Picture]
From:[info]bigturtle
Date:December 16th, 2018 - 08:45 am
(Link)
Я просто пропустил Ваше первое предложение почему-то.
[User Picture]
From:[info]aculeata
Date:December 16th, 2018 - 06:20 pm
(Link)
Да, мне уже указали на то обстоятельство, что
энтропия бывает у вероятностного распределения,
а я как бы хочу рассматривать энтропию системы.
Но хотелось бы, да, рассматривать.
[User Picture]
From:[info]qwerty
Date:December 17th, 2018 - 06:43 pm
(Link)
А что, разве есть содержательный аналог термодинамики для информационных систем?
[User Picture]
From:[info]aculeata
Date:December 17th, 2018 - 07:03 pm
(Link)
Если бы была, то я бы могла и не знать,
потому что я плохо разбираюсь в этом.
Но, скорее, нет. Читала когда-то довольно
поразительную популярнию статью Шредингера,
но там не содержалось разработанной теории.
[User Picture]
From:[info]qwerty
Date:December 17th, 2018 - 07:37 pm
(Link)
Довольно давно в качестве шутки Генри Бэйкер написал заметку в ACM Notices про термодинамику сборки мусора. Но это была именно шутка. Аналогов физических законов для введенных обозначений не выполнялось, да и не могло - никакого аналога идеального газа с равномерным распределением параметров по степеням свободы там нет. Это, кстати, верно не только для сборки мусора, но и для большинства структур данных и программ.
[User Picture]
From:[info]aculeata
Date:December 17th, 2018 - 07:40 pm
(Link)
Ну, это не тот случай. Шредингер более
или менее вводил отрицательную энтропию.
Но статья скорее философская, что ли.
[User Picture]
From:[info]qwerty
Date:December 17th, 2018 - 09:35 pm
(Link)
Кстати, статья называется Henry G. Baker.NREVERSAL of Fortune — The Thermodynamics of Garbage Collection. Proc. Int'l. Workshop on Memory Mgmt., St Malo, France, Sept. 1992 и легко и бесплатно скачивается в тырнетов. В статье имеется ссылка на Zurek, W.H., ed. Complexity, Entropy and the Physics of Information. Addison-Wesley, Redwood City, 1990, читаетcя и скачивается здесь.