Comments: |
From: | (Anonymous) |
Date: | December 15th, 2018 - 11:40 am |
---|
| | | (Link) |
|
да этого никто не понимает, не парься. даже больцман и колмолгоров. так, вид умный делают...
| From: | freir |
Date: | December 15th, 2018 - 12:09 pm |
---|
| | | (Link) |
|
есть еще парадокс джевонса: любые попытки ограничить рост энтропии вызывают его увеличение (но делают жизнь довольно сносной)
| From: | qwerty |
Date: | December 16th, 2018 - 03:12 am |
---|
| | | (Link) |
|
Если из одних только букв "А" -- тут полный порядок, энтропия на нуле. Ну нет. Есть алфавит (в данном случае русский). Есть источник сообщений, в прсотейшем случае выдающий последовательность независимых букв алфавита, каждую с некоторой вероятностью. Тогда энтропия сообщения считается по известной формуле. Иначе устроенные источники в эту модель не вписываются и энтропию сообщения для них нужно считать иначе. В частности, если источник выдает только букву 'А' и пробел (ну или точку) в конце слова или сообщения, то вероятность появления буквы зависит от контекста предыдущих букв, т.е. нужно умножать и складывать условные вероятности. Из этого можно извлечь вероятности слов (последовательностей букв 'A' разной длины), в т.ч. в контексте предшествующих слов. Нулевой энтропии из формулы не получится в любом случае.
Почему - не получится? Если вероятность 1 под логарифмом, то ноль и будет.
| From: | qwerty |
Date: | December 16th, 2018 - 07:18 am |
---|
| | | (Link) |
|
Букв в сообщении - минимум две.
Нет, чисто теоретически можно придумать источник, который почти всегда, т.е. с вероятностью 1, выдает одну букву и почти никогда, т.е. с вероятностью 0, конец сообщения. Или в контекстно-зависимой модели выдает одну предопределенную последовательность.
Я просто пропустил Ваше первое предложение почему-то.
Да, мне уже указали на то обстоятельство, что энтропия бывает у вероятностного распределения, а я как бы хочу рассматривать энтропию системы. Но хотелось бы, да, рассматривать.
| From: | qwerty |
Date: | December 17th, 2018 - 06:43 pm |
---|
| | | (Link) |
|
А что, разве есть содержательный аналог термодинамики для информационных систем?
Если бы была, то я бы могла и не знать, потому что я плохо разбираюсь в этом. Но, скорее, нет. Читала когда-то довольно поразительную популярнию статью Шредингера, но там не содержалось разработанной теории.
| From: | qwerty |
Date: | December 17th, 2018 - 07:37 pm |
---|
| | | (Link) |
|
Довольно давно в качестве шутки Генри Бэйкер написал заметку в ACM Notices про термодинамику сборки мусора. Но это была именно шутка. Аналогов физических законов для введенных обозначений не выполнялось, да и не могло - никакого аналога идеального газа с равномерным распределением параметров по степеням свободы там нет. Это, кстати, верно не только для сборки мусора, но и для большинства структур данных и программ.
Ну, это не тот случай. Шредингер более или менее вводил отрицательную энтропию. Но статья скорее философская, что ли.
| From: | qwerty |
Date: | December 17th, 2018 - 09:35 pm |
---|
| | | (Link) |
|
Кстати, статья называется Henry G. Baker.NREVERSAL of Fortune — The Thermodynamics of Garbage Collection. Proc. Int'l. Workshop on Memory Mgmt., St Malo, France, Sept. 1992 и легко и бесплатно скачивается в тырнетов. В статье имеется ссылка на Zurek, W.H., ed. Complexity, Entropy and the Physics of Information. Addison-Wesley, Redwood City, 1990, читаетcя и скачивается здесь. | |