Очень интересная статья, требующая внимательного чтения. Пока пара замечаний навскидку.
1. Касательно того, что «все слова должны быть обязательны», — здесь важна модальность. Так будет только в идеальном тексте. Текстологи знают, как трудно предпочесть один авторский вариант другому авторскому же. «Всё те же ль вы» или «Всҍ те же ль вы»? Пушкин, кажется, и сам сомневался. (Это еще и к тому, мжн л прчст рсскй ткст псл длн глснх: простая замена «і» на «и» делает неразличимыми названия поэмы Маяковского и романа Толстого).
2. Утверждение, что «в определении количества информации фигурирует вероятность угадать следужщий элемент незаконченной последовательности», неверно. Количество информации (=энтропия) последовательности сигналов, это минус средний логарифм вероятности появления сигнала (в конечной или бесконечной последовательности, неважно): I=-Σpi*logpi
Поэтому, кстати, энтропия примера с «бобэоби» подсчитана, кажется, неверно. Логарифмы входят в сумму с весами, равными вероятностям, т. е. при log(1/1000) будет стоять множитель 1/1000, и т. д.
С почтением к коллеге по ИФА
А. Добрицын (andybonhomme)

PS: Многоуважаемый РЛ, извините, не умею я пользоваться техникой, не смог вывесить комментарий как пользователь LJ.

Попробуем добавить так.

http://clip2net.com/clip/m8712/1256122555-clip-23kb.png

После этого требуется введение шифра (адрес - не обязателен).

http://clip2net.com/clip/m8712/1256122659-clip-50kb.png

Со взаимным почтением!

1. Утверждение о том, что "не выкинешь" для меня -- объект исследования, а не предпосылка. Я никоим образом из него не исхожу и даже не пытаюсь доказать. Меня интересует, в какой именно степени оно справедливо для реальных текстов, читаемых реальными читателями. При этом ответ вполне может быть и "ни в какой", хотя вероятнее, что "в некоторой". Когда этот ответ получен, я дальше использую его как инструмент для исследования того, чем разные тексты отличаются друг от друга, термометр.

2. Уж так и неверно... Если следующий элемент в последовательности выбирается из n равновероятных возможностей, то вероятность его угадать 1/n, а количество информации (согласно вашей правильной формуле) log(n). Так что в этом случае мы говорим об одном и том же. Дальше мы, естественно, расходимся, потому что вы говорите об энтропии стационарного вероятностного источника символов, а я говорю о текстах, где о "вероятностях" можно говорить только условно. Именно, можно считать, что если слово угадывается с вероятностью P, то это грубо то же самое, как если бы оно выбиралось из 1/P равновероятных возможностей. Грубо! Поэтому, мне кажется, вам следует пересмотреть свое утверждение о бобэобях.