Со взаимным почтением!

1. Утверждение о том, что "не выкинешь" для меня -- объект исследования, а не предпосылка. Я никоим образом из него не исхожу и даже не пытаюсь доказать. Меня интересует, в какой именно степени оно справедливо для реальных текстов, читаемых реальными читателями. При этом ответ вполне может быть и "ни в какой", хотя вероятнее, что "в некоторой". Когда этот ответ получен, я дальше использую его как инструмент для исследования того, чем разные тексты отличаются друг от друга, термометр.

2. Уж так и неверно... Если следующий элемент в последовательности выбирается из n равновероятных возможностей, то вероятность его угадать 1/n, а количество информации (согласно вашей правильной формуле) log(n). Так что в этом случае мы говорим об одном и том же. Дальше мы, естественно, расходимся, потому что вы говорите об энтропии стационарного вероятностного источника символов, а я говорю о текстах, где о "вероятностях" можно говорить только условно. Именно, можно считать, что если слово угадывается с вероятностью P, то это грубо то же самое, как если бы оно выбиралось из 1/P равновероятных возможностей. Грубо! Поэтому, мне кажется, вам следует пересмотреть свое утверждение о бобэобях.