Ты наверное говоришь про информацию в терминах Шеннона, типа, а твой собеседник - в терминах, видимо, семиотики.

Дык :) Но к этому как раз я уже привык.

А в чем, собственно, смысл (sic!) этого общупывания слона вслепую?

В том, что пока свет никто не включил, приходится так. Соответственн, надо прислушиваться к крикам с другой стороны слона, даже если они на непонятном языке: вдруг уловишь что полезное?

А, собственно, пост именно об этом. Ну что же, интересно, как этот осмос работает, и работает ли.

и неправы вы именно в смысле Шеннона ;)

В смысле, что совсем отказываюсь от канала, приема и передачи? Так это же сначала. Потом они неминуемо появятся, ибо нужны, но при этом уже будет, что и как мерить.
Со смыслом хочется сделать то же самое: сначала чисто математическое определение "смысл набора битовых строк в контексте другого набора битовых строк" (причем я даже не знаю, какого типа будет результат), а потом уже можно будет с этим работать.

нет, передача и канал - это уже другое. я про определение информации через энтропию - я написал в том треде

Это уже перенос базового, действительно тривиального, понятия, "что 10 бит не хватит для различения 1200 людей", на более общие и более применимые к реальным задачам ситуации. В случае "смысла" нет даже этого тривиального понятия. А энтропия и там появится, чувствую. И будет какая-нибудь "смысловая постоянная Больцмана", характеризующая скорость диссипации смысла в системе (и зависящая от системы).

Бесконечный разговор, бесконечный.

Но куда-то стремящийся :)

Не понимаю, что Вы называете смыслом. Даже приблизительно.

Сижу над строкой из поста http://flaass.livejournal.com/372049.html и пытаюсь понять вопрос. Если я спрошу, какой смысл можно углядеть в строке 1 (или в пустой строке), используя как можно меньше контекста, вопрос будет Вам понятен? Сможете углядеть что-нибудь?

Почему Вы находите в двадцатисемизначной строке тот смысл, который описан в http://flaass.livejournal.com/373236.html, а не любой другой? Например, я скажу, что в ней не встречается больше трех одинаковых симоволов подряд, и это все, что я вижу. Это по-вашему вообще смысл или что-то другое?

> не встречается больше трех одинаковых симоволов подряд
Это, пожалуй, само по себе на смысл не тянет. 4-символьных кусков там 24, это в пределах погрешности от 16. Но если посмотреть распределение всех возможных 4символьных кусков, то будет видно, что оно сильно отличается от случайного. Это подскажет, что какой-то смысл в строке может быть.

То есть фоном идет возможность случайной строки с равномерным распределением нулей и едининиц. Тоже контекст, между прочим.

Будет ли смыслом любое верное утверждение об этой строке, которое с высокой вероятностью неверно для случайной строки той же длины, созданной подбрасыванием монеты?

Да, случайная строка задает что-то вроде "энергии вакуума". Отклонения от нее в любую сторону - уже признаки, что смысл может быть. Возможно, даже гарантия, что он есть. 800-битная строка, в которой все байты соответствуют кириллице - это гарантия, что мы нашли какой-то уровень смысла. Есть ли за ним смысл на следующем уровне - следующий вопрос.

Интересно тогда понять, что происходит с этой точки зрения при шифровании одноразовым блокнотом. Вот идет сообщение в неизвестной нам кодировке. Длинное, выглядит в точности как случайная строка. Есть ли в нем смысл? Исходя из вышесказанного получается, что нет. А на самом деле — есть, только мы не знаем способ кодирования.

В ней самой по себе - нет смысла. У нее есть смысл в контексте блокнота. Причем тут нарочно сделано, чтобы контекст кому попало был недоступен. Обычные, открытые тексты содержат в себе указания, какие контексты необходимо подгрузить.

Ага. А почему Вы хотите, чтобы смысл был определен, даже когда нет контекста?

Как я там выше написал: сначала чисто математическое определение "смысл набора битовых строк в контексте другого набора битовых строк" (причем я даже не знаю, какого типа будет результат), а потом уже можно будет с этим работать.
Охота, чтоб "пустой контекст" или "пустой текст" тоже были дозволены.
Хотя коммутативности быть не должно: смысл пустого текста пуст, а смысл в пустом контексте - это та же "относительная энергия вакуума": релевантность контекста будет измеряться по тому, сколько смысла добавилось к "нулевому" при подгрузке этого контекста.
Только не надо спрашивать про точные формулы, я их не знаю :)
Все это сайнс-фикшын.

У меня сложилось впечатление, что смысл информации (битовой строки) зависит от интерпретатора (он же контекст, он же субъект со своим мозгом-алгоритмом и знаниями-контекстом). Что интерпретатор дает где-то на выходе — то и есть смысл. А как без него?

Зависит, само собой. Интерпретатор подгружает свой набор контекстов, находит какой-то смысл. Гипотеза - что можно придумать строгое определение этой функции двух аргументов, с которым можно продуктивно работать и которое при этом в практических ситуациях дает результаты, близкие к наблюдаемым.

Формальная семантика в лингвистике похожа на то, что Вы ищете? Могу поискать хороших вводных ссылок.

Будет интересно, спасибо!
Хотя с лямбда-исчислением я боле-мене знаком был когда-то.

Я не специалист и подозреваю, что знающие люди могли бы подсказать более интересные для математика ссылки, но вот что я нашел.

Статья о формальной семантике для энциклопедии:

Partee, Barbara H. "Formal semantics." To appear in P. C. Hogan, ed., The Cambridge Encyclopedia of the Language Sciences. Cambridge: Cambridge University Press, 2009. https://udrive.oit.umass.edu/partee/Partee_Formal_Semantics_Camb_Encyc.pdf

Короткое введение в формальную семантику:

Larson, Richard. "Semantics." In D. Osherson, gen. ed., L. Gleitman and M. Liberman, eds., Invitation to Cognitive Science. Vol. 1, Language. 2nd ed. Cambridge, MA: MIT Press, 1995, pp. 361–380.

Учебник по формальной семантике, где она стыкуется с порождающей грамматикой (это одна из синтаксических теорий):

Heim, Irene, and Angelika Kratzer. Semantics in Generative Grammar. Oxford: Blackwell, 1998.

Сборник классических статей с небольшим введением:

Portner, Paul, and Partee, Barbara H., eds. Formal Semantics: The Essential Readings. Oxford: Blackwell, 2002.

Некоторые лингвистические понятия можно смотреть в митовской энциклопедии:

Wilson, R. A., and F. C. Keil, eds. The MIT Encyclopedia of the Cognitive Sciences. Cambridge, MA, London: The MIT Press, 1999.

Также там можно найти краткую обзорную статью о современной лингвистике (Chierchia, G. "Linguistics and Language." Ibid., pp. xci–cix). В общем-то, для начала достаточно уяснить, как разграничивается ответственность между синтаксисом, семантикой и прагматикой.

Адреса, где можно все скачать, пришлю по почте. Напишите мне на alexkon@gmail.com.

Специалистов можно найти в msk_semantics@lj и в chomsky_ru@lj. У Барбары Парти (Partee) тоже есть жж — bhp1@lj. Из ее работ и учебных материалов я и позаимствовал все ссылки.

Ой, спасибо! Сейчас пришлю адрес.