38 МАСШТАБНАЯ ИНВАРИАНТНОСТЬ И СТЕПЕННЫЕ ЗАКОНЫ БЕЗ ГЕОМЕТРИИ

Если когда-либо будут написаны монографии или даже учебники по фракталам, то их авторы, вероятно, поместят главы, посвященные рассмотрению случайных геометрических фигур (весьма деликатный в математическом смысле предмет), после более простых глав, описывающих случайные функции, а начинаться эти книги будут, конечно же, со случайных величин. В настоящем эссе мы поступили иначе, сразу окунувшись с головой в наиболее сложную тему, поскольку тема эта представляет наибольший интерес и дает наибольший простор для развития геометрической интуиции.

Ближайшие родственники фракталов – гиперболические распределения вероятностей. В предыдущих главах мы встречали немало примеров их применения, начиная с гиперболических функций . Однако многое осталось недосказанным. Эта глава начинается с общих замечаний о предмете, а затем мы рассмотрим некоторые лингвистические и экономические феномены, относительно которых имеются многочисленные и убедительные эмпирические свидетельства, очень хорошо описываемые гиперболическими законами. Рассуждения в обоих случаях одинаковы и представляют масштабную инвариантность и размерность подобия в совершенно «развоплощенном» виде.

Приводимый здесь пример из лингвистики составлял тему моей первой статьи (см. главу 42). Благодаря ему я познакомился с некоторыми полезными приемами – весьма прямолинейными, но в то же время достаточно универсальными. У этого лингвистического примера имеется также и термодинамический аспект, связанный с моим недавним открытием математического аналога отрицательной температуры.

О гиперболических распределениях

Согласно определению, которое хорошо нам известно, случайная величина (с. в.) называется гиперболической, если . Довольно странное, надо сказать, определение, ведь так при любом конечном префакторе получается, что , что выглядит сущей нелепицей и определенно указывает на то, что здесь требуется некое особое отношение – как нам хорошо известно, так оно и есть. В главе 12, например, мы видели, что, когда генератор Коха включает в себя остров, предельная кривая будет включать в себя бесконечное множество островов, причем количество таких, чья площадь превышает некоторую величину , будет равно . Расположим их в порядке уменьшения площади (острова с одинаковой площадью можно располагать в произвольном порядке). Выбрать один такой остров случайным образом с равномерным распределением – значит выбрать случайным образом один порядковый номер из списка островов. Если нам это удастся, то мы с полным правом сможем заменить на . Однако в действительности порядковый номер острова представляет собой целое положительное число, а нам известно, что выбрать случайным образом целое положительное число невозможно.

Еще одна знакомая история: из гиперболического распределения следуют прямые условные распределения. Например, условная с. в. , что записывается как , удовлетворяет следующему равенству:

Парадоксы ожидания

При соответствующее математическое ожидание определяется выражением

Это выражение открывает широкий простор для бесчисленных парадоксальных историй. Ниже приведено несколько таких историй; особенно я рекомендую их тем из моих читателей, кто полагает себя трезвомыслящим – только не очень спешите.

Эффект Линди. Будущее карьерное ожидание телевизионного комика пропорционально суммарному времени его выступлений в прошлом. Источник: газета «The New Republic» от 13 июня 1964 г.

Ключ ищите в следующей истории.

Притча о кладбище юных поэтов. В самой унылой части кладбища, там, где покоятся поэты и мыслители, кои скоропостижно скончались в самом расцвете своей юности, каждый памятник увенчан символом потери: половиной книги, огрызком пера или обломком какого – либо инструмента. Старый смотритель кладбища, и сам в юные годы не чуждый поэзии и учености, неустанно повторяет всем посетителям, что эти надгробные символы следует воспринимать не иначе, как совершенно буквально: «Всякий, кто здесь лежит, - заявляет он, - достиг достаточных успехов и много обещал в будущем; и размеры некоторых памятников отражают величие достижений тех, над чьими останками они возвышаются. Но как же нам оценить обманутые ожидания? Кое-кто из моих подопечных, останься он в живых, смог бы превзойти самих Леонарда Эйлера и Виктора Гюго – пусть не в гении, но хотя бы в плодовитости. Однако большинство из них, увы, оказались бы вскоре покинутыми своими музами. Поскольку в юности достижения и обещания в точности равны между собой, нам дóлжно полагать их равными и в момент скоропостижной кончины».

Ключ. Всякий, кто прекращает свою деятельность в молодости, останавливает на полпути многообещающую карьеру.

«Доказательство». Согласно А. Лотке, распределение количества научных публикаций одного автора является гиперболическим с показателем . Это правило основано на таком качественном факте, что большинство людей пишут мало или совсем ничего, однако всегда находится несколько индивидуумов, которые пишут чрезвычайно много. Если упомянутое правило справедливо, то сколько бы человек ни написал в прошлом, можно ожидать, что в будущем он напишет еще, в среднем, столько же. Когда же он, наконец, остановится, ровно половина всех ожидаемых от него трудов так и останется невыполненной.

Комментарии. Единственный способ избежать всеобщего разочарования состоит в прекращении трудов в столь пожилом возрасте, чтобы при обсчете ожидаемого будущего ожидающим пришлось бы учитывать поправки на возраст. Коэффициент пропорциональности в эффекте Линди равен, разумеется, единице.

Притча об удаляющемся береге. Далеко – далеко отсюда расположен край под названием Земля Десяти Тысяч Озер. Озера эти имеют очень простые названия: Великое, Второе – По – Величине, …, - е – По – Величине и и.д., вплоть до Десятитысячного – По – Величине. Великое озеро представляет собой огромное неведомое море – нет! целый океан – шириной не менее чем 1600 миль; ширина - го – По – Величине озера составляет миль, а самое маленькое озеро имеет всего лишь милю в поперечнике. Но над озерами всегда стоит плотный туман, не позволяющий видеть дальше, чем на милю, отчего, стоя на берегу, никогда нельзя сказать точно, какое именно озеро простирается перед вашими глазами. На суше нет никаких ориентиров, равно как нет там и местных жителей, к которым путешественник мог бы обратиться с вопросом. Однако если путешественник, стоящий на незнакомом берегу, твердо верит в математическое ожидание, он точно знает, что ожидаемое расстояние до противоположного берега равно в этом случае 5 милям. Путешественник садится в лодку, проплывает некоторое количество миль , обнаруживает, что цели он еще не достиг, и подсчитывает новое ожидаемое расстояние до противоположного берега, которое составит уже миль. Не водятся ли в этих озерах духи, которые и впрямь отодвигают желанный берег от незадачливого путешественника?

Ключ. Вышеописанное распределение диаметров озер представляет собой вариант распределения Корчака, с которым мы встречались в главах 12 и 30.

Масштабно-инвариантные распределения вероятностей

Вернемся, однако, к более серьезным вещам. Для того чтобы получить возможность говорить о масштабно-инвариантных случайных величинах, следует определить термин «масштабно-инвариантный» без привлечения геометрии. Дело в том, что единственной геометрической фигурой, которую можно поставить в соответствие случайной величине, является точка, а точка на части не делится. В качестве приемлемой замены можно предложить следующий вариант: будем говорить, что случайная величина масштабно - инвариантна при преобразовании , если распределения и тождественны во всех отношениях, кроме масштаба.

Термин «преобразование» понимается здесь в широком смысле: например, сумма двух независимых реализаций случайной величины рассматривается как результат преобразования . Соответствующие величины следует называть масштабно-инвариантными при сложении, но мы будем называть их устойчивыми по Леви (см. главы 31, 32 и 39). В главе 39 (с. 501 и 528), кроме того, упоминаются и случайные величины, масштабно-инвариантные при взвешенном сложении.

Асимптотический скейлинг. Асимптотически гиперболические С. В. К счастью, приведенное выше определение вовсе не является столь неопределенным, как может показаться на первый взгляд. При многих преобразованиях, как выясняется, для инвариантности требуется асимптотически гиперболическое распределение. Это означает, что должен существовать некоторый показатель , такой, что пределы

определены и конечны, причем один из них положителен.

Распределение Парето. Термин «асимптотически гиперболическое распределение» можно рассматривать как синоним термина, хорошо знакомого статистикам-экономистам, а именно: распределение Парето. Вильфредо Парето – итальянский экономист, который пытался перевести законы механического равновесия в термины равновесия экономического, однако более прочно его имя запомнят, вероятнее всего, в связи с открытием им фундаментальной статистической закономерности: он обнаружил, что в определенных обществах количество индивидуумов с личным доходом , превышающим некую большую величину , распределяется приблизительно гиперболически, т.е. пропорционально . (Несколько позже в этой главе мы еще вернемся к распределению доходов.)

«Новые методы статистической экономики» [342]

Гиперболические законы, аналогичные распределению Парето, были позднее обнаружены во многих отраслях экономики, а на объяснение их столь широкой распространенности потрачены немалые усилия. Однако позвольте мне прежде описать один еретический подход к этой задаче.

В такой области, как экономика, ни в коем случае нельзя забывать о том, что «данные», которыми нам приходится оперировать, представляет собой весьма разнородную смесь. Поэтому распределение данных является результатом совместного действия базового фиксированного «истинного распределения» и в высшей степени изменчивого «фильтра». В [342] я отмечаю, что асимптотически гиперболические распределения с очень «крепки» в этом смысле, т.е. многие самые разнообразные фильтры практически не изменяют их асимптотического поведения. С другой стороны, почти все прочие распределения таким свойством не обладают. Следовательно, гиперболическое истинное распределение можно наблюдать всегда: всевозможные наборы искаженных данных предполагают одно и то же распределение с одинаковым показателем . При попытке применить тот же подход к большинству других распределений мы получим «хаотические» несовместимые результаты. Иными словами, практической альтернативой асимптотически гиперболическому распределению является не какое-то другое распределение, но хаос. Поскольку хаотические результаты, как правило, не публикуются (а если публикуются, то не замечаются), факт широкой распространенности асимптотически гиперболических распределений не представляет собой ничего неожиданного и мало может сообщить нам об истинной их распространенности в природе.

Закон словарной частотности ципфа

Слово есть не что иное, как последовательность «правильных» букв, заканчивающаяся «неправильной» буквой, называемой пробелом. Возьмем образец речи некого индивидуума и расположим в ряд содержащиеся в этом образце слова по следующему принципу: на первое место поставим слово, встретившееся в тексте наибольшее количество раз, далее – второе по частоте употребления и т.д., причем слова с одинаковой частотой будем располагать в произвольном порядке. В такой классификации обозначает порядковый номер (ранг) слова, встречающегося в речи с вероятностью , а термин распределение частотности слов описывает соотношение между и .

Можно ожидать, что это соотношение подвержено самым беспорядочным изменениям, находящимся в зависимости от языка и индивидуальных особенностей оратора, однако в действительности это не так. Эмпирический закон, обнаруженный Ципфом [615] (о Дж. К. Ципфе смотрите очерк в главе 40), гласит, что соотношение между и «универсально», т.е. независимо от параметров, и имеет следующий вид:

А во втором приближении, которое я получил теоретически (тщетно пытаясь теоретически же вывести беспараметрический закон ), все различия между языками и индивидуумами свелись к выражению

Поскольку , параметры , и оказываются связаны соотношением .

В совокупности эти параметры служат мерой того, насколько богат словарный запас данного индивидуума.

Основным параметром является показатель . Представляется разумным измерять богатство словарного запаса через относительную частоту использования субъектом редких слов: взяв, например, в качестве эталона частоту слова ранга , а не слова ранга . Эта относительная частота возрастает при увеличении .

Почему вышеописанному закону присуща такая универсальность? Учитывая, что он почти идеально гиперболичен, и принимая во внимание все то, что мы уже успели узнать из настоящего эссе, в высшей степени разумным будет попробовать соотнести закон Ципфа с неким лежащим в его основе скейлинговым свойством. (В 1950 г., когда я впервые столкнулся с этой задачей, такая процедура вовсе не казалась столь очевидной.) Как можно заключить из обозначения, показатель здесь играет свою обычную роль – роль размерности. Вторым параметром является префактор (см. главу 34).

Лексикографические деревья

В данном случае и впрямь имеется «объект», который можно подвергать преобразованию подобия: назовем этот объект лексикографическим деревом. Прежде всего, определим его и опишем, что в данном контексте имеется в виду под преобразованием подобия. Затем докажем, что в случае масштабной инвариантности лексикографического дерева частотность слов следует приведенному выше двухпараметрическому закону. Далее мы обсудим справедливость объяснения и особо остановимся на интерпретации показателя как размерности.

Деревья. Лексикографическое дерево имеет стволов, пронумерованных от 0 до . Первый ствол соответствует «слову», состоящему из одной только «неправильной» буквы – «пробела»; каждый из остальных стволов соответствует одной из «правильных» букв. Ствол «пробела» гол, а каждый из остальных стволов несет на себе главных ветвей, которые соответствуют пробелу и правильным буквам. В следующем поколении ветвь пробела остается голой, а остальные ветви разветвляются, как и прежде, на меньших ветвей. То есть пустой конец каждой ветви пробела соответствует слову, состоящему из правильных букв, за которым следует пробел. Построение продолжается до бесконечности. На конце каждой пустой ветви вырезана вероятность употребления соответствующего слова. На конце же непустой ветви вырезана полная вероятность употребления слов, которые начинаются с последовательности букв, определяющей данную ветвь.

Масштабно-инвариантные деревья. Дерево можно назвать масштабно-инвариантным, если каждая взятая в отдельности ветвь представляет собой в некотором роде уменьшенную копию всего дерева. Усечение такого дерева означает, почти буквально, отсечение от него какой-либо ветви. Отсюда выводим наше первое заключение – ветвление масштабно-инвариантного дерева не должно иметь каких-либо пределов. В частности, неразумно – хотя на неподготовленный взгляд это совсем не очевидно – пытаться измерить богатство словарного запаса исчислением общего количества различных слов. (Почти каждый из нас «знает» настолько больше слов, чем употребляет в речи, что словарный запас среднего человека практически бесконечен.) Далее можно определить (соответствующее рассуждение мы опустим) вид, какой принимает вероятность пустой ветви - го уровня, т.е. растущая над «живыми» ветвями.

Получение обобщенного закона Ципфа в простейшем случае. [323, 350, 358]. Простейшее масштабно-инвариантное дерево соответствует повествованию, которое представляет собой последовательность статистически независимых букв, причем вероятность употребления каждой правильной буквы составляет , а вероятность употребления неправильной буквы «пробела» равна остатку . В этом случае - й уровень обладает следующими свойствами:

а величина заключена между границей

(исключая саму границу) и границей

(включая границу). Записав

и подставив в каждое граничное выражение

получим

Искомый результат находим, аппроксимируя с помощью среднего значения его границ.

Обобщение. Можно построить и более сложные масштабно-инвариантные деревья, соответствующие последовательностям букв, порождаемым стационарными случайными процессами (марковскими цепями, например) и разделенными впоследствии пробелами на слова. Рассуждение становится более сложным [326], однако результат остается неизменным.

Обратное утверждение. Следует ли из данных Ципфа, что лексикографическое дерево, построенное из обычных букв, является масштабно-инвариантным? Разумеется, нет: многие короткие последовательности никогда не встречаются в языке, в то же время многие длинные последовательности употребляются довольно широко. Следовательно, реальные лексикографические деревья далеки от строгой масштабной инвариантности, однако вышеприведенное рассуждение, по сути, достаточно хорошо объясняет, почему выполняется обобщенный закон Ципфа. Можно также упомянуть и о том, что закон Ципфа первоначально рассматривался как весьма многообещающий вклад в лингвистику – впрочем, как показывает мое объяснение, с лингвистической точки зрения закон этот очень поверхностен.

Обобщенный закон Ципфа также выполняется внутри определенных ограниченных словарных составов. Например, специалисты в области одной эзотерической дисциплины, называемой агиоантропонимией и занимающейся исследованием случаев использования имен святых для именования обычных людей (см. [322]), установили, что к таким именам закон Ципфа вполне применим и к фамилиям. Означает ли это, что соответствующие деревья масштабно - инвариантны?

Показатель есть фрактальная размерность. Мы заметили, что показатель формально является фрактальной размерностью. Это наблюдение не столь поверхностно, как может показаться. В самом деле, если перед словом (в том виде, в каком мы его определили) поставить десятичную запятую, то это слово окажется ничем иным, как числом в интервале от 0 до 1, записанным в системе счисления с основанием и содержащим нули только в конце. Отметим такие числа на интервале и добавим сюда предельные точки этого множества. Построение, в сущности, сводится к удалению из интервала всех чисел, содержащих нули в иных, кроме конца, позициях. В результате получаем канторову пыль, фрактальная размерность которой в точности равна .

Что же касается других, отличных от простейших, масштабно-инвариантных лексикографических деревьев, к которым мы обращались выше за обобщенным доказательством закона Ципфа, то они аналогичным образом соответствуют обобщенным канторовым множествам с размерностью . Уравнение для в [326] представляет собой матричное обобщение определения размерности подобия с помощью равенства .

Дальнейшее обобщение: случай . Любопытно, что условие вовсе не является универсальным. Примеры, в которых обобщенный закон Ципфа выполняется, но оценка размерности удовлетворяет неравенству , весьма редки, однако, несомненно, имеют место. Для описания роли особого значения допустим, что закон выполняется только до некоторого значения . При не возникает никаких трудностей с составлением бесконечных словарей, предполагаемых вышеприведенными теоретическими рассуждениями. Однако при бесконечный ряд расходится. Следовательно, согласно условиям и , величина должна быть конечна, т.е. словарь должен содержать конечное число слов.

В самом деле, размерность , как выясняется, встречается только в тех случаях, когда словарь противоестественным образом ограничен какими-то внешними искусственными средствами (как, например, в случае вставок латинским шрифтом в нелатинский текст). Такие особые случаи рассматриваются в моих статьях, посвященных этой теме. Поскольку построение, ограниченное конечным количеством точек, не может дать фрактального множества, величину не следует интерпретировать как фрактальную размерность.

Температура повествования

Вышеописанные отклонения допускают на мгновение совершенно иную интерпретацию, идею которой мы позаимствовали в статистической термодинамике. Аналогами физической энергии и физической энтропии послужат стоимость кодирования и информация Шеннона. А показатель выступит в роли «температуры повествования». Чем «горячее» речь, тем больше вероятность употребления редких слов.

Случай соответствует стандартному случаю, в котором формальный эквивалент энергии не ограничен сверху.

С другой стороны, случай, в котором слова настолько «горячи», что это приводит в результате к , предполагает в высшей степени необычное наличие у энергии конечной верхней границы.

Вскоре после того, как я описал эту резкую дихотомию в терминах лингвистической статистики, независимо от меня был найден ее физический аналог. Обратная физическая температура имеет наименьшее значение – и даже обращается в нуль, - когда тело нагрето до наивысшей температуры. Норманн Рэмзи предположил, что если тело подвергать дальнейшему нагреву, величина должна стать отрицательной. Обсуждению этого параллелизма посвящена моя статья [360].

В термодинамике объемные свойства объектов выводятся на основании микроканонической равно вероятности. Поскольку молекулы мы в лицо не различаем, допущения касательно их возможных состояний не вызывают у нас сильных эмоций, однако слова обладают ярко выраженной индивидуальностью, поэтому при изучении языка допущение о равновероятности вряд ли будет имеет успех.

Предыдущая аналогия становится особенно уместной в рамках определенных обобщенных подходов к термодинамике. Рискуя заслужить обвинение в чрезмерном цитировании работ, имеющих лишь косвенное отношение к настоящему эссе, все же скажу: один из таких формализмов я рассматривал в статьях [339, 344].

Закон доходов парето

Еще один пример абстрактного масштабно-инвариантного дерева можно обнаружить в организационных структурах иерархических групп людей. Признаками простейшей масштабно-инвариантной иерархии являются следующие: ее члены распределены по уровням таким образом, что каждый член (за исключением тех, что находятся на самом нижнем уровне) имеет одинаковое количество подчиненных; все подчиненные каждого члена иерархии имеют одинаковый «вес» , который равен весу непосредственного начальника, умноженному на коэффициент . Наиболее удобно рассматривать в качестве этого веса доход.

Если нам нужно сравнить различные иерархии с точки зрения неравенства доходов, то можно классифицировать их членов в порядке уменьшения дохода (члены с одинаковым доходом размещаются в произвольном порядке), обозначить каждого индивидуума его порядковым номером в этом рядку (рангом ) и определить скорость уменьшения дохода в ряду как функцию от ранга, или наоборот. Чем быстрее происходит уменьшение дохода при увеличении ранга, тем больше неравенство.

Здесь без каких бы то ни было изменений применим формализм, использованный в законе Ципфа: ранг индивидуума с доходом приблизительно равен:

Это соотношение было выведено Лайдаллом в [321].

Степень неравенства определяется, в основном, показателем

который, судя по всему, не имеет никакого достойного обсуждения фрактального смысла. Чем больше формальный показатель , тем больше значение , и тем ниже степень неравенства.

Как и в случае частотности словоупотребления, модель можно обобщить, допустив, что в пределах некоторого данного уровня значение варьируется от индивидуума к индивидууму, т.е. что равно произведению величины на некоторый случайный множитель, одинаковый для всех. При таком обобщении изменяются параметры и - и, как следствие, , - однако основное соотношение остается неизменным.

Заметим, что эмпирический показатель обычно близок к 2. Построим график для тех случаев, когда он в точности равен 2, откладывая при этом обратный доход на оси, направленной вниз. В результате мы получим правильную пирамиду (т.е. длина ее основания будет равна квадрату ее высоты). Доход вышестоящего индивидуума здесь составляет геометрическое среднее между совокупным доходом всех его подчиненных и доходом одного отдельно взятого подчиненного.

Критика. Когда , наименьшее значение, равное , возникает при . Это наименьшее значение неправдоподобно велико, из чего можно заключить, что модель Лайдалла справедлива только для иерархий, в которых . Если это так, то тот факт, что показатель обычно близок к 2, может означать, что различия в доходах внутри иерархий бледнеют в сравнении с различиями в доходах между иерархиями, не говоря уже о различиях внутри групп, не обладающих иерархической структурой.

Распределение иных доходов

Более широкое исследование распределения доходов, предпринятое в [333, 335, 337], послужило источником вдохновения для работы, уже описанной в главе 37.