Энтропия и инфляция

Слуцкин Лев Наумович
ИЭ РАН, Москва
Энтропия и инфляция
Принцип максимальной энтропии (МЕ) при первых данных
четырех моментах применяется для изучения инфляционных
процессов в промышленных секторах американской экономики
в 1959-1996 гг. Приведена упрощенная процедура для
определения параметров экспоненциального распределения
соответствующего МЕ
1. Введение
К. Шеннон [Shannon (1948)] определил энтропию дискретной случайной величины
X, как
W ( X )  pi ln( pi ) , (1)
где знак суммирования  распространяется на все xi, для которых p(xi)0.
Понятие (1) легко распространяется на случай непрерывной случайной величины
(н.с.в.) по формуле:
W ( X )    f ( x) log f ( x)dx , (1)
где f(x) – плотность распределения X. Интегрирование в (1) берется по области 
ненулевых (положительных) значений f(x).
Понятие энтропии берет свое начало в статистической термодинамике как мера
неупорядоченности системы и в том, или ином виде появлялось уже в работах Больцмана,
Гиббса и Максвелла. У Шеннона понятие энтропии связано с неопределенностью
информации. Чем меньше информации имеется о процессе, тем выше его энтропия. В (1)
W(X) достигает своего максимума, когда вероятностная масса распределена равномерно
(невозможно отдать предпочтение ни одному из значений X):
p1=p2=…=pn=1/n,
где n – число различных значений, принимаемых X.
То, что понятия энтропии, используемые в физике и теории информации, означают
по существу одно и тоже было показано Э. Джейнсом [см., например, Jaynes (1982)] с
помощью принципа, который он назвал «максимизацией энтропии» (ME – maximum
entropy) при данном наборе ограничений на распределение X. Эти ограничения обычно
выступают в качестве статистических моментов.
По Джейнсу при нахождении плотности f(x) следует руководствоваться принципом
«наиболее возможной неопределенности» там, где информация о вероятности не известна.
Это является естественным обобщением идеи Лапласа, который считал, что при
1
неизвестных вероятностях им надо приписывать равные значения (principe de la raison
insuffisante).
2. Экспоненциальное семейство распределений, как решение задачи
максимизации энтропии.
Решение задачи нахождения распределения н.с.в. X, имеющего положительную
плотность на всей числовой прямой, и максимизирующего энтропию (1) при заданных
первых и вторых центральных моментах (математическое ожидание и дисперсия)
приводится в книге С. Рао [Рао (1968)]. Таким распределением является нормальное
(гауссовское) распределение. В монографии [Каган, Линник и др. (1967)] доказано, что
при заданных значениях
 h ( x) f ( x)dx  g , i  1,2,..., k ,
i
i
(2)
где h1(x),h2(x),…, hk(x) – данные функции, а g1, g2,…, gk – константы,
энтропия достигает своего максимума при (и только)
f ME ( x)  exp{a0  a1h1 ( x)  ...  ak hk ( x)} , (3)
где числа a0,a1,…,ak однозначно определяются из формулы (2). Вопрос существования
таких чисел в [Каган, Линник и др. (1967)] не рассматривался.
Примечание. Для определения k+1 параметров в (3) к системе из k уравнений (2)
добавляется еще условие нормализации:
 f ( x)dx  1 .
(4)
Вопрос существования a0,a1,…,ak был полностью разрешен только в 2000 г. М.
Юнком [Junk (2000)]. Основной вывод, который можно сделать из статьи Юнка, состоит в
том, что существование a0,a1,…,ak зависит, как от самого набора чисел g1, g2,…,gk, так и от
вида функций h1(x),h2(x),…,hk(x), и, вообще говоря, задача ME может не иметь решения.
Результаты Юнка имеют большое, как теоретическое, так и практическое значение.
На задачу нахождения ME можно взглянуть с точки зрения теории информации.
Предположим, что имеющаяся информация о f(x) представлена системой уравнений (2).
Тогда мы можем записать
f(x)=fME(x)+,
(5)
где fME(x) представляет информационную составляющую f(x), а  – отклонение от нее, то
есть ее неинформационную (неизвестную) часть.
3. Экспоненциальное полиномиальное семейство четвертого порядка
Если положить в (3) k=4, hi(x)=xi, i=1,2,3,4, то мы получим в качестве решения
задачи ME экспоненциальное полиномиальное семейство четвертого порядка – ЭПСЧП.
Это семейство встречается уже у Р. Фишера [Fisher (1922)], который интересовался
бимодальными распределениями. Впоследствии к изучению ЭПСЧП периодически
2
обращались различные авторы (довольно полный обзор на эту тему можно найти в
[Zellner, Highfield (1988)]) в связи с оценкой параметров методом максимального
правдоподобия. Но только в [Zellner, Highfield (1988)] была впервые сформулирована
задача ME при заданных моментах четвертого порядка. По всей видимости, и по крайней
мере частично, благодаря авторитету первого из авторов, поток работу на эту тему за
последние двадцать лет резко возрос (см. [Golan et al. (1996)], и в настоящее время метод
ME рассматривается как один из основных в эконометрике. Мы только заметим, что
ЭПСЧП является естественным обобщением семейства нормальных распределений, где,
кроме математического ожидания и дисперсии, учитываются также коэффициенты
асимметрии и эксцесса. Отметим также, что моменты выше четвертого порядка
практически никогда не рассматриваются в прикладной статистике. Из работы Юнка
следует [Holly et al. (2008)], что задача ME для центральных моментов вплоть до
четвертого порядка имеет решение только тогда, когда эксцесс 4 находится на отрезке [2;0], причем случай 4=0 соответствует нормальному распределению.
В приложениях в правой части (2) берутся выборочные моменты распределения X:
m
ˆ 1 ,..., m
ˆ 4 . Мы заметим, что в случае, когда  есть множество всех действительных чисел,
из (4) следует, что a4<0.
4. Применение ЭПСЧП для изучения инфляционных процессов
Вышеуказанные теоретические результаты мы применим для изучения
инфляционных процессов в 459 промышленных секторах американской экономики в
1959-1996 гг. [Слуцкин (2009)]. Эти процессы характеризуются асимметричными
унимодальными распределениями с основной массой наблюдений сгруппированных
вокруг моды, что характерно для распределений с отрицательными эксцессами, а также
тяжелыми хвостами, что характерно для распределений с положительными эксцессами.
Эти хвосты являются причиной того, что за все 34 года m
ˆ 4  0 , то есть задача МЕ ни разу
не имела решения.
Эту трудность можно обойти, рассматривая усеченную выборку вместо
первоначальной, оставляя хвостовые значения за ее пределами. Распределение из ЭПСЧП
будет находиться исходя из первых четырех выборочных моментов усеченной выборки.
Из [Junk (2000)] следует, что задача МЕ будет иметь единственное решение. В этом случае
задача МЕ решается только для усеченной выборки.
Другой подход заключается в применении робастных методов [Робастность в
статистике (1989)] при оценки моментов распределения X. Именно в этом направлении и
были произведены расчеты, речь о которых пойдет в следующем разделе.
Полученные результаты могут быть использованы для объяснения эмпирического
факта, описанного в работе [Слуцкин (2009)], что имеется сильная корреляционная
зависимость (коэффициент корреляции =0,91) по годам между средним (по секторам)
уровнем инфляции и соответствующим стандартным отклонением. Основным здесь
является следующее наблюдение: в американской экономике всегда существуют отрасли,
которые или вынуждены, или для достижения большей прибыли, снижают цены на свои
товары. Таким образом, хотя средний уровень инфляции сдвигается вправо
(увеличивается), тем не менее, его левый хвост должен достигать отрицательных
значений. Учитывая гладкость и монотонное поведение кривых из ЭПСЧП, это
становится возможным только при возрастании дисперсии.
3
5. Вычислительная процедура
Хотя вычислительная процедура, возможно, и не должна представлять
значительного интереса для экономистов, в данном случае о ней следует поговорить
особо. Дело в том, что основная цель работ [Zellner, Highfield (1988)] и [Ormoneit, White
(1999)] как раз и состояла в том, чтобы представить эффективный алгоритм для подсчета
параметров ЭПСЧП. Несмотря на тот факт, что именно вычислительные аспекты
эконометрической науки принесли широкую известность двум из вышеназванных авторов
(имеются в виду Зельнер и Уайт), их методы впоследствии критиковались различными
авторами, в том числе и за ограниченность применений. Как справедливо отмечается в
[Holly et al. (2008)] причиной тому являлось отсутствие полноценной теории для ЭПСЧП.
Опираясь на статью Юнка, эти авторы предложили собственный подход для нахождения
параметров a0,a1,…,a4. Тем не менее, их метод еще требует объективной оценки и
одобрения со стороны эконометрического сообщества.
В связи с вышесказанным автор хотел бы предложить более простой подход,
основанный на замене исходной выборки на две группы: справа и слева от моды и затем
решать задачу МЕ для каждой группы отдельно, предварительно сделав их
симметричными относительно моды. Вычтя величину моды из значений выборки, можно
считать, что a1=0. Легко показать, что в этом случае также a3=0. Из унимодальности f(x)
следует, что a2<0. Таким образом, для решения задачи МЕ требуется определить только
три параметра a0, a2 и a4 при заданных значениях m̂2 и m̂4 .
Нетрудно показать, что заменой переменной
x
t
4
 a4
,
(6)
задача сведется к интегральному уравнению с одной переменной <0
[  t 2 e t
2
t 4
dt ]3
mˆ 23
 ( ) 

.
2
4
2
4
[  t 4 e t t dt ][  e t t dt ] 2 mˆ 4
(7)
Решение уравнения (7) находится путем табулирования значений () по . Если 0 –
решение, то параметры fME(x) определяются последовательно по следующим формулам:
(a 4 )
3/ 4

4 t
t e 0
2
mˆ 4  e 0t
a 2  0 (  a 4 )1 / 2
a0  ln{
t 4
2
t 4
t 4
(8)
dt
(9)
(  a 4 )1 / 4
t
e 0
2
dt ]3
} (10).
dt
4
Список литературы
Каган А. М., Линник Ю. В., Рао С. Р. (1972), Характеризационные задачи математической
статистики, М.: Наука.
Рао С.Р. (1968), Линейные статистические методы и их применения, М.:Наука.
Робастность в статистике (1989), под ред. Ф. Хампеля, М.: Мир.
Слуцкин Л. Н. (2009), Статистический анализ инфляционных процессов в
промышленных секторах американской экономики, 1959-1996 гг. // Прикладная
Эконометрика, №1 (13), 89-104.
Fisher R. A. (1922), The mathematical foundations of theoretical statistics, Roy. Soc. Phil.
Trans., Vol. 222, Series A, 355-356.
Golan A., G. G. Judge and D. Miller (1996), Maximum Entropy Econometrics: Robust
Estimation with Limited Data, New York: John Wiley & Sons.
Holly A., A. Monfortb and M. Rockingerc (August 2008), Fourth Order Pseudo Maximum
Likelihood Methods, Working Paper n° 08-02.
Jaynes E.T. (1982), On the Rationale of Maximum-Entropy Methods // Proc. IEEE, 70, 939.
Junk, M. (2000): Maximum Entropy for Reduced Moment Problems," Mathematical Models and
Methods in Applied Sciences, 10(7), 1001-1025.
Ormoneit D. and H. White (1999): An Efficient Algorithm to Compute Maximum Entropy
Densities // Econometric Reviews 18(2), 127-140.
Shannon C. E. (1948), A Mathematical Theory of Communication, Bell System Technical
Journal, Vol. 27, pp. 379-423. (Имеется русский перевод: Шеннон К. (1963),
Математическая теория связи в книге «Работы по теории информации и кибернетике»,
М.: ИЛ, 243-332.)
Zellner A. and R. A. Highfield (1988), Calculation of Maximum Entropy Distributions and
Approximation of Marginal Posterior Distributions // Journal of Econometrics 37, 195-209.
В заключение автор хотел бы выразить свою благодарность академику В. И.
Маевскому, который подвигнул автора на изучение энтропийных свойств
инфляционных процессов.
5