Лекция 4 Метод максимального правдоподобия

Лекция 5
Метод максимального
правдоподобия
ММП позволяет получить по крайней мере асимптотически
несмещенные и эффективные оценки параметров
распределения
В основе ММП лежит понятие функции правдоподобия
выборки
Определение. Пусть имеем случайную величину Y,
которая имеет функцию плотности вероятностей Py(t,
a1,a2,…,ak) и случайную выборку Y(y1,y2,…,yn )наблюдений
за поведением этой величины. Тогда функцией
правдоподобия выборки Y(y1,y2,…,yn) называется функция
L, зависящая от аргументов а={a1,a2,…,ak}, и от элементов
выборки как от параметров и определяется равенством:



La 0 , a1 , a 2 ,..., a k , y 1 , y 2 ,..., y n   P y y 1 , a P y y 2 , a ... P y y n , a 
Функция правдоподобия:



La 0 , a1 , a 2 ,..., a k , y 1 , y 2 ,..., y n   P y y 1 , a P y y 2 , a ... P y y n , a 
Основные свойства функции правдоподобия
1. Правая часть равенства имеет смысл значения
закона распределения выборки при случайных значениях
параметров t1=y1, t2=y2,…, tn=yn.
Следовательно, функция правдоподобия L также
случайная величина при любых значениях аргументов
а={a1,a2,…,ak}
2. Все значения функции правдоподобия L ≥0.
Эти свойства являются следствием свойств выборки
Идея метода.
В качестве оценки неизвестного параметра принимается
такое, которое обеспечивает максимум функции
правдоподобия при всех возможных значениях случайной
величины Y
Математически это выражается так:
ãj= argmax(L(a1,a2,…,ak, y1,y2,…,yn)
Очевидно, что оценка ãj зависит от случайной выборки,
следовательно, ãj= f(y1,y2,…,yn), где f есть процедура
вычисления оценки ãj по результатам выборки
Алгоритм решения задачи
Предполагается:
1. Вид закона распределения известен;
2. Функция плотности вероятности гладкая во всей
области определения
Последовательность решения:
1. Составляется функция правдоподобия
2. Вычисляется логарифм функции правдоподобия
3. Оценки параметров получаются в результате решения
системы уравнений вида:
 
 
 ln( L a, Y )
0
 ai
i  1,2,..., k
4. Проверяется условие максимума функции правдоподобия
Задача 1. Пусть опытом является инвестирование капитала
в обыкновенную акцию (например ЛУОИЛ)
В качестве события «В» примем получение положительной
доходности на эту акцию
Обозначим символом i(B) индикатор появления события «В»
Индикатор случайного события«В» определяется по
правилу:

1
iB   
0

при появлении события В
(5.1)
при непоявлени и события В
Закон распределения случайной величины (5.1)
1 q 
 q
1

p
 , при q  0, 1
p 
PiB  q  
0,
при q  0, 1

(5.2)
Для того, чтобы определить вероятность появления
события «В» (положительной доходности по акциям
ЛУКОИЛ) необходимо знать значение «p» параметр закона
распределения (5.2)
Найти: значение параметра p
Имеем выборку наблюдений за поведением доходности
акций за некоторый период времени:
i1 B , i2 B , ..., in B 
(5.3)
Выборка (5.3) представляет собой набор 1 и 0
Воспользуемся методом максимального правдоподобия
Решение.
Шаг 1. Запишем функцию правдоподобия выборки (5.3)
Lp, y1, y2 ,... yn  p
i1B 
1 p
1i1(B ) 
i 2B 
p
1 p
1i2(B ) 
inB 
... p
1 p
1in(B ) 

n
1ij(B ) 
B 


i
j
 p j 1  p  j
n
(5.4)
Шаг 2. Логарифмирование функции (5.4)
n
 

1i j( B )  

B


lnL   ln p j ij 1  p  j



n
n



   ij Bln( p )     1  ij (B)ln1  p
 j
  j
n
 

(5.5)
Для удобства введем обозначение:
nB 
 i B 
(5.6)
j
Шаг 3. Вычисляем производную функции ln(L) и
приравниваем ее нулю
dln( L) nB n  nB
 
0
dp
p 1 p
(5.7)
Уравнение (5.7) имеет единственный корень:
 i B
n
~  nB 
p
n
j
j 1
n
(5.8)
Убедимся, что корень (5.8) соответствует максимальному
значению функции правдоподобия (5.4)
Вычисляем вторую производную логарифма функции
правдоподобия (5.4):
2
d ln( L )   nB  n  nB
2
2
2
dp
p
1

p


0
Шаг 4. Проверка выполнения условий оптимальности
Несмещенность
1 n

~
Mp   M  ij(B) 
 n j1

Вывод. Получена несмещенная оценка при выборке
любого объема
Метод проверки условия эффективности базируется на
использовании неравенства Рао-Крамера
Оно позволяет оценить нижнюю границу точности, с
которой можно несмещенно оценить неизвестные
параметры
Нижняя граница соответствует минимальной дисперсии
оценки
Следовательно, если дисперсия полученной оценки равна
нижней границе, то эта оценка удовлетворяет условию
эффективности
Теорема. Для любой ковариационной матрицы любой
несмещенной оценки вектора параметров «а»
неравенство Рао-Крамера имеет вид:
Cov(ã,ã) ≥ I-1
где: I – квадратная матрица, информационная матрица
Фишера:
  2 ln( L) 

I  M  



a
a
i
j


(5.9)
Если число оцениваемых параметров равно 1, то матрица
Фишера вырождается в число, которое называют
информационным количеством Фишера
 d2 ln( L) 
I  M 

2
da 

Оценим нижнюю границу дисперсии параметра p
Найдем значение информационного количество Фишера

 d2 ln( L ) 
n  nB   M(nB )  M(n  nB )
n
B

  M 2 
I  M 
2
2
2
2


p
1

p
d
p
p




1  p  

n
np
n  np

 2 
2
p 1  p 
p
1  p 
Следовательно, неравенство Рао-Крамера для σ2(р) имеет
вид:
2 ~
p 1  p 
(5.10)
 p  
n
Вычислим дисперсию оценки (5.8)
 n

  ij (B) 
2 ~
2
 j1


p


  n  




n
n
  (i (B))  p(1  p)
2
j
j 1
2
n

j 1
2
n

p(1  p)
n
(5.11)
Задача 2. Получить ММП оценки случайной величины,
имеющей нормальный закон распределения
Имеем выборку Y={y1,y2,…,yn}
Переменная Y имеет нормальный закон распределения:
( t a )
22
2
p
y
( t, a, 2 ) 
1

1
2
(2)

e
Необходимо найти значения параметров а и σ2
Шаг 1. Составление функции правдоподобия
( y1a)
( y 2 a )
( yn a )

1
1
1



2
2
2
L( Y, a,  ) 
2
2 ...
22 
12 e
12 e
12 e
(2 2)
(2 2)
(2 2)
2

 n y a
1

exp   i 2
n2
 i1 2 
(2 2)

2
 
2
2
(5.12)


Шаг 2. Логарифмирование функции (5.12)


n
yi  a
n
2
lnL    ln2    
2
2 2
i 1
2
(5.13)
Шаг 3. Дифференцируем выражение (5.13) по параметрам
а и σ2, решаем полученную систему уравнений
Замечание. Для удобства введем переменную s= σ2!
( y  a)
 ln( L)
 2 i
0
a
2s
(5.14)
 ln( L)
n  ( yi a)
 
0
2
s
2s
2s
2
(5.15)
(5.16)
Из уравнения (5.14) следует, что
1 n
a   yi
n i1
Из уравнения (5.15) следует, что
~s  ~2  1 y ~ 2


i a
n i1
n
 
(5.17)
Шаг 4. Проверяем несмещенность и эффективность
оценок (5.16) и (5.17)
1. Несмещенность оценки (5.16)
1
1 n  1
M  yi    Myi   na  a
n
 n i1  n
2. Несмещенность оценки (5.17)


2
n 1 2
1 n
~
M  yi  a  

n
 n i1

Вывод. Оценка (5.16) параметра а является
несмещенной
Оценка (5.17) параметра σ2 асимптотически несмещенная
2. Проверка эффективносити оценок (5.16) и (5.17)
Вычисляем элементы информационной матрицы Фишера
   1 n

yi  a  
 2 ln( L ) 
 
 2
1. M 
  M 2
  M
2
 
a 
2s 
s
 a



2.
3.
2


2
 2

2
s




(

a
)
y



a

y


ln(
L
)


n
n


 i
i
 
 M

M  


M





2 
2
2
4


 s 2s

2s
2s
2s
  ( 2 ) 










2
M(  ( y  a)
n
n
ns
n
i
 2




3
2s
2 s2 s3 2 4
s
2
   ( y  a) 


ln(
L
)

i
  M
M 
2





a

s
s




 (M ( y ))  na  0
s
i
2
В результате информационная матрица Фишера и ее
обратная матрица принимают вид:
 n

 2 0 

I  
n 
 0

2  4 

 2

0 

1
I   n 2  4 
 0

n 

Вычислим дисперсии оценок (5.16) и (5.17)

2
2
  yi  1
2


  n ( y i ) 
 n  n2
n


 ( a)2 
 2(n  1) 4
2   yi

 

2
n
n



Дисперсия оценки математического ожидания
Дисперсия оценки
параметра σ2
Выводы
Сравнение полученных результатов с элементами
обратной матрицы Фишера, показывает
1. Дисперсия оценки параметра «а» совпадает с
минимально возможной дисперсией
Это означает, для нормально распределенной
случайной переменной ММП дает несмещенную и
эффективную оценку параметра «а»
2. Дисперсия оценки параметра «σ2» является только
асимптотически несмещенной и эффективной