Лекция 8 Проверка статистических гипотез Качество спецификации модели

Лекция 8
Проверка статистических гипотез
Качество спецификации модели
Под качеством спецификации модели понимается:
- качество выбора функции уравнения регрессии;
- качество выбора набора регрессоров (факторов)
Пусть имеем модель в виде уравнения парной
регрессии:
Yt = a0 + a1xt + ut
(11.1)
Задача: оценить степень влияния экзогенной
переменной Х (фактора) на величину эндогенной
переменной Y
Другими словами: насколько правильно
предположение, что поведение эндогенной
переменной зависит от значения фактора Х
Определение. Под статистической гипотезой
понимается любое предположение о виде закона
распределения случайной величины или значениях
его параметров
Примеры статистических гипотез:
Н0:(U имеет нормальный закон распределения)
H0:(параметр а0=0)
Н1:(параметр а0=1)
Гипотезы H0 и H1 называются основной и
альтернативной
Алгоритм проверки статистических гипотез.
Формулируется статистическая гипотеза H0
Искусственно формируется случайная величина
«Z», закон распределения которой известен
[Pz(t,a1, a2)], котoрая тесно связана с гипотезой
Область допустимых значений Z делится на две
части: Ω0 в которой гипотеза принимается и, Ω в
которой она отклоняется
Граница этих областей определяется из условия,
что Z попадает в область Ω0 с заданной
вероятностью «р»
По данным выборки вычисляется значение
случайной величины Z и проверяется ее
принадлежность область Ω0
Примеры. В схеме Гаусса-Маркова проверить
гипотезы о том, что ai=c и y= y0:
Известно, что в схеме Гаусса – Маркова дроби:
~
ai  c
t
;
ai 
t
~
y  y0
y 
называются дробью Стьюдента и подчиняются закону
распределения Стьюдента
Критическое значение дроби Стьюдента находится из
уравнения:
tкр
P( t  tкр)   Pt(q)dq  Pдов
 tкр
tкр
P( t  tкр)   Pt(q)dq  Pдов
 tкр
Здесь: Pt(q) функция плотности вероятности
распределения Стьюдента, tкр – двусторонняя квантиль
распределения, Рдов- значение доверительной
вероятности, как правило Рдов=0.95/0.99
Как найти значение tкр
В EXCEL используется функция СТЬЮДРАСПОБР с
аргументами: «α=(1-Рдов) – мощность критерия и «m» количество степеней свободы
Гипотеза Н0{ai=c} не отклоняется, если выполняется
условие:
~
ai  c
(11,2)
t
 tкр 1  Pдов ,m  tкр ,m
ai 
Условие (11,2) называется точечной проверкой гипотезы
Из условия (11,2) получают границы доверительного
интервала для значений дроби Стьюдента:
a  t a ; a  t a 
i
кр
i
i
кр
i
Если константа C лежит внутри этого интервала, то
гипотеза о равенстве оценки ai константе С не
отвергается
В схеме Гаусса-Маркова переменная:
n
f
u
2
i
i 1
m
u
j 1
2
j
n
m
подчиняется закону распределения Фишера и
критическое значение этой дроби вычисляется из
условия:
f кр
Pf  f кр   pf qdq  Pдов
0
Закон распределения вероятностей Фишера имеет два
параметра: n и m, которые называются степенями
свободы
n
f 
u
2
i 1
m
u
j 1
i
2
j
n
m
В EXCEL используется процедура функция FРАСПОБР:
FРАСПОБР(α; n; m)
где α – мощность критерия
Возможные ошибки при проверке
статистических гипотез
Ошибка первого рода
Когда справедливая гипотеза отклоняется
Ошибка второго рода
Когда ложная гипотеза принимается
В качестве меры влияния принимаются
дисперсии переменных Y, X и u
Знаем, что уравнение регрессии описывает
поведение среднего значения эндогенной
переменной:
Y* = a0 + a1xt
(11.3)
Тогда уравнение (11.1) можно записать как:
Yt = Y*t +ut
(11.4)
Вычислим дисперсию Y в уравнении (11.4)
 Y    Y
2
2
t
 ut    Y    ut   2COV( Y*t ,ut )
2
*
t
*
t
2
Вычислим COV(Yt*,ut):
COV( Y*t ,ut )  COVa0  a1 xt ,ut   COVa0 ,ut   COVa1 xt ,ut   0
Таким образом,
 Y    Y
2
2
t
*
t
 ut    Y*t    ut 
2
2
(11.5)
Введем обозначения:


RSS   Y  Y 
TSS   Y t  Y
*
t
2
* 2
ESS   ut  u    u2t
2
Здесь: TSS – общая сумма квадратов эндогенной
переменной (Total sum of squares )
RSS – регрессионная сумма квадратов
(Regression sum of squares
ESS – сумма квадратов остатков (ошибок) (Error
sum of squares
С учетом принятых обозначений выражение (11.4)
можно записать в виде:
TSS = RSS + ESS
(11.5)
В качестве показателя степени влияния выбранного
регрессора на поведение эндогенной переменной
принимается отношение:
RSS
ESS
 1
R 
TSS
TSS
2
(11.6)
R2 – называется коэффициентом детерминации
Замечание. Коэффициент детерминации R2 имеет
смысл (определен) только для моделей, в
спецификации которой присутствует коэффициент a0
Если коэффициент a0 отсутствует, то нарушается
равенство (11.5)
Поясним это графически.
TSS=RSS=2.625
9
ESS=0
8
7
6
5
TSS=2.625
Y=2+0.5x
4
3
RSS=237.7
Y=0.786x
2
ESS=8.57
1
0
0
2
4
6
8
10
12
TSS≠RSS+ESS
Если R2 =1, т.е. RSS=TSS, a ESS=0, то такая модель
называется «абсолютно хорошей»
Это означает, что выбранный регрессор полностью
объясняет поведение эндогенной переменной.
Если R2 =0, т.е. RSS=0, а ESS=TSS, то такую модель
называют «абсолютно плохой»
В этом случае весь диапазон изменения эндогенной
переменной объясняется влиянием случайного
возмущения, а выбранный регрессор не оказывает
влияния, не объясняет поведение эндогенной
переменной
Отметим следующее:
R2 – величина случайная, т.к. его конкретное
значение вычисляется по результатам случайной
выборки
Это означает, что полученное значение коэффициента
детерминации отличное от нуля еще не является
достаточным основанием считать модель качественной
Необходимо проверить статистическую гипотезу о не
равенстве нулю R2: (H0: R2>0)
Внимание! Формулируется гипотеза о не равенстве
нулю R2, т.е гипотеза о том, что модель не плохая
Для проверки гипотезы H0: R2=0 :
1. Формируем случайную величину с известным законом
распределения
R
FTest 
2
(k  1)
1  R2 
n  k 
(11.7)
где: к - количество параметров в модели
n – количество наблюдений в выборке
Случайная величина FTest подчиняется закону
распределения вероятностей Фишера
Критическое значение зависит от уровня доверительной
вероятности и двух параметров: k-1 и (n-k)
Для проверки гипотезы H0: R2>0 :
2. Вычисляется по данным выборки значение FTest.
3. Находится по таблице значение Fкр(Pдов, k-1, n-k).
4. Сравниваются значения Fкр и FTest.
Если
FTest > Fкр
(11.8)
то гипотеза H0: R2>0 не отвергается
Значит модель имеет не плохое качество
спецификации
Т.е. выбранный регрессор объясняет поведение
эндогенной переменной.
Замечание. Значения R2 и FTest вычисляются функцией
«ЛИНЕЙН» в EXCEL
Пример. Зависимость сбережений граждан (Y) от размера
располагаемого дохода в Великобритании
Yt
Xt
ỹt
8,8
0,36
12,5
9,4
0,21
11,4
10,0
0,08
10,4
10,6
0,20
11,3
11,0
0,10
10,5
Результат «ЛИНЕЙН»
R2
FTest
11,9
0,12
10,7
12,7
0,41
12,9
13,5
0,50
13,6
14,3
0,43
13,1
15,5
0,59
14,3
16,7
0,90
16,6
30,0
18,6
0,82
16,0
25,0
19,7
1,04
17,7
21,1
1,53
21,4
22,8
1,94
24,6
23,9
1,75
23,1
25,2
1,99
24,9
26,0
2,03
25,3
26,8
2,40
28,1
7,617566
9,787071
Fкр=F(0.95,1,17)=4.4
0,465248
0,552221
FTest > Fкр
0,940367
1,531286
268,0791
17
Вывод: Спецификация
модели качественная
628,602
39,86224
Диаграмма рассеяния и график модели
20,0
15,0
10,0
5,0
0,0
0,00
0,50
1,00
1,50
2,00
2,50
3,00
Замечание. Значения коэффициента детерминации
растет с увеличение числа регрессоров.
В случае модели в виде уравнения множественной
регрессии применяется модифицированный
коэффициент детерминации Ř2:
n 1
2
1  R2 

1

R
nk
(11.9)
Здесь: R2 - коэффициент детерминации в форме (11.6)
n – объем выборки
k – количество регрессоров в модели
Замечание. При анализе модели в виде уравнения
множественной регрессии принятие гипотезы H0: R2=0
означает, что все регрессоры не объясняют (не влияют)
поведение эндогенной переменной
Отклонение гипотезы H0: R2=0, означает, что не все
регрессоры объясняют (влияют) поведение эндогенной
переменной
Другими словами, в составе выбранных на этапе
спецификации модели регрессоров есть как влияющие,
так и не влияющие регрессоры
Вопрос. Как определить влияющие и не влияющие
регрессоры?
Ответ. Необходимо проверить гипотезу H0: ai=0
Проверка статистической гипотезы H0: ai=0
Известно, что в схеме Гаусса-Маркова дробь (11.10)
подчиняется закону распределения Стьюдента
~
ai  c
t
ai
(11.10)
где: ãi – оценка i-го параметра модели
с – заданная константа
σai-оценка стандартной ошибки оценки параметра
В данном случае с=0, т.е. сравнивается вычисленное
значение оценки с нулем
Если гипотеза не отвергается для i-го регрессора, то
этот регрессор не оказывает влияние на эндогенную
переменную и его можно исключить из уравнения
модели
Расходы на жилье (Y) от располагаемого дохода (Х) и цен на жилье (Р)
№ п/п
Yt
Xt
Pt
№ п/п
Yt
Xt
Pt
1
171,3
1095,4
99,7
14
106,4
779,2
100,0
2
167,5
1058,3
96,7
15
102,0
751,6
99,6
3
164,8
1049,3
94,2
16
98,4
722,5
100,0
4
159,8
1021,6
93,0
17
93,5
701,3
100,9
5
154,8
1015,5
93,8
18
85,3
646,8
102,6
6
148,5
988,8
94,7
19
81,6
616,3
7
141,3
942,9
94,5
20
77,4
8
134,9
906,8
93,7
21
9
89,1
873,5
102,2
10
128,3
875,8
11
118,2
12
124,2
13
112,5
Модель 1:
Y=a0+a1x+a2p+u
-1,274
0,1509
119,59
0,787
0,0172
90,161
0,9459
8,6976
N/А
104,0
192,42
22
N/A
580,8
104,5
29112
1664,3
N/A
74,0
542,3
104,8
ti= 1.62
22
70,7
524,9
105,0
93,3
23
67,0
503,8
105,1
865,3
99,1
24
64,0
489,7
104,5
858,4
95,1
25
60,9
479,7
104,5
810,3
100,0
Выводы:
регрессор x2 не значим, его можно убрать
модель 2 качественно объясняет поведение Y
8.74
1.33
Tкр=2.07
Модель 2:
Y=bx+v
0,144
0
0,0027
#Н/Д
0,9917859 10,843837
2897,7946
24
340748,19 2822,1312
Выводы:
1. Одним из показателей качества спецификации
является коэффициент детерминации R2
2. Качество спецификации проверяется путем с
помощью статистической гипотезы Н0: R2 >0
Если гипотеза Н0 принимается – модель не плохая!
3. Критерий принятия решения – Ftest
4. В моделях в виде множественной регрессии
осуществляется проверка статистической гипотезы H0: ai=0
Если гипотеза Н0 принимается, то регрессор хi
следует исключить из модели как статистически
незначимый!
5. При принятии гипотезы о некачественной
спецификации необходимо вернуться к первому этапу
построения модели