shpory_na_raspechatku

1.
Сходимость последовательности
случайных величин
Пусть на некотором вероятностном пространстве
(Ω, F Ω, P) заданы случайные величины ξ1, ξ2, …..,ξn1,….,
ξn. Величины ξ1, ξ2, …..,ξn1,…., ξn будем называть
случайной
последовательностью
или
последовательностью СВ.
ξn – случайная
последовательность, где n=1,2,3,…..
Будем изучать сходимость последовательности ξn
к случайной величине ξ при n→∞. Если
последовательность ξn сходится к СВ ξ, то СВ ξ есть
предел случайной последовательности ξn.
Применить это определение к случайной
последовательности нельзя без дополнительных
предположений. Предварительно вспомним понятие
сходимости неслуч. последов. S1, S2,…,Sn к S.
Последов-ть случ.числа Sn сходится к пределу S, если
 сущ-ет N=N(): |SN-S|<.
Однако, это определение непригодно для
случайной последовательности, поскольку для
случайной последовательности величина |ξn - ξ|
является случайной и требовать для нее выполнения
условия |ξn - ξ|< ε бессмысленно без дополнительных
условий.
Поэтому для случайной последовательности
применяются свои понятия сходимости:
1. сходимость к среднему квадратичному
2. сходимость по вероятности
3. сходимость с вероятностью 1 или “почти
наверное ” или ”почти все”
4. сходимость по распределению
1. сходимость к среднему квадратичному
Случайная последовательность ξn сходится к СВ ξ
в среднем квадратичном, если выполняется условие:
Е(ξn - ξ)2→0, при n→∞, где Е – мат. ожидание.
Известно, что D(ξn - ξ)= Е(ξn - ξ)2-E2(ξn - ξ), то Е(ξn ξ)2= D(ξn - ξ)+ E2(ξn - ξ), D – дисперсия.
Из равенства видно, что сходимость случайной
последовательности в среднем квадратичном
обозначает сходимость к математическому ожиданию
разности и дисперсии разности, т.е. сходимость
средних значений (сходимость моментов).
2. сходимость по вероятности
Случайная последовательность ξn сходится к
случайной величине ξ по вероятности, если ∀ ε>0
выполняется условие Р(|ξn - ξ|> ε)→0, при n→∞; или
эквивалентное условие Р(|ξn - ξ|  ε)→1 при n→∞.
Этот тип сходимости означает, что при n→∞
уменьшается не только величина |ξn - ξ|, но и
вероятность того, что эта величина будет малой.
В терминах ε и δ это выглядет так: ∀ ε>0
существует такой номер N и такое число 0<δ<1, что
Р(|ξn - ξ|> ε) < δ. Последнее условие читается так:
вероятность того, что отклонение последовательности
от предела > ε не превышает δ. Обозначается
сходимость по вероятности так ξn P ξ.
n
3. Сходимости “почти наверняка” (по вероятности
1)
2.
Законы больших чисел в форме Бернулли и в
форме Чебышева.
ЗБЧ ТВ устанавливают сходимость некоторой случ.
послед-ти ξn при n→∞, n и есть то большое число.
Теорема Бернулли: Если p вероятность наступления
события А в одном испытании Бернулли и m-число появлений
события А в n независимых испытаниях Бернулли, то
выполняется соотношения
(|
m
 p |  )  0
n
при
n
n→∞   0 , m\n – относительная частота события А.
Теорема Бернулли утверждает, что относительная
частота события А(m/n сходитсяся к вероятности появления
события А (р(А)) по вероятности , т.е. 𝑚⁄𝑛 → 𝑃, при 𝑛 → ∞.
 ,...,
1
nТеорема
Чебышева:
Если
последовательность независимых случайных величин с
( i)  a ,i, и дисперсией,
( D( i )  c) i, то
ограниченной одной и той же константой
конечным
мат.
ожид.
i
выполняется
соотношение:
1 n
(|   i  a |  ) 
 0
n 
n i 1
, 
Комментарии: величина
средним арифметическим СВ.
a
n 
0
1 n
 i
n i 1
назначается
1 n
 ( E ( i ))
n i 1
- ср. арифм. Мат. Ожиданий.
Теорема Чебышева утверждает, что сред. арифм.
независимых случайных величин сх-ся к ср. арифм-ому их
мат. ожидания по вероятности.
3.
Законы больших чисел в форме Хинчина и в
форме Колмогорова.
ЗБЧ ТВ устанавливают сходимость некоторой случ.
послед-ти ξn при n→∞, n и есть то большое число.
Теорема Хинчина.
 ,...,
1
n независимые случайные величины
Если
одинаково распределенные с конечным мат. ожиданием
( )  a ,
i
i,
то
выполняется
соотношение
1 n
(|  i  a |  ) 
 0
n 
n i 1
,   0
Т.е. средн. арифм.случ.вел-н сходится к средн.арифм. их
мат.ожид-ий по вероятности. Отличается она от Чебышева:
здесь не требуется, чтобы случ. вВеличины имели конечную
дисперсию, но надо чтобы они были одинаково
распределенными.
Теорема Колмогорова (Усиленный закон больших чисел):
1 ,..., n
Если
независимые
и
одинаково
распределенные случ. Величины с мат. ожид. ( )  a i,
1
(
  a )  1
n
то выполняется соотношение:
при
n→∞.
Среднее арифм. случ.величин сходится к средн.арифм.
их мат. Ожиданий почти наверное.
i

n
Последовательность ξn сходится к ξ с
вероятностью 1 “почти наверняка” если выполняется
условие Р(ξn→ ξ)=1, при n→∞.
Этот тип сходимости означает сходимость каждой
реализации последовательности ξn к СВ

(в каждом
случае ξ может не совпадать). Для сравнения этого
типа с сходимостью по вер-ти необходимо и
достаточно условия сходимости:
(|  n   |  хотя бы для одного
n  N)  0 при n→∞.
(|    |  для всех n  N) 1 при
n→∞.
Обозначается сх-ть как  n 
 .
n 
n
n
n
4. Сходимость по распределению.
Случ. Последовательность ξn сходится к ξ по
распределению, если Fn ( x )  F  ( x ) x , при
n→∞, где функции непрерывны, где F (x) - функция
n

распределения ξn.
Этот тип распределения обозначается:
ξn
D ξ . Речь идет о сближении з-нов
n
распределения.
n
i
4.
Генеральная совокупность. Простой
случайный выбор, выборка, вариационный ряд.
 - СВ, имеющая: fξ(xi) – плотность вероятности fξ(x);
Fξ(xi) – ф-ция распределения Fξ(x).
Вектор: =(1,…,n).
Эксперимент над случ. величиной ξ с функцией
распределения fξ(x) состоит в том, что мы осуществляем
комплекс условий в результате которого случайная
величина принимает свое значение и фикс-ем это
значение x. Выполнив это n раз, получим n чисел: x1…xn.
Значение хi, i=1бт называется выборочным или
наблюдаемым значением ξ. Все множество возможных
значений  наз-ся генеральной совокупностью, а множ-во
чисел x1…xn – выборкой из ген-ой сов-сти Fξ(x).
Если эксперимент организован т. о. что вер-ть быть
выбранным для каждого значения xi, одна и та же и
эксперименты друг от друга независимы, то такой выбор
называется простым случайным. Для прост. Случ. выбки x1…xn независимы и р(xi)=1/n.
Мат.статистика занимается разработкой методов
получения научно-обоснованных выводов о СВ по
результатам экспериментов, т.е. по выборке x1… x n. Для
этого выполняется обработка выборки. Простейшая
состоит в ее сортировке (х1<x2<…<xn). Ряд x1… x n
называется вариационным рядом
или простым
статистическим рядом.
хi – i-я порядковая статистика; х1 – минимальное
выборочное зн-ние (1-я порядковая статистика).
Подходы к выборке (взгляды на выборку).
Статистика.
Существуют два взгляда на выборку x1…xn и
распределение Fξ(xi) (fξ(xi)) (пред-тся простой случ.выбор).
1-й взгляд
Выборочные значения рассматриваются как
возможные значения некоторой СВ ξ*, имеющие
одинаковые вероятности р(хi)=1/n. Ряд распределения
такой СВ имеет вид:
Xi
X1
…
Xn
pi
P1
…
Pn
Ф-ция распр-ния ξ* наз-ся эмпирической или
выборочной ф.распр-ния СВ ξ и обозн-ся F*ξ(x), т.о. F*ξ(x)
= Fξ*(x)= Р(ξ*<x). Т.о. ф.распр-ния F*ξ(x)=m/n, где m – число
выборочных зн-ний, меньших х.
Используя порядковые статистики, эмпирич-кую фцию можно записать след.обр.: F*ξ(x) = 0 при х<x(1), F*ξ(x)
= (i-1)/n при x(i-1)<=x<x(i), F*ξ(x) = 1 при x>=x(n).
2-й взгляд
из следующих рассуждений: в результате n
экспериментов мы получаем n чисел x1,…,xn или точку в
n-мерном пространстве. Ничто не мешает выполнить
еще n экспериментов => новая точка в n-мерном
пространстве, отличная от первой. Такие эксперименты
можно повторять много раз и получить много точек в nмерном пространстве. Каждую точку рассмотрим как
реализацию случайного вектора (x1,…,xn). Т.о. выборку
можно рассматривать как случайный вектор, т.к. выбор
простой случайный, то можем опр. закон распределения
этого случайного вектора по теореме умножения, для
независимых случайных велечин:
i 1
9.
Порядковые статистики.
Поря́дковые стати́стики в математической статистике - это
упорядоченная по возрастанию выборка. Это статистика,
занимающая строго определенное место в ранжированной
совокупности.
Определение: Пусть X1 , … , Xn конечная выборка из распределения ℙ ^𝑥, определённая на
некотором вероятностном пространстве (Ω, ℱ, ℙ). Пусть ω ∈
Ω и xi = Xi (ω), i = 1, … , n.
Перенумеруем последовательность {xi } в порядке
неубывания, так что x(1) ≤ x(2) ≤ ⋯ ≤ x(n−1) ≤ x(n) .
Случайная величина 𝑋(𝑘) (𝜔) = 𝑥(𝑘) называется k-ой
порядковой статистикой исходной выборки.
n
f ( x1 ,..., x n )   f  ( xi )
или
i 1
n
F ( x1 ,..., x n )   F ( xi ) , где
i 1
fξ(xi) – плотность вероятности fξ(x)
Fξ(xi) – ф-ция распределения Fξ(x)
Если считать выборку как случ. вектор, то любая
статистика g(x1,…,xn) будет случайной величиной как фция случайного вектора.
В силу 2-го подхода к выборке статистикой явл-ся фция случ.вектора и сама явл=ся СВ-ной. Поэтому можно
говорить о ее ф-ции распределения: Fg(x). Или о ее
числовых характеристиках.
ПРИМЕР:
1. Z=1/n*xi – среднее арифм.выбор.значений –
выборочное среднее (так наз-ся в МС).
2. Мат.ожидание любой статистики определяется:

E (g ( x )) 


 f (xi )dxi...dxn
n
g ( x1...xn ) 
i 1
5. Точечные оценки характеристик и параметров
распределений, их свойства.
6. Неравенство Рао-Крамера.
В математической статистике неравенством Краме́ра —
Ра́о (в честь Гаральда Крамера и К. Р. Рао) называется
неравенство,
которое
при
некоторых
условиях
на статистическую
модель даёт
нижнюю
границу
для дисперсии оценкинеизвестного параметра, выражая её
Параметры распределения – те величины, от которых
через информацию Фишера.
зависти ф-я распределения или плотность вер-ти.
Формулировка: Пусть дана статистическая модель
Нормальное распределения с плотностью (X, B, P), x = (x1 , … , xn ) – выборка размера n, определена
функция
правдоподобия
L(θ, x) = L(θ, x1 , … , xn )
и
вероятности
выполнены следующие условия регулярности:
1
f (x) 
 exp( (( x  a ) * ( x  a )) /( 2 *  *  ))1. L > 0 и везде дифференцируема по 𝜃.
2 * *
2. Функция (θ, x) = ∂ ln L(θ, x)⁄∂θ (функция вклада выборки)
имеет 2 параметра: a, δ2, которые являются мат.
имеет
конечную дисперсию (или,
что
то
же,
ожиданием и дисперсией. Такое распр. обазнач. N(a,
конечна
информация
Фишера).
δ2).δ2 = D() – параметр масштаба. а = Е() – параметр
3. Для любой статистики θ̂(x) с конечным вторым моментом
сдвига.
имеет
место
равенство
∂ ∫ θ̂(x) L(θ, x)dx⁄∂θ =
Экспоненциальное распределение: пл-ть вер-ти
∫ θ̂(x) ∂L(θ, x)dx⁄∂θ.
1
Пусть при этих условиях дана статистика θ̂(x), которая
f ( x )   exp(  x /  ) ,  - параметр,  = Е().

несмещённо оценивает дифференцируемую функцию τ(θ).
Обозначения распределений:
N(a, δ2), Е(), Тогда справедливо следующее неравенство: D (θ̂(x)) ≥
θ
U(a,b)-равномерное.
⁄
⁄
Одной из задач мат. статистики является 1 nI(θ), где I(θ) = M(d ln L(θ, x) ∂θ)^2;
равенство достигается тогда и только тогда, когда
получение по выборке х1…хn из распределения F(x)
d
ln
L(θ,
x)⁄∂θ = a(θ)(θ̂(x) − θ).
оценок характеристик или параметров распределения.
Здесь
I(θ) — количество информации по Фишеру в
Оценки обозначаются такими же буквами что и
одном наблюдении, а L(θ, t) - плотность распределения
параметры но с крышечкой.
генеральной
совокупности X в
случае
непрерывной
ПРИМЕР: â - оценка параметра а нормального статистической модели и вероятность события (X = t) в случае
распределения . N(a, δ2).
дискретной статистической модели.
Оценки должны обладать свойствами близости
Применение:
оценка
параметра
(быть ближе) к оцениваемым параметрам. Качество называется эффективной, если для неё неравенство Крамера
оценок хар-ся такими свойствами как несмещенность, — Рао обращается в равенство. Таким образом, неравенство
состоятельность, эффективность. Хорошая оценка может быть использовано для доказательства того, что
должна обладать ими или частью их.
дисперсия данной оценки наименьшая из возможных, то есть
1. Оценка Q̂ является несмещенной, если ее мат. что данная оценка в некотором смысле лучше всех
ожидание совпадает с параметром, т.е. E (Q̂)  Q . остальных.
Несмещенная оценка - это оценка точная в среднем,
19.Распределение Фишера
т.е. не имеющая систематической ошибки.
Величина
называется
b(Q)  E(Q̂)  Q
 
f  : ,  , - независимые случайные величины.
смещением оценки Q̂ , смещение зависит от
Характеристики распределения – ф-я распределения,
плотность вер-ти, моменты и др.
7,8. Выборочные числовые характеристики
одномерного и многомерного распределений.
Пусть имеем выборку x1…xn из распределенпия fξ(x),
имеющего мат. ожидании а, дисперсию δ2, начальные
моменты v1,v2…. и центральные моменты μ1, μ2,… Эти
параметры считаются независимыми. Требуется
получить оценки числовых характеристик этого
распределения. Выборочные числовые характеристики
явл-ся оценками соответствующих перечисленных
теоретических характеристик.


параметра. Если мы имеем оценку, то предполагаем,
что параметр неизвестен, в этом случае смещение
явл-ся функцией параметра. Оценка несмещенная,
если смещение = 0.
Оценка является асимптотически несмещенной
если b(Q)→0 при n→. Если оценка имеет линейное
смещение, т.е. b(Q)=ą + β*Q, то такое смещение можно
устранить. Новая оценка: Q̂ =( Q̂ -ą)/(β+1) будет
несмещенной. Оценка Q̂ называется исправленной.
2. Оценка Q̂ параметра Q называется
m n
  H1 (m) ,   H1 (n) имеют распределение Фишера с m,
n степенями свободы и обозн-ся F1 (m, n) . Плотность
вероятности распределения Фишера имеет вид:
0, x  0

m 1

 Г ( nm )
m n
x2
f f ( x)  
2
2
2
m n
,x 0
nm
 Г (n)Г (m)
2

2
2
(
n

mx
)

состоятельной, если она сходится к параметру Q по
вер-ти, т.е. если Q̂ →Q при n→ по вероятности, или
в развернутом виде: P(| Q̂ -Q|>)→0 при n→.
Состоятельная оценка – оценка, точность которой
улучшается при увеличении объема выборки.
Теорема: несмещенная оценка Q̂ параметра Q
является
состоятельной,
2
n
любыми др. оценками.
Величина l=(Е( Q̂ эф-Q)^2)/(Е( Q̂ -Q)^2) называется
эффективностью оценки Q̂ . В числителе – вариации
эффективности. Ясно, что 0≤l≤1. Q̂ эф – эффективная
неизвестная нам оценка.
Если l→1, при n→, то оценка называется
асимптотически эффективной.
Если
несмещенность
и
состоятельность
встречаются часто, то эффективность – значительно
реже.
рассматриваем эмпирическую
F* ( x) . Эмпирическая
функция
распределения
является
оценкой
теоретической.
Числовые характеристики эмпирической ф-ции
распределения явл-ся оценками соответствующих хар-к
генеральной ф-ции распределения. Полученные таким
образом оценки называються выборочными и
обозначаються теми же буквами, что и генеральные, но с
чертой
сверху.
Выборочные
нач.
моменты
определяються выражением:  - нач.момент k-го
k
 k  E(( ) )
* k
порядка;
это нессиметричные кривые, распол.на положитительной
полуоси абсцисс и достигающие max вблизи точки x=1. Для
практики разработаны таблицы процентных отклонений этого
распределения.
p( f  f )   . Распределение

Фишера имеет след. св-во: Если
F1 (m, n) .
f  F1 (m, n) ,то f 1 
,
n
k n = 1  xik .
n
i 1
n
1
Обозначим  1 =
 xi  x -выборочное среднее.
n i 1
Выборочные
центральные
моменты:
 k  En ((  E( )) ) ,k=1,2,…;
*
*
k
n
 k   (( xi  E ( * )) k Pi 
i 1
1 n
 ( xi  x )
n i 1
k
.
наиболее важными явл-ся выб.центр.мом.2-го порядка:
2
2
2
1 n
 ( xi  x)  S - выборочная дисперсия.
n i 1
Рассмотрим метод, когда выборочный метод извлекается
из 2-мерного распределения fξ(x,у). В этом случае
выборка представляет сабой n пар чисел: ( x1 , y1 ),…,(
xi -наблюдение
xn , y n ), где
наблюдения второй СВ
первой СВ
1 , y1 -
 2 . Теперь можем определять
выборочное среднее каждой компоненты:
x
1 n
 xi ;
n i 1
1 n
Выборочная
дисперсия:
 yi .
n i 1
n
2
1 n
2
S x   ( xi  x ) 2 , S y  1  ( y i  y ) 2 .
n i 1
n i 1
y
S x, y 
D(Q̂)  E((Q̂  E(Q̂)) )  0 при n→.
n→)=1.
3. Оценка Q̂ называется эффективной, если она
имеет min вариацию V( Q̂ )=E(( Q̂ -Q)2) по сравнению с
Выборочный метод получения оценки состоит в том,
вместо теоретической (генеральной) F (x)
Выборочный
если
Оценка Q̂ называется строго состоятельной, если
она сходится к Q, почти наверное P( Q̂ -Q, при
что
коэффициент
ковариации:
n
1
 ( xi  x)( yi  y) .
n i 1
коэффициент
корреляции:
Выборочный
Z xy 
S x, y
S x Sy
.
Привиденные выборочные числовые характеристики
являються оценками соответствующих теоретических
хар-к. Св-ва выборочнх числовых хар-к
10.Эмпирическая ф-ция распределения
Эмпирическая (выборочная) ф-ция распределения
является оценкой теоретической ф-ции распределения по
выборке x1,…, θn.
Эмпирической
ф-цией
распределения
F*(x)
называется ф-ция распределения дискретной случайной
величины с возможными значениями равными
выборочным значениям x1,…, θn и их вероятностями 1/n.
Такую величину обозначим как ξ*.
По определению F*(x)=F(x)
Эмпирическая ф-ция распределения определяется
след. выражением: F*(x)=m/n, где m – число выборочных
значений меньше x, n – объем выборки.
11.Гистограмма
f * ( x) –
Гистограмма
это
(генеральной) пл-ти вер-ти
12.Методы получения точечных оценок параметров
распределения
оценка
f  (x) .
теоритич.
Гистограмма
строится так:
1) весь диапазон x(1)- x(n) делится на L интервалов
(L=10-12) с длинной ∆i каждая i=1,L. Подсчитывается
число выборочных значений mi, попавших в i-тый
интервал. ∑mi=n
На каждом интервале, как на основании, строится
прямоугольник
с
высотой
𝑚𝑖 ⁄𝑛ℎ𝑖 ,
hi  z iH  zi -
длина i-го интнрвала, n- объем
выборки.
mi
1 n
n
i   mi   1

n

i
n
n
i 1
i 1
z1 ,...z l
обл.возможных зн-ний,
f   (  ,1 ,..., m ) =
f  ( x, )
mi  кол-во выборочн. зн-
ний, попавших в i-ый интервал, n- объем выборки. Если
максимальная длина интервала ->0 при n ->
f * ( x) явл-ся
Векторного параметра:
  (1 ,..., m )
Требуется найти оценку
ˆ  (ˆ1 ,...,ˆm ) этого
векторного параметра. Т.е. будет векторной случайной
ˆ  ˆ ( 1,..., n ) .
Метод моментов
Метод моментов основан на исп-нии выборочного метода.
Состоит в след.:
а) находятся m теоретических (генеральных) моментов

 i   i (1 ,..., m )   x i f  ( x,1 ,..., m )dx ,
состоятельной оценкой плотности вер-ти, т.е.для
  0 и x выполняется соотношение:

i  1, n . Эти моменты явл-ся функциями неизвестных пар-
P(| f * ( x)  f  ( x) |  ) 0
n 
Если длины интервалов не уменьшаються, то
гистограмма не будет состоятельной оценкой.
ров, т.к. плотность вер-ти генеральной совокупности
f ( x, 1 ,...,  m ) известна с точностью до пар-ра;
б) находим m выборочных начальных моментов
i 
в методе считается, что известно с точностью плотность
f   x,  . Параметр  –случайный
вероятности
вектор, который принял на время извлечения выборки
какое-то значение, которое и требуется оценить.
Известна плотность вероятности вектора
Для решения этой задачи существуют методы:
1)
метод моментов
2)
максимума правдоподобия
3)
максимума апостериорной плотности вер-ти
4)
байесовский метод
в точке разбиения в
бесконечности, то гистограмма
известного сточностью до
величиной

теорема: пусть
Постановка задачи: будем рассм-ть скалярные случ.
величины.
пусть имеется выборка x1,…,xn из некоторого распределения,
14.Метод максимума апостериорной плотности
вероятности.
1 n i
 x j , i  1, m ; Приравниваем к
n j 1
теоретическим и выборочным моментам, в рез-те получаем
систему уравнений: i (1 ,..., m )  i , i  1, m
Требуется по выборке
x1 ,...., xn
Случайная
независимые
V  Hn,
u
V
величина
t
случ.
величины
n,
u,V
-
u  N (0,1) ,
и
имеет распределение, которое наз-ся
распределением Стьюдента с n степенями свободы и
обозначается T1 (n)  t  T1 (n) .
Функция пл-ти вер-ти этого распределения имеет вид:
n1

à ( n21 )
f t ( x) 
(1  x 2 / n) 2 ,
n Ã ( n2 )
{H 0 : F ( x)  F0 ( x), H 1 : F ( x)  F0 ( x)}
.
Кривые
плотности
вер-ти
изображены
на
xR
Используется статистика:    n ,
где
рис:
  max F0 ( x )  F* ( x )
- максимальное по модулю
x
отклонение гипотетической функции распределения F0 от
эмпирической функции распределения F*(x).
ˆ
  max
ˆ
Можно максимизировать логарифмич. апостериорную
плотность вероятности:
ln nf  x 
 max

Апостериорная плотность вероятности определяется по
формуле Байеса:
f  x  
f   f x  
 числительd
,
x  x1 ,....., x n 
   1 ,..., m 
Т.к. знаменатель в формуле Байеса не зависит от
параметра  , то он не влияет на результат
максимизации апостериорной плотности вероятности
достаточно решать задачу
f   f x 
 max
ln f   f x 
или

 max


15.Байесовский метод
Как и в методе максимума апостариорной плотноси
вероятности считается известна с точностью плотность
вероятности
f   x, 
 . Параметр 𝜃 –случайный
вектор, который принял на время извлечения выборки
какое-то значение, которое и требуется оценить.
Известна плотность вероятности вектора 𝜃 это 𝑓(𝜃̅ ) .
32. Критерий согласия λ (Колмогорова)
Пусть Fξ(x) – функция распределения генер.
совокупности. F0(x) – гипотетическая функция распределения,
она
должна
быть
непрерывной.
Проверяется
найти оценку
f  x
системы даст нам оценки ˆ1 ,..., ˆm по методу моментов.
Св-ва получ. оценок иссл-ют отдельно. Метод рекомендуется
для получения не более 2-3-х оценок.
Достоинства: простота.
Недостатки: не доказано, что полученные оценки обладают
хорошими св-вами. Вопрос св-в полученных оценок решается
отдельно.
это f  
Эта задача относится к классу байесовских задач. Она
характеризуется тем, что считается известными
распределения неизвестных величин.
Метод состоит в том, что оценка отыскивается из условия
максимальной апостериорной плотности вероятности:
относительно параметров 1 ,...,  m . Решение этой
18.Распределение Стьюдента.

Требуется по выборке
x1 ,...., xn
найти оценку
ˆ ,
минимизирующую средний риск
 min
r  E  w ,ˆ  
 
 
Средним риском наз-ся мат. ожидание функций потерь.
Байесовский метод состоит в том, что оценки опред-ся из
условия минимума среднего риска,т.е. как решение
 min
r  E  w ,ˆ  
 
 
На практике применяется квадратичная функция потерь.
Байесовская задача: минимизация условного риска R,
где f  x -апостериорная плотность вероятности
 
параметра 𝜃̅, определяется по формуле байеса, т.е.
алгоритм: 1) записать функцию правдоподобия L 
 .
2)найти
При n>30
ft (x) близка к пл-ти вер-ти N (0,1) ; при
малых n заметно от его отличается; при n=1 это
неизвестное распределение Коши, которое известно
тем, что не имеет моментов; при n>2 моменты
существуют и равны E (t )  0, D(t )  n / n  2 .
Для практических приложений  таблицы процентных
отклонений этого распределения. Эти таблицы
позволяют решить уравнение P(t  t )   .

Если Ho верно, то  имеет распределение,
приближающееся при n→ к некоторому ассиметричному
распределению – Колмогорова. Критерий – правосторонний
вида:
P(   )  
ą определяется по таблицам распределения Колмогорова:
ą=0,01 : =1,627 и т.д.
R x .
3)найти условный риск R . 4) найти
ˆ
из условия Rmin.
Решение задачи упрощается при квадратичной функции
потерь, при оценивании скалярного параметра:
Найти:
ˆ параметра  , при wˆ,   ˆ   2
Задача сводиться к минимизации условного риска.
 
min
R   w ˆ, f  x d  ˆ

17.Распределение χ2
В мат. статистике широкое применение находят
распределения 𝜒 2 , Фишера и Стьюдента.
𝜒2
распределение
вида
2,
n
 2  U i
где
i 1
U1 ,...,U n
независимая нормально распределенная
с 0-вым средним и единичной случайной величиной,
распред. по одному и тому же закону N(0,1) наз-ся
распределением 𝜒 2 с n степенями свободы, а
распределение этой величины наз-ся распределением
𝜒 2 с n степенями свободы 𝐻𝑛 .
Приведем
плотность

1

( x / 2) e , x  0
f  2   2 Г ( n / 2)
i

0, x  0
n
x
1 
2
2

вер-ти:
где
,
21. Интервальные оценки параметров распределения,
методика построения доверительного интервала
x1 ,..., xn выборка из распределения N (a, 2 ) .
1 n
Известны следующие статистики:
x   xi - оценка
n i 1
n
1
мат. ожидания; 2
S   ( xi  x ) 2 - выборочная
n i 1
Интервальной оценкой некоторого параметра наз-ся
интервал  ,  накрывающий параметр  с
Пусть
1 n
2 - несмещенная
 ( xi  x )
n  1 i 1
1 n
оценка; 2
2 - выборочная
S0 
 ( xi  a)
n  1 i 1
дисперсия;
1.
0
Графики плотности вероятности этого распределения:
2.
4.
5.
Эти несимметричные кривые, расположенные на
положит.полуоси абсцисс. Любая кривая имеет
1максимум в точке x=k-2.
Существуют таблицы этого распределения, они
позволяют решить ур-ние 𝑃(𝜒𝑛2 − 𝜒𝛼2 ) = 𝛼, 0 ≤ 𝛼 ≤
1.
Величина
наз-ся 100 процентным отклонением.
2
5%
отклонение. Очевидно следующее

𝜒𝑛2
0 , 05
свойство: если
x
x q2  H1 (q)
и
они
H1 ( p) и
независимы,
то
x 2  x 2p  xq2  H1 ( p  q) .
при известном математическом ожидании:
По выборке х1, … ,хn, N(a,δ2) проверить Н0: δ2=𝛿02 .
𝛿02 - гипотетическое значение дисперсии, 𝛼 –
известно. Для проверки гипотезы используется

n  S0
2
2
 H 1 (n) , если Н0 верна,
2
т.е., 𝛿 = 𝛿02.
Н1: 𝛿 2 > 𝛿02 ; 𝑝 (𝜐
Н1: 𝛿 2 < 𝛿02 ; 𝑝 (𝜐
> 𝜐𝛼 ) = 𝛼;
< 𝜐𝛼 ) = 𝛼; 𝑝 (𝜐 > 𝜐1−𝛼 ) = 1 −
𝛼
Н1: 𝛿 2 ≠ 𝛿02 ; 𝑝 (𝜐 < 𝜐𝛼/2 ) = 𝛼/2;
𝜐1−𝛼/2 ) = 1 − 𝛼/2;
верно,
то
w
nS

2
w
2
U

2
n
), E ( x )  a, d ( x ) 
n  N (0,1)
, 3.
(n  1) S
2
z
nS 02
2
2
nS 2
2
 H n1
Гипотеза
проверяется аналогично предыдущему случаю и
распределения H1(n) на H1(n-1).
н , в
наз-ся нижней и верхней
границами
доверительного
интервала
или
доверительными
пределами.
Величина
(l=Qв-Qн) длинна доверительного
l  н  в
интервала. Параметр
интервалы случайные.
величина
не
случайная,
а
x a
x a
n 1 
n  Tn 1
S
S
 H n 1
интервал 
найти:
удовлетворяющий (1);

н
, в ,
выбираем сами.
Решение: решить задачу значит решить ур-е (1) с
двумя неизвестными
существует бесконечное
множество доверительных интервалов. Для придания
задаче однозначности от ур-я (1) переходят к двум ур-ям
вида:  p (  в )  1 (2).


 p (   н )   2
Смысл
(1)
и
(2)
иллюстрируется
рисунком:
2. U – приведение x к центральному (-а) и
нормированному виду (корень(n)/δ)
3. z = Ui^2, где Ui = (xi-a)/δ  Ui принадлежит
N(0,1)
 по определению z принадлежит
H1( n ) .
4. Если для получения некот. статистики вместо
неизвестных параметров используются их оценки, то число
степеней своюоды уменьшается. Поскольку в выражении для
V вместо а исп-ся x , то число степеней свободы
уменьшается на 1.
xa
xa
n 1  n  
 n 1  t
s
  n s
{H 0 : F ( x)  F0 ( x), H 1 : F ( x)  F0 ( x)} ,
F0(x)
– известная гипотетическая функция распределения.
В качестве меры отклонения гипотетических данных от
эмпирических используется величина ω2:
2 

 ( F ( x)  F ( x))
*
0
2
Причем: 𝛼1 + 𝛼1 = 1 − 𝛾. Обычно строим
симметричный доверительный интервал, когда вер-ти
𝛼1 и 𝛼2 в системе (2) равны между собой:
1   2   
1 
2 .
27.Проверка гипотез о математическом ожидании
нормальной генеральной совокупности
33. Критерий согласия ω2 (Мизеса-Смирнова)
dF0 ( x) 


. Если Н0
доверительной вероятностью или коэффициентом
доверия, она выбирается близкой к 1 из набора величин
0.9, 0.95, 0.975.

t
2
ур-ю:
совокупности
nS
2
 , т.е. интервал удовлетворяющий
p(н    в )   (1).  наз-ся
известна
плотность
вероятности
генеральной
совокупности с точностью до параметра  , т.е
f ( x, ) известна и выборка x1,…,xn из этой
 Hn


в
Задача построения доверительного интервала для
параметра формируется следующим образом:
n
1. Нормальность распределения x следует из того, что
это лин. ф-ция норм.СВ xi. А лин.ф-ция не изменяет весь
закон распределения.
𝑝 (𝜐 >
Проверка
гипотезы
при
дисперсии
N
распределении при неизвестном математическом
ожидании.
х1, … ,хn, N(a,δ2) Н0: 𝛿 2 = 𝛿02 , а – неизвестна.
Используется статистика
x a
2
5. t – ничто иное как определение распределения
Стьюдента:
28. Проверка гипотез о дисперсии нормальной
генеральной совокупности
статистика:
x  N ( a,
н
некоторой вер-тью
Величины
При этом вел-ны V и U – независимы.
x  n  2 , E (  n2 )  n , D(  n2 )  2n .
2
p имеет распределение
S2 
дисперсия при известном мат. ожидании а, то имеет место
след. распределение статистик:
- гамма ф-ция.
Г ( x)   y x 1e  y y
20. Распределение выборочного среднего и выборочной
дисперсии нормальной генеральной совокупности.
1
1 n
2k  1 2
  ( F0 ( x ( k ) ) 
)
2
n k 1
2n
12n
(1) - это взвешенное интегральное квадратичное отклонение
гипотетической
функции
распределения
F0(x)
от
эмпирической F*(x).
Xk – k-я порядковая статистика. Для проверки гипотезы
используется статистика z=nω2:
Критерий для проверки гипотезы nω2 – правосторонний, где
P(z>zα)=α. ą=0.01 и z = 0.74 и т.д.
при известной дисперсии:
Известно: х1, … ,хn, N(a,δ2), δ2 – известна
проверить: Н0: а=а0.
Для проверки этой гипотезы ипользуется статистика:
U = ((𝑥̅ − 𝛼)⁄𝛿 ) √𝑛 ∈ 𝑁(0,1)
P(|U|>Uα/2)= 𝛼 ; H1: а  а0 – двусторонний критерий
Критерий значимости правосторонний имеет вид:
р(U>Uα)=α. H1: а>a0
Левосторонний имеет вид: : р(U<Uα)=α. H1: а<a0
Эмпирическое значение статистики рассчитывается
по формуле: U = ((𝑥̅ − 𝛼)⁄𝛿 ) √𝑛.
Проверка гипотез о мат. ожидании нормальной
генеральной совокупности при неизвестной дисперсии:
х1, … ,хn, N(a,δ2) δ2 – неизвестна, Н0: а=а0
применяется статистика:
𝑡 = ((𝑥̅ − 𝛼0 )⁄𝑆̅)√𝑛 ∈ 𝑇1 (𝑛 − 1)
H1: а>a0 ; P(t>tα
)= 𝛼 правосторонняя;
H1: а<a0 ; P(t<tα
)= α левосторонняя;
H1: а  a0 ; P(|t|>tα/2
)= α двусторонний;
𝑡𝛼 − 100𝛼% отклонение распределения.
22. Доверительный интервал для мат. ожидания
нормальной генеральной совокупности.
23. Доверительный интервал для дисперсии нормальной
генеральной совокупности
При известной дисперсии:
Для построения этого интервала используется
U
статистика
X a

n  N (0,1) .
В
При известном мат. ожидании
Пусть имеется выборка из
N(a , ^ 2) ,
а известно.
Найти интервальную оценку дисперсии.
Для построения интервала используется статистика:

1 

P(U  U â ) 

2

 P(U  U )  1  
í

2
Эта статистика не содержит др неизвестных параметров,
кроме  ^ 2 , известен ее закон распределения (имеет
распределение  2 ), поэтому она может использоваться для
nS

 Hn .
построения доверит. интервала.
Обычно Uн, Uв обозначаются индексом (1-)/2.
2

X  U 1
n
2
 a  X  U 1
интервал:

=

X  U 1
1 
* 100%
2
отклонение распределения
. , где
n
-
процентное
1 

P(   â ) 

2

1

 P(   )  
í

2
2 * U 1

1 

P(   â ) 


2

 P(   )  1  1    1  
í

2
2

Дисперсия
 ^2 (сигма
 <  1
в
она зависит от неизвестного параметра  ^ 2 и не
может исп-ся для построения доверит-го интервала.
Поэтому предложим поиск подходящей статистики.
nS
2
0
 1
) =;
 
2
X  t 1

1

Uâ и tí
)получаем :
S
, где t1
n 1

* 100% отклонение
2
 Hn
получили
интервал:
2
0
2
При неизвестном мат. ожидании.
Пусть имеется выборка из N(a , ^ 2) , а неизвестно.
Найти интервальную оценку дисперсии.
Для построения интервала используется статистика:
интервал:
1
2
Аналогично предыдущему получаем
2 
nS 02
1
2
- это
Tn 1 .
26.Критерий значимости для проверки
(U
qˆ  1  pˆ =1-m/n.
1
2
- это
1
*100% отклонения распределения
2
N(0,1), т.е.реш-ния ур-ния
p(U  U 1 ) 
гипотезой
множество
H 0 , H1 , H 2 ,...H x 1 }
 1
2
X a
n  1  Tn1 - эта статистика   nS2  H n1 .
S

не содержит  ^ 2 и известен ее закон распр-ния.
nS 02
на
методике
nS
2
t
Применяя изложенную методику (т.е. просто
nS 02
2
изложенной
2
Где
статистической
непротиворечивое

pˆ qˆ
 22 )
n
4n
n
( pˆ  2  U 1
n  U 12
2n
2
1   ).
2
25.Определение статистической гипотезы.
Классификации гипотез.
2
2
квадрате)
неизвестна,
требуется
построить
доверительный интервал для параметра а.
Получаем статистику U как и раньше, но теперь
Uâ иU í
p̂
U 12
2
 â   1 ;  í   1
Р(  1 <
.
n
2
позволяют решить только первое из этих уравнений, то 2-ое
ур-ние необходимо привести к виду первого, т.е. решать урия:
По
При неизвестной дисперсии:
заменяем
. Для этого надо
U 12
Т.к. таблицы процента отклонений распределения
2
2
N(a , ^ 2) .
Его
N (0,1) .
Длинна интервала: l =
х1…хn,
.
n
2
2
U (1-)/2

Можно использовать для построения доверительного
интервала. Применяя описанную методике можно
получить доверительный интервал:
Uв находится непосредственно из таблиц процентных
отклонений.
) = .
доверительный
можно записать в виде
с вероятностью
Возьмем U  p̂  p  n  N(0;1) - это известно.
или Р(-
2
получаем
pí  p  pâ
имеет распределение N(p, pq ), q=1-р.
n
2
2
Отсюда
частотой испытаний и является точной оценкой
вероятности р.
Наша задача состоит в построении интервальной
оценки. Будем исходить из того, что n – большое.
Построим
доверительный
интервал
вида
pq
Р(- U 1 < U < U 1 ) = 

m называется относительной
n
Маура-Лапласа можно записать, что: при большом n
1 

 P(U  U 1 )  2

2

 P(U  U )  1  
1

2
2
U 1 < X  a n < U 1
pˆ 
иметь статистику.
На основании интегральной предельной теоремы
Величина U (1-)/2
определяется с помощью
таблиц процентных отклонений распределения N(0,1).
Но поскольку для нормального распределения нет
таких таблиц, необходимо воспользоваться другой
таблицей.
и получим
Рассмотрим случай события А; р(А)=р. Выполним n
экспериментов (независимых испытаний Бернулли).
Пусть в результате событие А появилось m раз.
Известно, что
соответствии с методикой построения доверительного
интервала
решаем
2
уравнения:
2
0
2
24. Доверительный интервал для вероятности
появления случайного события
29.Проверка гипотезы о равенстве дисперсий двух
называется
утверждений{
относ-ся распределения
генеральной совокупности. Такая гипотеза называется kальтернативной.
Гипотеза вывода { H 0 , H1 } наз-ся двухальтернативной.
Каждое утверждение 𝐻𝑖 многоальтернативной гипотезы
наз-ся альтернативой гипотезы или гипотезой.
Проверить гипотезу –это значит по выборке ( X 1 ,... X n
) сделать научнообоснованное заключение о том, какая
из из альтернатив является истинной. Если какая-то из
альтернатив принята истинной, то остальные считаются
ложными. Обычно проверяется истинность нулевой
гипотезы, т.е. альтернативы 𝐻0 .
Если в результате проверки гипотезы альтернатива
принята истинной, то это не означает, что доказана
математически истинность этой альтернативы.
Проверка гипотезы выполняется с помощью критериев
проверки гипотезы. Критерий проверки – это правило, с
помощью которого можно установить истинность той или
иной альтернативы.
Альтернатива: простые и сложные.
Альтернатива 𝐻𝑖 называется простой, если она
однозначно определяет распределение генеральной
совокупности и сложной в противном случае. Гипотеза
многоальтернативная простая, если все простые, и
сложной, если хотя бы одна альтернатива сложная.
Гипотезы: параметрические и непараметрические. 𝐻𝑖
наз-ся параметрической, если она определяется
значением параметра. Если утверждение 𝐻𝑖 относится к
закону распределения в уелом, а не кего параметрам. То
эта альтернатива наз-ся непараметрической. Если все
непараметрические, то она непараметрическая.
Проверяется гипотеза 𝐻0 против альтернативы 𝐻1, т.е..
{ 𝐻0 , 𝐻1 }.
30. Проверка гипотезы о равенстве математических
двухальтернативной сложной гипотезы
Проверка { 𝐻0 , 𝐻1 }– двухальтернативная сложная
гипотеза, Н0 – простая, Н1 – сложная. Такая гепотеза
проверяется с помощью так называемого критерия
значимости. В основе критерия лежит некоторая
статистика, представляющая собой отклонение
гипотетических данных от эмпирических. Поскольку
выборочные
значения
являются
случайными
величинами, то при любой выборке мы будем иметь
какое-то значение статистики g = g(х1...хn ). Поскольку g
– отклонение теоретических данных от эмпирических,
то наша задача состоит в определении того, значимо
ли для нее полученное значение статистики или
незначимо и им можно принебречь. Пусть известна
плотность вероятности 𝑓𝑔 (𝑥) статистики g. Она должна
быть известна при условии, что 𝐻0 верна. Критерий
значимости записывается так: 𝑃(|𝑔| > 𝑔𝛼⁄2 ) = 𝛼
(1);или в виде P(g> 𝑔𝛼 )= 𝛼 (2) или P(g<𝑔𝛼 )= 𝛼 (3). 𝛼
наз-ся уровнем значимости, 𝛼 выбирается статистиком
из набора малых чисел {0.1,0.05,0.025 }. При таком
выборе 𝛼 событие в формулах (1),(2),(3) является
практически невозможным. Величины 𝑔𝛼⁄2 и 𝑔𝛼 наз-ся
пределами значимости. Области, определённые
неравенствами в формулах (1),(2),(3) наз-ся
критическими областями. Области отмечены на
рисунках:
нормальных генеральных совокупностей с неизвестным
математическим ожиданием
ожиданий двух нормальных генеральных
совокупностей
Имеются две выборки х1, … ,хm, N(a1, 𝛿12 ) и y1, … ,yn из
распределения N(a2, 𝛿22 ). Параметры распределения
неизвестны. Требуется проверить гипотезу
𝐻0 : 𝛿12 = 𝛿22 , когда а1, а2 - неизвестны. Для проверки
гипотезы используется статистика вида 𝑓 = 𝑆𝑥2 ⁄𝑆𝑦2 . Если
проверяемая гипотеза Н0 верна, то f имеет распределение
F(m-1,n-1) (Фишера)(не содержит неизвестных параметров и
ирименяется для проверки гипотез).
При
альтернативе
𝐻1 : 𝑆𝑥2 > 𝑆𝑦2
используется
Постановка задачи: Имеются 2 выборки разных
объёмов из 2х распределений: х1...хm из распределения
N(𝛼1 , 𝛿 2 ), y1...yn из норм. генер. совокупн. N(𝛼2 , 𝛿 2 ).
Требуется по этим выборкам проверить гипотезу
𝐻0 : 𝛼1 = 𝛼2 .
Решение: будем проверять с помощью значимости.
Обозначим 𝑥̅ , 𝑦̅, ̅̅̅
𝑆𝑥2 , ̅̅̅
𝑆𝑦2 -выборочные средние и
выборочные дисперсии из этих совокупностей.
правосторонний критерий значимости
x  y  N (a1  a 2 ,  2 (n  m) nm) .
P( f  f  )  
.
Иногда для проверки подобных гипотез используют не
выборочные гипотезы, а так наз. суммы квадратов
m
Q x   ( xi  x ) 2
n
,
i 1
Понятно, что
случае
Q y   ( yi  y ) 2 .
i 1
Q
Q
S x2  x , S y2  y .
m 1
n 1
статистика
имеет
x  y  N (0,  2 (n  m) nm) ,тогда

проверить
гипотезу
t
nS y
2
u
mS x
2
 H m1 ,
известная с точностью до m параметров θ1, … , θm.
Если гипотетическая плотность вероятности известна
полностью, то считаем m=0. Это α-х альтернативная,
непараметричная, сложная гипотеза. Она наз-ся гипотезой о
законе распределения.
Проверяется гипотеза Н0 о том, что генеральная
совокупность имеет распределение с плотностью вероятности
f 0 ( x,1 ,..., m ) против альтернативы с некоторой
другой плотностью вероятности. Критерий для проверки таких
гипотез наз-ся критерием согласия (это критерий значимости
χ2). Для проверки рассматриваемой гипотезы используется
статистика:
L ( m  np̂ ) 2
(1)
i
i
v
np̂ i
i 1
Для расчета эмпирического значения статистики v
используются данные, такие же, как и при построении
гистограммы. Это значит, что весь диапазон выборочных
значений разбивается на l интервалов и подсчитывается
число выборочных значений, попавших в интервал.
mi – число выборочных значений, попавших в i-й интервал,
̅̅̅̅̅
𝑖 = 1,
𝐿, n – объем выборки, 𝑝
̂𝑖 - гипотетическая плотность
вероятности попадания СВ ξ в i-й интервал. Она
определяется по гипотетической плотности вероятности с
помощью формулы:
, Δi – i-ый
 f 0 ( x,ˆ1 ,...,ˆm )dx
i
интервал.
Поскольку гипотетическая плотность вероятности известна
с точностью до параметра, то вместо неизвестных
параметров используем их максимально правдоподобные
оценки.
К. Пирсон доказал, что при увеличении объема выборки n
распределение статистики (1) приближается к распределению
χ2, т.е. HL-m-1. При большом n можно считать, что
Если гипотетическая
плотность не имеет параметров, то HL-1.
35.Теория статистических решений с наблюдениями.
 H n 1 , тогда z      H m n2 ,
m  n  2  Tm n 2 - с пом. этой
z
статистики провер. гипотеза.
t
- гипотетическая плотность вероятности,
v  H l m1 , P(v  v )   .

2
H 1 : f  ( x)  f 0 ( x,  1 ,...,  m )} , где
p̂ i 
 N (0,1)
Далее мы знаем, что 
{H 0 : f ( x)  f 0 ( x, 1 ,..., m );
Критерий значимости (1) наз-ся критерием с
двухсторонней
критической
областью,
или
двухсторонним
критерием.
Критерий
(2)
–
правосторонний, (3) –левосторонний. Выбор того или
иного критерия зависит от альтернативной гипотезы
H1. Например, если для параметрической гипотезы
относительно параметра θ: {𝐻0 : 𝜃 = 𝜃0 ; 𝐻1 : 𝜃 ≠
𝜃0 }, то применяется двухсторонний критерий; если
{𝐻0 : 𝜃 = 𝜃0 ; 𝐻1 : 𝜃 > 𝜃0 },
применяется
правосторонний
критерий;
если
{𝐻0 : 𝜃 = 𝜃0 ; 𝐻1 : 𝜃 < 𝜃0 } - левосторонний критерий.
Гипотеза с его помощью проверяется так:
1). Выбираем α=0,05; 2). По таблице процентных
отклонений распределения статистики g находим
предел значимости gα/2 или gα ; 3). По функции для
статистики g находим эмпирическое значение
статистики gэ ; 4). Сравниваем gэ и gα. Если |𝑔| >
𝑔𝛼⁄2 - случай 2-хстороннего критерия (1). Если gэ>gα , в
случае критерия (2), если gэ<gα , в случае критерия (3),
то проверяемая гипотеза Н0 отклоняется в пользу
альтернативы H1. Если эмпирическое значение
статистики попадает в критическую область, то
проверяемая гипотеза Н0 отклоняется. Гипотеза в этом
случае отклоняется потому, что произошло событие,
которого не должно быть. В этом случае есть
противоречие
между
эмпирическими
и
гипотетическими данными. Величина 𝛾 = 1 − 𝛼
является вероятностью принятия верной гипотезы и
называется мощностью критерия. Методы, которые
для каждой выборки формально точно определяются,
удовлетворяют выборочные данные нулевой гипотезы
или нет, называются критериями значимости.
34.Теория статистических решений без наблюдения
(n  m) 2
2
вид:
Задача: по выборке х1, … ,хn из генеральной совокупности
f 0 ( x,1 ,..., m )
( x  y ) mn
В этом
31. Критерий χ2 (Пирсона).
требуется
Должен быть известен закон распределения статистики
при Н0 - истинно.
Если Н0 верна, т.е. 𝛼1 = 𝛼2 , то
U
Qy
Q
f  x 
 Fm1,n1 .
m 1 n 1
f  (x )
x  N (a1 ,  2 m) , y  N (a 2 ,  2 n) , тогда

( x  y) mn  2
2
2
(n  m) 2 mS x  n S y
( x  y ) mn(n  m  2)
2
2
(n  m)( m S x  n S y )
nm2 
 Tm  n  2
Эта статистика не содержит неизвестных параметров
и изветен ее закон распределения, след-но она может
приниматься для проверки гипотезы.
При 𝐻1 : 𝛼1 ≠ 𝛼2 применяется двухсторонний
критерий значимости: 𝑃(|𝑡| > 𝑡𝛼⁄2 ) = 𝛼⁄2.
37. Теория стат. решений с наблюдениями. Случай
дискретных состояний и непрерывных наблюдений.
Вероятностный смысл среднего риска в случае (0,1) матрицы потерь.
Рассмотрим следующее выражение:
 f ( x / s ) P( d
i
j
( x))d x
X
Легко понять, что это выражение представляет собой
вероятность 𝑃(𝑑𝑖 , 𝑆𝑖 ), принятие решения 𝑑𝑖 ,когда
система находится в состоянии 𝑆𝑖 .С учетом этого
обозначения средний риск примет зн-е:
L L
r    Wi, j P(d j / si ) P( si ) . В случае
i 1 j 1
(0,1)- матрицы потерь выр-е:
L
L
j 1
j 1
 Wi, j P(d j / si )   p(d j / si ) (*)
Это выражение представляет собой вероятность ошибки
(*)=p(s≠d/𝑆𝑖 ). В этом случае средний риск окажется
L
равным r=
 P( s  d / s ) p
i
si -средняя
j 1
(безусловная) вероятность ошибки. Т.о. при (0,1)матрице потерь оптим. решение обеспечивает min
безусловную вероятность ошибки принятия решения.
36. Теория стат. решений с наблюдениями. Случай
в случае непрерывных состояний и решений
Случай непрерывных состояний, решений и наблюдений.
Пусть имеется некоторая система, которая может
находится в состоянии 𝑠 ∈ 𝑆, где S – мн-во состояний,
кот. предназн. котинуумам.
Состояние системы случайные, s-х извест
плотностью вероятности. Случ. велич. Имеет
плотность распр. f(s).
Требуется не производя наблюдений над системой
принять решение (указать состояние s). Решение
статистики обозн. 𝑑 ∈ 𝐷, где D – пространство
решений, аналогичное пространству состояния S.
Решение можт быть правильным и не правильным; в
случае неправильного решения статистик должен
нести потери. Для характеристики потерь вводится
функция потерь. Чаще всего функция потерь зависит
от рас-ия м/у s и d – q(s,d) Функция потерь должна
удовлетворять следующим свойствам:
1). W(0)=0 ; 2). W(q) >0; 3). W(q2)≥ W(q2), если
q2≥q1.
Решение будем рассматривать также случайное, т.е.
имеется плотность вероятности f(d). Плотность
вероятности f(d) называется решающей функцией, она
называется рандомизированной.
Поскольку s и d случайные, то функция потерь явл.
случайной величиной, следовательно, качество
решения характеризуется математическим ожиданием
функции потерь, которое называется средним риском
r=E(w(s,d))
Задача
теории
статистических
решений
формулируется как оптимизационная: требуется найти
решающую функцию f(d), минимизирующую средний
риск. В виде одного выражения эта задача
записывается так:
r ( f (d ))  E(w(s, d ))  min
Система может находиться в состоянии s  S и известна
плотность вероятности f(s). Над системой выполняются
измерения, в рез-те чего получается вектор измерений
x  ( xi ,.., xn )  X , где X –пространство
измерений. Требуется принять решение 𝑑 ∈ 𝐷 о состоянии
системы, где D пространство решений. Для того, что бы
вектор 𝑥̅ был получен при принятии решения, он д.б. связан с
состоянием системы. Будем считать , что эта связь
описывается условной пл-тью вероятности: f ( x / s ) и эта
пл-ть вер-ти нам известна.
В данной задаче решение опред. По наблюдениям. т. е. d=d(x)
–рандомизированной решение. Теория статист. решений в
общем случае рассматривает рандомизированные решения.
В данной задаче рандомизированные решения представляют
собой пл-ть вероятности f(d), заданную в пространстве
решений d. f(d)- называется решающей функцией.
Задача состоит в опред. f(d) -?
f(d)=f(d(𝑥̅ )) минимизируещее среднии риск E = E(w(s,d)). Для
характеристики качества решения рассматривается ф-ия
потерь и вводится средний риск: r=E(w(s,d)). Задача состоит
в том, чтобы минимизировать средний риск:
r  E ( w( s, d )) 
 min
f (d )
Запишем выражение среднего риска:
r (d )   r (d / x ) f ( x )dx
X
Минимизация условного риска r(d) эквивалентна минимизации
условного риска 𝑟(𝑑 ⁄𝑥̅ )
, получим:
r (d / x )  min
* Любая задача, в которой предполагаются
известными все априорные распределения наз-ся
байесовской, а подход такой – байесовский. Применяя
байесовский подход запишем выражение среднего
риска от мат. ожидания функции потерь. Получим
средний риск:

r    (d ) (d  d * )dd  r (d * )  r (d ) min

, где
.
d
f (d )
*
 (x ) -дельта функция; d -решение,
39. Теория статистических решений с наблюдениями.
Случай дискретных состояний и непрерывных
наблюдений. Решение задачи в случае двух состояний.
Часто 1 из вариантов выбир.путем парного сравнения.
Поэтому рассмотрим ф-цию
i , j ( x)  i ( x)   j ( x), i  j , где одна из
ф-ций определяется через
доставляющее минимум условному риску r(d), т.е.
L
 j ( x)   wij P( S i ) f ( x / S i )  min
r (d * )  min
dj
i 1
При исп-нии ф-ции Ψ𝑖,𝑗 решение выносится по правилу:
40. Теория статистических решений с
наблюдениями. Случай дискретных состояний и
непрерывных наблюдений. Решение задачи в
случае (0,1)-матрицы потерь.
 0, d  d j
i , j ( x)
  0, d  d i
Вероятностный смысл среднего риска при (0,1)матрицы потерь: оптимальное решение обеспечивает
минимальную безусловную вероятность ошибки
принятия решения. Если выбрать (0,1)-матрицу потерь,
то решающее правило можно упростить в сторону
уменьшения объема вычислений.
Вернемся к случаю 2-х состояний: в этом случае
решение можно несколько упростить.
L
min
и
 j ( x)   wij P( si ) * f ( x / s j ) 
j
i 1
выберем
𝑤𝑖𝑗 = 1 − 𝛿𝑖𝑗
получим,
Ф-ция Ψ𝑖,𝑗 в случае 2-х решений наз-ся дескриминанта
или разделяющая ф-ция. Она призвана выбрать одно из 2-х
решений.Ур-ние Ψ𝑖,𝑗 (𝑥̅ )=0 определяется в пространстве
наблюдений Х( 𝑥̅ ∈Х) некоторую гиперповерхность, кот.наз-ся
разделяющей. Выбор того или иного решения зависит от того,
по какую сторону разд-ей гиперповерхности будет находиться
наша точка измерения. В случае 2-х измерений 𝑥̅ =( x1 , x2 )
пр-во наблюд Х предст-т собой плоскость, и гиперпов-ть
предст-т собой кривую:
что
 j ( x)   P ( si )  f ( x / s j )
i 1
 j ( x)  f ( x)  P( si ) f ( x / s j )  min
j
Теперь
след.
правило
можно
записать:
 j ( x)  P( si ) f ( x / s j )  max .
Вычисляем распределяющую ф-цию при 2-х
составляющих:
L
i, j   wij P ( Si ) f ( x / Si ) ,
i 1
L=2, i=1,2, j=1,2. Ψ𝑖,𝑗 = Ψ𝑖 − Ψ𝑗 .
j
38. Теория стат. решений с наблюдениями. Случай
дискретных состояний и непрерывных
Постановка задачи: Некоторая система может
находится в одном из состояний 𝑆1 , … , 𝑆𝐿 ∈ 𝑆 с
различными вероятностями Pi=р(Si), ∑ П𝑖 = 1 . Над
системой выполняются наблюдения, в результате чего
получаем вектор наблюдений 𝑥̅ = (𝑥1 , … , 𝑥𝑛 ). Этот
вектор считается связанным с состояниями системы и эта
связь нам известна, задается
43. Однофакторный дисперсионный анализ. Описание и
f ( x | si )
(условная
̅̅̅̅̅
плотность вероятности) 𝑣̅𝑖 = 1,
𝐿.
Требуется принять о системе одно из решений
𝑑1 , … , 𝑑𝐿 ∈ 𝐷 . Такая задача возникает, например, при
стат. распознавании образов. Имеем L образов, каждый
характеризуется вектором признаков 𝑥̅ - требуется по
наблюдению этого вектора признаков сказать к какому
образу он принадлежит.
Будем рассматривать рандомизированные решения,
когда на пространстве решений D задано распределение
вероятностей Р(dj), j=1,...,n, т.е. каждому решению
предписывается вероятность.
Имея рандомизированные решения, мы можем в
качестве решения dj* взять решение, имеющее
максимальную вероятность.
Решение называется нерандомизированным, если
распределение вероятностей сконцентрированном в
одной точке, если все Р(dj) = 0, кроме одной равной 1.
Качество решения будем характеризовать функцией
потерь w(s,d) поскольку в данном случае состояния
решений дискретны, то функция потерь представляется в
виде матрицы потерь 𝑊(𝑤𝑖,𝑗 ); 𝑖, 𝑗 = ̅̅̅̅̅
1, 𝐿.
Элементы wij представляют собой потери, которые мы
несем в случае, когда принимаем решение dj , а система
находится в состоянии Sj. Таким образом, строки матрицы
соответствуют состояниям систем, а столбцы –
решениям.
Элемент 𝑤𝑖,𝑗
характеризует потери в случае
правильного решения. На практике чаще всего
используется, т. н., “1-0” матрица потерь. Элементы такой
матрицы
определяются
формулой:
𝑤𝑖,𝑗 =
1 − 𝛿𝑖,𝑗 ; 𝑖 = 𝑗
1; 𝑖 = 𝑗
{
, где 𝛿𝑖,𝑗 = {
- символ Кронекера.
0; 𝑖 ≠ 𝑗
1; 𝑖 ≠ 𝑗
0
1
1
1




1 0 1 1
W 
1 1 0 1


1 1 1 0


Потери в случае правильного решения равны 0, а в
случае неправильного 1. Задача заключается в том,
чтобы найти решающую функцию Р(dj), минимизирующую
средний риск r=E(w(s,d))– > min
Выражение
среднего
риска: r  r ( P ( d j )) 
L
L
Из теории вер-ти изв-на формула полной вер-ти.
Получим
,
что
𝑓(𝑥̅ ) = ∑ 𝑃(𝑠𝑖 )𝑓(𝑥̅ ⁄𝑠𝑗 ) .
Сравнивая
𝑓(𝑥̅ ) и Ψ𝑗 (𝑥̅ )
получим:
дискретных состояний, дискретных решений и
непрерывных наблюдений.
L
   wij P( Si ) P(di ( x ))  f ( x | Si )dx .
i 1 j 1 X
Где подлеж-я определ-ю вер-ть 0≤Р(dj) ≤1,  Р(dj)=1.
42.Статистическое распознавание гаусовских
многомерных образов. Постановка задачи,
логарифмическая дискриминантная функция.
Данная задача является иллюстрацией теории
принятия решений по непрерывным наблюдениям в
случае дискретных состояний. Состояния 𝑆1 , … , 𝑆𝐿 будем
называть образом или классом. Предположим, что
имеется L-образов. Образы представляються на
распознавание с вероятностью 𝑃(𝑆𝑖 ); ∑ 𝑃(𝑆𝑖 ) = 1 .
Каждый образ, будем считать, характеризуется n-мерным
вектором 𝑥̅ = (𝑥1 , … , 𝑥𝑛 ). 𝑥1 - отдельный признак.
Значение признака является случайным. Будем считать
известными плотности вероятности векторов признаков
̅̅̅̅̅
для каждого образа 𝑓(𝑥̅ ⁄𝑆𝑖 ), 𝑖 = 1,
𝐿. Распознавание
образов состоит в следующем: измеряется вектор
признаков 𝑥̅ . Требуется сказать к какому классу он
принадлежит. Поставленная задача явл. задачей о
состоянии и наблюдении, а 𝜑𝑗 (𝑥̅ ) = 𝑃(𝑆𝑗 )𝑓(𝑥̅ ⁄𝑆𝑗 ) →
max 𝑗. Если образы распознаються попарно, то
𝜑𝑖,𝑗 (𝑥̅ ) = 𝜑𝑖 (𝑥̅ ) − 𝜑𝑗 (𝑥̅ ), и применяется правило
> 0, 𝑑 = 𝑖
распознавания: 𝜑𝑖,𝑗 (𝑥̅ ) {
.
≤ 0, 𝑑 = 𝑗
41. Проверка простой двухальтернативной гипотезы
о математическом ожидании нормальной
наблюдений. Общее решение задачи.
Постановка
задачи: Некоторая
находится в одном из состояний
постановка задачи. Оценка параметров.
система может
S1 ,..., S L  S
различными вероятностями Pi=р(Si),
П
i
с
 1.
Над системой выполняются наблюдения, в результате
чего
получаем
вектор
наблюдений
x  ( x1 ,..., xn ) .
Этот
вектор
считается
связанным с состояниями системы и эта связь нам
известна, задается
f ( x | si )
(условная плотность
̅̅̅̅̅
вероятности) 𝑣̅𝑖 = 1,
𝐿. Требуется принять о системе
одно из решений
d1 ,..., d L  D .
Такая задача возникает, например, при стат.
распознавании образов. Имеем L образов, каждый
характеризуется вектором признаков x - требуется по
наблюдению этого вектора признаков сказать к какому
образу он принадлежит.
Будем рассматривать рандомизированные решения,
когда на пространстве решений D задано
распределение вероятностей Р(dj), j=1,...,n, т.е.
каждому решению предписывается вероятность. Имея
рандомизированные решения, мы можем в качестве
решения dj* взять решение, имеющее максимальную
вероятность.
Решение называется нерандомизированным, если
распределение вероятностей сконцентрированном в
одной точке, если все Р(dj) = 0, кроме одной равной 1.
Качество решения будем характеризовать функцией
потерь w(s,d) поскольку в данном случае состояния
решений
дискретны,
то
функция
потерь
представляется в виде матрицы потерь
W ( wij )
Элементы wij представляют собой потери, которые
мы несем в случае, когда принимаем решение dj , а
система находится в состоянии Sj. Таким образом,
строки матрицы соответствуют состояниям систем, а
столбцы – решениям.
Элемент wij
характеризует потери в случае
правильного решения. На практике чаще всего
используется, т. н., “1-0” матрица потерь. Элементы
такой матрицы определяются формулой:
1   ij , i  j
wij  
,
1, i  j
1, i  j
- символ Кронекера.
 ij  
0, i  j
0

1
W 
1

1

где
1 1 1

0 1 1
1 0 1

1 1 0 
L
выборки:
x1 ,..., xm ,
y1 ,..., y n из 2-х нормальных генер.
совокупн. N (a1 ,  2 ) и N (a 2 ,  2 ) .
(  2   2 и неизвестны).
1
2
Требуется по этим выборкам проверить гипотезу
H 0 : a1  a 2 ; H 1 : a1  a 2 . Для решения этой задачи
используется t-статистика, основанная на сравнении 𝑥̅ и 𝑦̅.
Задача однофакторного дисп-го анализа явл-ся
обобщением этой задачи в направлении нескольких
генеральных совокупностей и используется для проверки
гипотезы не t-статистики, а f-статистики.
Предполагается, что имеется k выборок разных объемов:
y1,1,..., y1, n1 выборка объемом n1;
выборка объемом n2;
y 2,1,..., y 2, n 2
…
y k ,1,..., y k , nk выборка объемом nk
из
k
нормальных
генеральных
совокупностей;
N (a i ,  2 ), i  1, k
Задача
Пусть имеется выборка
нормальной
ln l1,2 ( X )  ln
этим
H 0 : a1  a2  ...  ak
данным
проверить
.
Данная задача имеет следующее применение: исследуем
влияние некоторого фактора на некоторую характеристику
производственного процесса. И фактор может принимать k
уровней. Например, пусть исслед-ся влияние стажа работы на
производит-ть:
В наст. время существует 4 уровня стажа: 1: до 5 лет, 2:
от 5 до 10 лет, 3: от 10 до 15 лет, 4: свыше 15 лет.
Провер. гипотеза a1=a2=a3=a4 по результатам измер.
произв-ти труда большой группы работников с разл. уровнем
стажа. Если будет, что Ho принята, то это будет означать, что
стаж не влияет на произв-ть. Если отклонение – то влияет.
генеральной
совокупности
и требуется проверить
f ( X / a1 )
 ln f ( X / a1 )  ln f ( X / a2 )
f ( X / a2 )
и решающим правилом:
P( s j )

  ln P( s ) , решение d i ,
i
ln li , j ( X )
P( s j )
 ln
, решение d j .

P ( si )
и мы получим
n
в
проверке
гипотезы
H 0 : a1  a2  ...  ak против альтернативы, что хотя бы
по
 r ( P (d j )) 
L
   wij P( Si ) P(di ( x ))  f ( x | Si )dx
i 1 j 1 X
.
Где подлеж-я определ-ю вер-ть 0≤Р(dj) ≤1, Р(dj)=1.
из
гипотезу вида { 𝐻0 : 𝛼 = 𝛼1 ; 𝐻1 : 𝛼 = 𝛼2 } , где 𝛼1 , 𝛼2 –
значения дискретной случайной величины, имеющие
вероятности 𝑃(𝛼1 ), 𝑃(𝛼2 ) .
Мы видим, что это задача оптимального
статистического решения с двумя состояниями 𝑠1 =
𝛼1 , 𝑠2 = 𝛼2 , и непрерывными наблюдениями. Для
решения задачи выберем (0,1) - матрицу потерь и
воспользуемся
логарифмическим
отношением
правдоподобия
состоит
одно из этих равенств не выполняется.
Сформулируем эту задачу более коротко: даны
наблюдения вида
yi, j  a i  i, j , i  1, k : j  1, n , где i,j
– ошибки измерений, представляющие собой независимые по
i и по j случайные величины с распределением N(0,  2 ) .
X  ( x1, x2 ,..., xn )
f ( x / a )  N ( a,  2 ) ,
ln l1,2 ( X )   
( xi  a1 ) 2
i 1
n
2
2
n
( xi  a2 ) 2
i 1
2 2


(a1  a2 ) 
a a 
.
 x  1 2  , где
2
1 n

2 

x   xi
n i 1
Решающее правило для нашей задачи имеет вид
n
(a1  a2 ) 
a  a2   ln h, решение a  a1 ,
x  1

2
2  ln h, решение a  a2 ,


где
h
P ( a2 )
P(a1 )
– порог. Предположим, что 𝛼1 > 𝛼2 .
Этого всегда можно достичь выбором гипотезы 𝐻0 .
Тогда наше решающее правило можно представить в
виде
 h1 , решение a  a1 , ,
x
 h1 ,
где
h1 
решение a  a2 ,
a1  a2
 2 ln h

2
n(a1  a2 )
– новый порог. Мы
видим, что решение о математическом ожидании
принимается путем сравнения его оценки 𝑥̅ с некоторым
числом ℎ1 . Это число есть сумма середины отрезка
[𝛼2 , 𝛼1 ] и порога
. Геометрический
2
h2 
Потери в случае правильного решения равны 0, а в
случае неправильного 1.
Задача заключается в том, чтобы найти решающую
функцию Р(dj), минимизирующую средний риск
r=E(w(s,d))– > min
Р(dj)
Выражение среднего риска: r
Постановка задачи: Для пояснения задачи диспер-ого
анализа вернемся к задаче проверки гипотезы о равенстве
математ-их ожиданий двух норм. генер-х совокупностей. 2
Требуется
ij  1,..., L .
генеральной совокупности.
 ln h
n(a1  a2 )
смысл решающего правила поясняется рисунком, на
котором изображен отрезок действительной прямой
[𝛼2 , 𝛼1 ] и его середина – точка
a1  a2 .
с
2
Решение выносится в пользу правой границы отрезка,
если выборочное среднее превышает середину отрезка
плюс порог ℎ2 .