Раздел 1. - Московский государственный университет леса

Министерство образования Российской Федерации
Московский государственный университет леса
Н. А. Гольцов
Лекции по
аппроксимации табличных функций, заданных
своими значениями и значениями своих производных
на основе критерия максимального правдоподобия.
Лекции составлены по материалам монографий Е.С.Венцель
«Теория вероятностей» (1969г.) и Н.А.Гольцова «Некоторые обобщения
методов конструирования алгоритмов прикладного численного анализа»
(2001г.)
МОСКВА
Издательство Московского государственного университета леса
2002
Оглавление
Раздел1. О применении экстремального принципа при решении задач в науке
и технологиях.
1.1. Метод наименьших квадратов Гаусса-Лежандра в его
историческом развитии....................................................…………………………….
1.2. Обобщение метода наименьших квадратов и метода наименьших модулей на
основе принципа максимального правдоподобия....………………………………...
1.3. Выражение оценок точности обобщенного метода наименьших квадратов и
метода наименьших модулей на основе принципа максимального
правдоподобия...........................................……………………………………………..
Раздел 2. Определение закона распределения случайных величин на основе
опытных данных.
2.1 Основные задачи математической статистики………………………………
2.2 Простая статистическая совокупность .Статистическая функция
распределения……………………………………………………………………………
2.3 Статистический ряд. Гистограмма…………………………………………..
2.4 Численные характеристики статистического распределения……………...
2.5 Выравнивание статистических рядов……………………………………….
Приложение…………………………………………………………………………
2
О применении
Раздел I экстремального принципа
при решении задач
1.1 Метод наименьших квадратов Гаусса-Лежандра в его
историческом развитии
1°. В различных областях науки и техники многие задачи описываются на основе
экстремального принципа. Наиболее часто используется метод наименьших квадратов.
Метод наименьших квадратов является математическим принципом: при его
использовании определяют условия, при которых значения квадрата некоторой функции F
получаются наименьшими, т.е.
F2=min.
(I.I.I)
В таком общем виде принцип наименьших квадратов находит широкое применение при
математическом описании научных и технических задач, например, в физике, механике,
математической статистике, в теории ошибок при обработке экспериментальных данных, при
решении задач численного анализа.
Рассмотрим кратко основные этапы развития метода наименьших квадратов для
решения различных классов задач.
2°. Применительно к задачам теоретической механики экстремальный принцип
разрабатывался в 1747г. Пьером-Луи Мопертьюи (1690-1759), который ввел принцип
наименьшего действия:

m ds=min.
(1.2.1)
3°. Для обработки результатов экспериментов и определения неизвестных величин и
оценки точности результатов A.M. Лежандр (1752-1833) предложил принцип наименьших
квадратов, заключающийся в том, чтобы обратить в минимум сумму квадратов погрешностей.
Лежандр обращал внимание на то, что предлагаемый им принцип для оценки неизвестной
величины произволен, и
указывал на то, что из всех принципов, которые можно предложить для этой цели, не
существует более простого.
A.M. Лежандр в своем труде "Новые методы для определения орбит комет" (1806) в
приложении о методе наименьших квадратов писал: "Из всех принципов, которые здесь могут
быть предложены, по моему мнению, наиболее общим, наиболее правильным и наиболее
удобным в применении является тот, который обращает в минимум сумму квадратов
остающихся ошибок. Этот принцип, устанавливая в ошибках род равновесия, удерживает
наибольшие из них в должных границах".
4°. Простая, по словам Гаусса, идея метода наименьших квадратов была высоко оценена
современниками и нашла широкое применение в математическом анализе.
К методу наименьших квадратов можно подойти и с другой точки зрения. К. Гаусс в
своем сочинении "Теория движения небесных тел по коническим сечениям вокруг Солнца",
опубликованном в 1809г., принял за основу при обработке экспериментальных данных
"...один простой и постоянно используемый принцип. Обычно принимают за аксиому
гипотезу о том, что если некоторая величина из многих непосредственных наблюдений,
произведенных с одинаковой тщательностью в сходных условиях, то среднее
арифметическое из наблюденных значений будет наиболее вероятным значением этой
величины, если не с полной точностью, то во всяком случае с хорошим приближением...".
Используя эту аксиому, К. Гаусс указал для этого случая распределение ошибок
измерений и показал, что плотность вероятности заданной совокупности измерений
достигает максимального значения, если сумма квадратов отклонений результатов измерений
от истинного значения достигает минимума.
5°. Метод наименьших квадратов позволяет найти решение переопределенной и
несовместной системы уравнений
6°. Метод наименьших квадратов используется для приближенного представления
заданных функций другими, более простыми и удобными для исследований, функциями.
Для решения задачи определения заданной функции f(х) на ограниченном множестве А
значений х используется представление искомой функции Р(х) в виде разложения по системе
линейно независимых функций {Fi(х}}:
7°. Дальнейшие важные результаты в теории метода наименьших квадратов были
получены П.Л. Чебышевым (1821-1894), разработавшим теорию параболического
интерполирования по методу наименьших квадратов с помощью ортогональных полиномов.
Чебышев писал: "Формулы, которые мы дали для последовательного определения членов в
разложении функции и по нашему ряду и для вычисления в то же время суммы квадратов
погрешностей, с которыми найденные члены разложения представляют все данные значения,
доставляют нам способ параболического интерполирования, важный во всех отношениях. В
силу замечательного свойства нашего ряда, этот способ дает выражение аппроксимируемой
функции в форме полинома с коэффициентами наиболее вероятными. Без предварительного
задания числа его членов мы их найдем по этому способу последовательно один за другим".
8°. Экстремальный принцип развивался академиком Львом Семеновичем Понтрягиным
(1908-1988) и его школой. В 50-х годах Л.С. Понтрягин и его ученики начали работать в
области исследований, связанных с математическим решением технических проблем теории
оптимального управления. Был открыт "принцип максимума", что привело к созданию новой
области математики — теории оптимального управления.
9°. Метод наименьших квадратов находит применение при решении двойственных
задач
линейного
программирования
и
теории
антагонистических
игр.
3
1.2. Обобщение метода наименьших квадратов и метода наименьших
модулей на основе принципа максимального правдоподобия
1° Пусть функция f x  , заданная на множестве точек {х km }, k = 0, 1,..., r;
т = 1, 2,..., m k , своими значениями и значениями своих производных
f
k 
x km  ,
аппроксимируется функцией F n (C,x) со свободными параметрами С = (С0,...,Сn),
дифференцируемой по крайней мере r + 1 раз.
Значения свободных параметров С при решении задач приближения
функций можно определять в общем случае при вероятностном подходе на
основе принципа максимального правдоподобия.
Предположим, что отклонения аппроксимируемой функции и ее
производных
f(k) x km  -F тл  (C k ,x km )= 
km
(C,x km ) (1.2.1)
составляют систему независимых случайных величин, каждая из которых имеет
свое распределение плотности вероятности
P km (C,X km )
Как правило, аппроксимирующая функция Р n (х,С) со
свободными параметрами С = (С0,...,Сn) не задана.
Аппроксимирующая функция в таком случае представляется в виде
разложения по системе базисных линейно независимых
функций  k (X)
n
Pn C k , X    C k  k  x 
(1.2.2)
k 0
Согласно принципу максимального правдоподобия параметры
С* аппроксимирующей функции будут оптимальными, если они будут выбраны
из условия
max PC C k , x km 
Pn(Ck ,xkm)=
2° Если величина
(1.2.3)
C
 km (C k , x km ) распределены по нормальному закону
Pkm (Ck ,xkm )=
2
2
exp(  km
(C k , x km ) / 2 km
 km 2
, (1.2.4)
условия выбора оптимальных параметров С* , Х*km можно, согласно
(1.2.1) - (1.2.3), записать в развернутом виде:
4
  j
mk
r
(k )
k  0 m 1
( x km )  F
(k )
n

  f
r
2
(C*, x km ) g km  min
C 
2
mk
(k )
k  0 m 1
( x km )  F
(k )
n

(C , x km ) g km
(1.2.5)
2
где g km , = 1 / 2 km
- веса отклонений.
Выражение (1.2.5) являются обобщением метода наименьших квадратов
на
случай
использования
квадратов
отклонений
производных
аппроксимирующей функции.
При k = 0 из (1.2.5) получаются условия метода наименьших квадратов
Гаусса-Лежандра:
При решении задач аппроксимации, когда случайные величины ошибок
(1.2.1) представляют собой независимые случайные величины и имеют
распределение Лапласа.
Pkm(C)=
 km
e
 km  km
,
(1.2.7)
2
то значения свободных параметров аппроксимирующей функции определяются
согласно (1.2.3) из условия
k  r m  mk

 km (C , x km ) Bkm  min
*
k
k  0 m 1
C 
k  r m  mk
 
k  00 m 1
km
(C k , x km ) Bkm
(1.2.8)
Здесь Вkm=λkm, - значения весовых коэффициентов.
.
  f
m  mk
r
k  0 m 1

( x km )  Fn (C k* , x km ) Bkm  min
C 
 f
r
m  mk
k  0 m 1

( x km )  Fn (C k , x km ) Bkm
(1.2.9)
В случае, когда отклонения (ошибки) δkm (Ckр,xkm) расматриваются как
система случайных величин, величины
F(k) (xkm ) задаются их математическими ожиданиями, определяется и функция
Pc (Ck,xkm)распределение плотности вероятности. Функция Pc (Ck,xkm)определяется
на основе эксперимента или задается a priori, при учете особенности решаемой
задачи.
5
1.3. Выражения оценок точности обобщенного метода наименьших
квадратов и метода наименьших модулей на основе принципа
максимального правдоподобия
В зависимости от применяемого метода приближения функций
используются различные оценки точности решения.
На основе принципа максимального правдоподобия можно получить
общее выражение оценки точности решений задач приближения функций,
включая, как частные случаи, известные оценки точности приближений.
Для оценки точности метода решения задач приближения
функций при различных случаях реализации условия (1.2.3) выбора
* значений свободных параметров С ,Х^ аппроксимирующих
функций можно использовать численные значения функции распределения . То
есть можно за оценку точности метода принять
величину.
r
mk
A=Pc (C* ,xkm)=  Pkm (c*, x km )
(1.3.1)
k  0 m 1
В случаях, когда в выражения функции плотности вероятности
Pc(C*,xkm) входят экспоненты с аргументами,
зависящими от параметров С*,Хkm , удобно использовать В -оценку точности:
B  ln A  ln PC (C*, x km ).
(1.3.2)
При решении задачи аппроксимации функции f(x) , когда
случайные величины ошибок δk(xkm) C^Aw) представляют собой систему
независимых случайных величин и имеют нормальное распределение:
exp(  f ( x km )  Fn (C , x km ) g km )
2
P(C,Xkm) 
,
 km 2
2
Gkm=1/2  km
значение весовых коэффициентов
величина оценки точности решения задачи приближения вычисляется по
формуле!
6
(1.3.3)
1
mk
r
1
2
A=   km
(2 ) 2 exp(  km
g km ).
(1.3.4)
k  0 m 1
В частном случае, например, k = 0 оценка точности В совпадает с
известной оценкой точности метода наименьших квадратов и равна сумме
взвешенных квадратов отклонений
m  mk
B=  
m 1
2
km
(1.3.5)
g km .
При решении задачи аппроксимации функции, когда случайные величины
ошибок (1.3.5) представляют собой независимые случайные величины и имеют
распределение Лапласа
P(C,xkm) 
 km
2
exp(-  km  km ).
(1.3.7)
Величина оценки точности согласно (1.3.7) представляется в виде
k  r m  mk
 km
k  0 m 1
2
A 
k  r m  mk
exp( 

k  0 m 1
km
 km .
(1.3.8)
В частном случае, например, k=0 оценка точности В совпадает с известной
оценкой точности метода наименьших
модулей и равна сумме модулей взвешенных отклонений заданных значений
аппроксимируемой
функции от значений аппроксимирующей функции в
соответствующих узлах.
Функция
распределения
плотности
вероятности Р(С, Хkm) может учитывают
высшие моменты, тогда и оценки А и В учитывают эти моменты.
7
8