08_Mathcad обработка данных

08. Mathcad. Функции обработки данных
08.1. Теория вероятностей
08.1.1. Основные функции
cnorm(x) - Нормальная функция распределения.
cnorm(x)= pnorm(x,,) при =0 и =1.
erf(x) - функция ошибок.
rnd(x) - генератор случайных чисел.
08.1
Или кумулятивная нормальная функция
Или интеграл вероятностей.
Возвращает число с равномерным распределением в интервале 0...х.
corr(VX, VY) - коэффициент корреляции векторов
VX, VY.
cvar(X,Y) - коэффициент ковариации X и Y.
08.1.2. Функции для случайных процессов
В Mathcad возможна обработка случайных про- Функции обработки имеют имя, формируемое из
цессов с разными законами распределения. Для имени закона добавлением приставки, характекаждого предусмотрено имя закона.
ризующей функцию.
Предусмотрены следующие вероятностные
функции с приставками:
1. Плотность распределения
d
2. Распределение
p
3. Квантиль распределения
q
4. Генератор случайных чисел
r
Определены законы распределения с именами:
1. Равномерное
unif
2. Нормальное
norm
3. Биномиальное
binom
4. Хи-квадрат
chisq
5. Фишера
F
6. Пуассона
pois
7. Стьюдента
t
Для профессиональной версии дополнительно
определены распределения:
1. Отрицательное биномиальное nbinom
2. Бета
beta
3. Коши
cauchy
4. Экспоненциальное
exp
5. Гамма
gamma
6. Геометрическое
geom
7. Логарифмическое нормальное lnorm
8. Логистическое
logis
9. Вейбулла
weibull
Или кумулятивная плотность.
Обратна функции распределения.
От unify - одинаковый.
От normal - нормальный.
От binomial - биноминальный.
От Chi-square - хи-квадратный.
По первой букве имени.
От Poisson - Пуассон.
От negative binomial - отрицат. биномиальный.
От Cauchy - Коши.
От exponential - экспоненциальный.
От geometric - геометрический.
От logarithm normal - логарифм. нормальный.
От logistical - логистический.
От Weibull - Вейбулл.
08.1.3. Равномерное распределение
Плотность распределения:
0 x  a , x  b

dunif ( x , a , b)   1
axb

b  a
x - случайная величина,
a - ее минимальное значение,
b - ее максимальное значение.
dunif( x  a  b )
punif( x  a  b )
Одинакова в окне a…b.
В примере a=5, b=10.
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
1
08.2
dunif - сплошная линия,
punif - пунктирная линия.
0
20 16 12 8
20
4
0 4
x
8 12 16 20
20
punif(x,a,b) - функция распределения.
qunif(p,a,b) - квантили распределения.
runif(m,a,b) - генератор случайных чисел.
Обратна функции распределения.
Возвращает вектор из m чисел.
08.1.4. Нормальное распределение
Плотность распределения:
Это наиболее часто встречающееся распреде1
dnorm ( x,  ,  ) 
exp(  21 2 ( x   ) 2 ) ление.
2`  
x - случайная величина,
 -ее среднее значение,
 - ее среднеквадратичное отклонение.
1
dnorm( x     )
pnorm( x     )
6.595771 10
31
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
31
6.595771 10
20 16 12 8 4 0 4 8 12 16 20
20
x
20
pnorm(x,,) - функция распределения.
В примере =5, =3.
dnorm - сплошная линия,
pnorm - пунктирная линия.
08.1.5. Биномиальное распределение
Возвращает вероятность появления k успехов в
n испытаниях по схеме Бернулли при вероятности успеха р в каждом испытании.
08.3
Когда испытания не зависят друг от друга и дают два результата: успех и неудача.
Плотность распределения:
dbinom (k, n, p) 
n!
 p k (1  p) n  k
k!(n  k )!
k - число успехов,
n - число испытаний,
p - параметр распределения 0p1.
n и k целые числа, 0kn.
Максимум плотности смещается от k=0 до k=n.
1
1 0.9
0.8
0.7
dbinom( k  n  p ) 0.6
0.5
pbinom( k  n  p ) 0.4
0.3
0.2
0.1
0
В примере n=20, p=0.5.
dbinom - полоски
pbinom - ступеньки.
0
0 2 4 6 8 10 12 14 16 18 20
k
20
08.1.6. Распределение Хи-квадрат
Используется для случайной величины х, квадрат равной сумме квадратов d случайных величин с равномерным распределением.
Плотность распределения:
0

dchisq ( x, d)   x 0.5d 1 exp( 0.5x )
 20.5d  (0.5d)

d - число степеней свободы.
0.989638
dchisq( x  d )
pchisq( x  d )
x0
x0
0.99
0.89
0.79
0.69
0.59
0.49
0.4
0.3
0.2
0.099
d - целое положительное. При увеличении d
график расплывается.
В примере d=5.
dchisq - сплошная линия,
pchisq - пунктирная линия.
0
5 3
5
Г - гамма функция.
1 1
3
5 7
x
9 11 13 15
15
08.1.7. Распределение Фишера
Используется для случайной величины
yd21 / d1
x 2
zd 2 / d2 .
yd1 - случайная величина с распределением
Хи-квадрат с d1 степенями свободы.
zd2 - случайная величина с распределением
Хи-квадрат с d2 степенями свободы.
Плотность распределения:
08.4
d1 и d2 целые числа. При увеличении d1 график
расплывается, d2 - сжимается.
x0
0
 d1  d 2

dF( x, d1, d 2)   ( 2 ) (d1 / d 2)0.5d1 x 0.5d11
x0
 d1 d 2 
d1  x 0.5( d1 d 2)
)
 ( )( ) (1 
2
d2
 2
0.96
0.86
0.77
0.67
0.57
0.48
0.38
0.29
0.19
0.096
0.956581
dF ( x  d1  d2 )
pF ( x  d1  d2 )
0
В примере d1=5, d2=3.
dF - сплошная линия,
pF - пунктирная линия.
5 3.5 2 0.5 1 2.5 4 5.5 7 8.5 10
5
x
10
08.1.8. Распределение Пуассона
Плотность распределения:
k0
0
 k
dpois (k,  )   
 exp(  ) k  0
 k!
>0 - параметр распределени
0.999491
dpois( k   )
ppois( k   )
0
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
5 3
5
k целое число.
При =k плотность маскимальна.
В примере =6.
dpois - полоски,
ppois - ступеньки.
1 1
3
5 7
k
9 11 13 15
15
08.1.9. Распределение Стьюдента
Предложено английским математиком Госсетом
и опубликовано под псевдонимом Student.
Используется для случайной величины x с d
степенями свободы
x
y
z d2 / d
08.5
Для больших d практически совпадает с нормальным.
d целое число.
.
y - случайная величина с нормальным
распределением.
zd - случайная величина с распределением
Хи-квадрат с d степенями свободы.
Плотность распределения:
0
 d 1
 (
)
1
dt ( x, d)  
2 
d 1

d
x2 2
 ( )
d  (1  )
2
d

0.999915
dt( x  d )
pt( x  d )
4.098982 10
5
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
5
x0
x0
4.099 10
5 3.5 2 0.5 1 2.5 4 5.5 7 8.5 10
5
x
10
В примере d=5.
dt - сплошная линия,
pt - пунктирная линия.
08.1.10. Логарифмическое нормальное распре08.6
деление
Аналогично нормальному распределению с за- Используется для масштабирования при измеменами  - среднего значения и  - среднеквад- нениях случайной величины в больших пределах.
ратичного отклонения их натуральными логарифмами.
Функции:
Плотности распределения: dlnorm(x,,).
0.98
0.88
0.78
0.68
0.59
0.49
0.39
0.29
0.2
0.098
0.977018
dlnorm( x     )
plnorm( x     )
0
Из-за логарифмического масштаба кривая плотности деформирована: левый скат сжат по
сравнению с правым.
В примере =1, =1.
dlnorm - сплошная линия,
plnorm - пунктирная линия.
20 16 12 8 4 0 4 8 12 16 20
20
x
20
08.1.11. Экспоненциальное распределение
Плотность распределения:
x0
0
d exp( x, r )  
r  exp( rx ) x  0
r>0 - параметр распределения.
0.993262
dexp( x  r )
pexp( x  r )
0.89
0.79
0.7
0.6
0.5
0.4
0.3
0.2
0.099
0
5 3.5 2 0.5 1 2.5 4 5.5 7 8.5 10
5
x
10
Влияет на скорость спада функции полотности.
В примере r=0.5.
dexp - сплошная линия,
pexp - пунктирная линия.
08.1.12. Отрицательное биномиальное распределение (распределение Паскаля)
Возвращает вероятность успеха при n-ом испытании точно после n+k-1 испытаний по схеме
Бернулли при вероятности успеха р в каждом
испытании.
08.7
Когда испытания не зависят друг от друга и дают два результата: успех и неудача.
Плотность распределения:
 n  k  1 n
  p (1  p) k
dnbinom (k, n, p)  
k

В скобках - число сочетаний из n+k-1 элементов
по k.
n - номер успешного испытания,
k - число неудачных испытаний до этого.
p - параметр распределения.
n и k целые числа, n>0.
k0.
0p1.
0.99966
dnbinom( k  n  p )
pnbinom( k  n  p )
1.927357 10
4
1.927357 10
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
4
В примере n=10, p=0.5.
dnbinom - полоски,
pnbinom - ступеньки.
03 6 912151821242730
k
30
0
08.1.13. Бета-распределение
Плотность распределения:
x  0, x  1
0

dbeta ( x, s1, s2)   (s1  s2) s11
s2-1
0  x 1
 (s1)(s2)  x (1 - x)

(s1,s2)>0 - параметры формы.
1.5
dbeta( x  s1  s2 )
pbeta( x  s1  s2 )
0
1.5
1.35
1.2
1.05
0.9
0.75
0.6
0.45
0.3
0.15
1 0.7 0.4 0.10.2 0.5 0.8 1.1 1.4 1.7 2
1
x
2
Г() - гамма-функции.
s1 влияет на левый участок, s2 - на правый. При
s1=s2=1 получается равномерное распределение.
Форма от s1 и s2 зависит очень сильно.
В примере s1=s2=2.
dbeta - сплошная линия,
pbeta - пунктирная линия.
08.1.14. Распределение Коши
08.8
Плотность распределения:
1
dcauchy ( x, l, s) 
  s  [1  (
xl 2
) ]
s
l - параметр места,
s>0 - параметр масштаба.
0.897584
dcauchy( x  l  s )
pcauchy( x  l  s )
6.366198 10
3
Плотность максимальна при x=l.
0.9
0.81
0.72
0.63
0.54
0.45
0.36
0.27
0.18
0.095
0.00637
5 4 3 2 1 0 1 2 3 4
5
x
В примере s=2, l=2.
dcauchy - сплошная линия,
pcauchy - пунктирная линия.
5
5
08.1.15. Гамма-распределение
Плотность распределения:
x0
0

dgamma ( x, s)   x s 1  exp( x )
x0

(s)

s>0 - параметр формы.
В примере s=2.
0.96
0.86
0.77
0.67
0.58
0.48
0.38
0.29
0.19
0.096
0.959572
dgamma( x  s )
pgamma( x  s )
0
5
5
4
3
2
1
dcauchy - сплошная линия,
pcauchy - пунктирная линия.
0 1
x
2
3
4
5
5
08.1.16. Геометрическое распределение
08.9
Возвращает вероятность появления успеха на k- Когда испытания не зависят друг от друга и даом испытании в серии испытаний по схеме Бер- ют два результата: успех и неудача.
нулли при вероятности успеха р в каждом испытании.
Плотность распределения:
dgeom (k, p)  p(1  p)k
0<p1.
k - номер испытания с успехом,
p - вероятность успеха каждого испытания.
0.999512
dgeom( k  p )
pgeom( k  p )
4.882813 10
4
4.882813 10
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
4
dgeom - полоски,
pgeom - ступеньки.
01 2 3 4 5 6 7 8 910
k
10
0
08.1.17. Логистическое распределение
Плотность распределения:
xl
)
s
d log is ( x, l, s) 
xl
s(1  exp( 
))
s
l - параметр места,
s>0 - параметр масштаба.
exp( 
0.997527
dlogis( x  l  s )
plogis( x  l  s )
8.31528 10
7
8.31528 10
5 4 3 2
5
Плотность максимальна при x=l.
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
7
1
В примере s=2.
dlogis - сплошная линия,
plogis - пунктирная линия.
0 1
x
2
3
4
5
5
08.1.18. Распределение Вейбулла
08.10
Плотность распределения:
x0
0
dweibull ( x, s)  
s 1
s
s  x exp(  x ) x  0
s>0 - параметр формы.
1
dweibull( x  s )
pweibull( x  s )
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
В примере s=2.
dweibull - сплошная линия,
pweibull - пунктирная линия.
0
5 4 3 2 1 0 1 2 3 4
5
x
5
5
08.2.Функции аппроксимации и интерполяции
08.2.1. Линейная аппроксимация
08.11
При этом узловые точки соединяются отрезками При малом числе узловых точек (меньше 10)
прямых линий.
аппроксимация очень грубая. В полученной зависимости есть скачки производных в узловых
linterp(VX,VY,x) - линейная интерполяция.
точках.
VX, VY - векторы координат узловых точек,
x - аргумент.
08.2.2. Сплайн-интерполяция
Splain - гибкая линейка.
При этом исходная функция заменяется отрезками кубических полиномов, проходящих через
3 соседние точки. Их коэффициенты рассчитываются таким образом, чтобы непрерывными
были первая и вторая производные.
Interp(VS,VX,VY,x) - интерполяция.
VX, VY - векторы координат узловых точек,
VS - вектор 2-х производных в узловых точках,
x - аргумент.
Вектор VS формируется для одного из трех способов приближения к опорным точкам.
cspline(VX,VY) - интерполяция кубическая.
pspline(VX,VY) - интерполяция квадратичная.
lspline(VX,VY) - интерполяция линейная.
Сплайн-аппроксимация производится в два этапа:
1. Для выбранного способа приближения к узловым точкам вычисляется вектор вторых
производных VS.
2. С помощью функции Interp(VS,VX,VY,x) вычисляется интерполированная функция y(x).
Линия, которую описывает сплайн-функция,
напоминает по форме гибкую линейку, закрепленную в узловых точках.
08.3. Функции регрессии
Регрессия - представление совокупности данных некоторой функцией.
08.12
Линия регрессии проходит с «облаке» точек с
максимальным среднеквадратичным приближением к ним.
Определены:
1. Линейная регрессия.
2. Полиномиальная регрессия.
3. Линейная регрессия общего вида.
4. Нелинейная регрессия общего вида.
Прямая линия.
Полином.
Линейная сумма произвольных функций.
Произвольная функция.
08.3.1. Линейная регрессия
Задается функцией:
Y(x)=a+bx.
Определены функции:
corr(VX,VY) - функция корреляции.
intercrpt(VX,VY)
slope(VX,VY)
VX и VY - векторы координат точек.
Возвращает коэффициент корреляции векторов
VX и VY.
Возвращает a - смещение линии регрессии векторов VX и VY по вертикали .
Возвращает b - наклон линии регрессии векторов VX и VY.
Координаты точки занимают в векторах VX и VY
одинаковые позиции.
08.3.2. Полиномиальная регрессия
Задается функцией:
Y(x)=a0+a1x+a2x2+ a3x3+…+ anxn.
Определена функция:
regress(VX,VY,n) - полиномиальная регрессия.
VX и VY - векторы координат точек,
n - порядок полинома.
Возвращает вектор VS коэффициентов полинома регрессии векторов VX и VY.
08.3.3. Линейная регрессия общего вида
Задается функцией вида:
F(x, K1, K2,…,Kn)=K1F1(x)+ K2F2(x)+…+ KnFn(x).
08.13
Это линейная комбинация нескольких функций
(каждая из них может быть и нелинейной).
Определена функция:
linfit(VX,VY,F) - линейная регрессия.
Возвращает вектор коэффициентов K линейной
регрессии общего вида векторов VX и VY.
VX и VY - векторы координат точек,
F - вектор регрессионных функций в символьном виде.
1/ x
F( x ) : x 2
exp( x )
Пример вектора регрессионных функций.
VX должен содержать абсциссы точек в возрастающем порядке, а ординаты в векторе VY
должны соответствовать абсциссам в векторе
VX.
08.3.4. Нелинейная регрессия общего вида
Задается функцией вида:
F(x, K1, K2,…,Kn).
K1, K2,…,Kn - параметры функции.
Определена функция:
genfit(VX,VY,VS,F) - нелинейная регрессия.
VX и VY - векторы координат точек,
VS - вектор начальных значений коэффициентов К для итерационного процесса поиска оптимальных значений.
VX должен содержать абсциссы точек в возрастающем порядке, а ординаты в векторе VY
должны соответствовать абсциссам в векторе
VX.
Это произвольная функция с параметрами К.
Возвращает вектор коэффициентов K нелинейной регрессии общего вида векторов VX и VY.
08.4. Функции сглаживания данных
08.14
Используются для сглаживания статистических
данных.
Определены функции:
medsmooth(VY,n) - медианное сглаживание.
ksmooth(VX,VY,b) - сглаживание по Гауссу.
supsmooth(VX,VY) - адаптивное сглаживание.
Для вектора VY с числом точек m>n возвращает
вектор данных сглаженных методом скользящей
медианы (n - ширина окна медианы, нечетное).
Каждое значение - медиана окна с центром в
ней.
Для вектора VX возвращает вектор VY данных,
сглаженных с использованием распределения
Гаусса (b - ширина окна сглаживания, в несколько раз больше расстояния между абсциссами
соседних точек). Скачкообразный переход заменяется переходои по формуле Гаусса.
Для вектора VX возвращает вектор VY данных,
сглаженных с использованием процедуры линейного сглаживания по методу наименьших
квадратов по правилу k ближайших соседей с
адаптивным выбором k.
08.5. Функция предсказания
По ряду известных точек рассчитывает последующие точки.
Определена функция:
predict(data,k,N) - предсказание.
data - вектор данных,
k - степень полинома регрессии,
N - число предсказываемых точек данных.
Функция по известным точкам вектора data и
выбранной степени k полинома регрессии вычисляет коэффициенты аппроксимирующего полинома и использует их затем для расчета новых N точек.
08.6. Функции сортировки
08.15
Определены функции:
sort(V) - сортирует элементы вектора V по
нарастанию.
сsort(M,n) - сортирует строки матрицы М таким
образом, что элементы столбца n располагались по нарастанию.
rsort(M,n) - сортирует столбцы матрицы М таким
образом, что элементы строки n располагались
по нарастанию.
reverse(V) - обращает элементы вектора V.
reverse(М) - обращает элементы матрицы М.
Меняет порядок следования на обратный.