Основы Теории Связи (Часть 2) 1 Случайные сигналы Энергетические спектры случайных сигналов. ξ(t) sТ j j t e jt dt T G t Функция (1) случайная, по этому надо ввести неслучайную функцию энергетический спектр. j B e d - Прямое преобразование Фурье 1 B 2 j G e d - Обратное преобразование Фурье 1 Теорема Виннера-Хинчена: j G B e d 1 B j G e d 2 Пусть 0, тогда fв в G d 5 6 н P1, 2 G f df fн 3 1 B0 2 в н 1 P1, 2 2 2 7 G d PВт 4 полная мощность G 2 B cos d 0 1 B G cos d 0 8 9 В (8) и (9) учтено условие четности: G(f) B B G G 1 B 2 j G e d 10 1Гц Из выражения видно, что энергетический спектр является спектром мощности случайного процесса-показывает распределение мощности по спектру и определяет мощность в полосе 1 Гц . f Энергетический спектр можно выразить через текущий спектр реализации с помощью равенства Парсиваля:энергия сигнала определяется интегралом квадрата напряжения или интегралом квадрата модуля его спектральной плотности. T 2 ET i t dt 0 S i 1 2 T 11 d 0 ET 1 1 P lim lim T T T T 2 S i d 12 T 0 Окончательно : G lim T ST i T 2 13 Выражение (12) устанавливает связь между энергетическим спектром процесса и его реализациями. Узкополосные и широкополосные случайные процессы. Белый шум. Энергетический спектр реальных сигналов всегда ограничен Δω=ωв-ωн. Случайные процессы с непрерывным энергетическим спектром, в частности с равномерным ,могут быть узкополосными - если энергетический спектр процесса сосредоточен, в основном, в относительно узкой полосе частот около некой средней частоты; широкополосными - если это условие не выполняется. G(ω) 0 G(ω) ωн ω0 ωв 0 ω в н Все радиопроцессы узкополосные 0 ωн ω0 0 ωв ω Белый шум- это случайный процесс у которого спектральная плотность мощности на всех частотах одинакова. N 0 j 1 j B G e d e d 2 4 14 1 j e d 2 15 G(ω) N B( ) 0 ( ) 2 N0 0 0 N0 2 0 ω Эффективная ширина энергетического спектра и её связь с интервалом корреляции. В случае неравномерного энергетического спектра вводится понятие эффективной полосы пропускания- полоса, где сосредоточена основная часть энергии. G(ω) Широкополосный спектр G d 0 эф G 0 16 G(0) ω 0 эф Узкополосный спектр G(ω) Gmax ( ) 0 эф эф G d 0 Gmax 0 ω 17 Связь между эффективной полосой и интервалом корреляции. эф 0 const Чем меньше полоса пропускания, тем больше интервал корреляции. B( ) B(0) G j B e d 18 При 0, G 0 B d G d G d 0 эф 0 Gmax 0 G 0 0 0 19 B При 1 j G e d 0 B 0 0, эф 20 B 0 1 G d 0 21 G 0 G 0 B 0 const G 0 B 0 1 f эф 0 2 эф 0 0 B d B0 G0 B0 22 G() 1 2 0 B ( ) 2 1 0 2 (t ) 1 (t ) 0 t 0 Так как функция ξ1(t) изменяется быстрее, чем ξ2(t). t Функция корреляции узкополосного случайного процесса. G() G ( 0 ) G ( ) 0 Смещая спектр широкополосный. 0 влево на 0 получим спектр узкополосного процесса, через Функция автокорреляции узкополосного процесса выражается формулой: B а0 cos0 Где и 23 - медленно меняющиеся функции, соответствующие амплитуде и фазе функции корреляции. Скорость изменения этих функций прямо пропорциональна изменению Δωэф. B а0 cos cos 0 a0 sin sin 0 ac cos 0 as sin 0 24 Энергетический спектр должен быть симметричен относительно ω0, тогда: B ас cos 0 a0 cos 0 25 1 B 2 26 G сosd cos 0 * G ( ) B( ) G ( ) ac ( ) 0 Функция автокорреляции равна 0 сos0 sin 0 с коэффициентами и . Если энергетический спектр симметричен относительно средней частоты- функция четная, то вторая составляющая равна 0. Таким образом функция автокорреляции узкополосного случайного процесса, спектр которой симметричен относительно равна функции ,которая соответствует спектру влево на: умноженной на , полученному из исходного 1 0 óçê àñ d B0 смещением 27 B( ) B(0) a c ( ) τ cos 0 Функция корреляции белого шума с ограниченной полосой частот от 0 до ωв. G ( ) N0 Случай идеального ФНЧ B B в 0 1 Â G cos d 0 N 0 B sin B P N0 f B 28 B 2P sin B B 29 30 B ( ) 1 2 fв 1 2 fв 2 2 fв 0 0 2 2 fв График функции корреляции представляет собой график функции sinx/x. Интервал корреляции определяется между первыми двумя нулями. По мере сокращения полосы частот Δω=ωв, интервал корреляции увеличивается. Ограничение спектра влечет за собой увеличение корреляции между сечениями. Функция корреляции белого шума, ограниченная полосой частот ω0-Δ ω; ω0+Δ ω. Это случай идеального полосового фильтра. G ( ) N0 0 B B 1 Â н 0 G cos 0d 1N 0 Í N0 sin B sin H в sin B sin H (31) N 2 cos B H 2 PB cos B 0 0 0 2 2 sin B H 2 B0 0 32 2 33 sin 2 (31*) B ( ) 0 Сравнивая (29) и (31*) и рисунков можно сделать вывод: функцию корреляции узкополосного процесса можно определить через функцию корреляции широкополосного процесса (28) и вписать в неё косинусоидальную функцию со средней частотой ω0. Прохождение случайных процессов через линейные и нелинейные цепи. Прохождение случайных сигналов через линейные инерционные цепи. 1.Классификация радиотехнических цепей. а) Цепи сосредоточенными параметрами. б) Цепи с распределенными параметрами. Элементы цепей: а) Элементы с постоянными параметрами. б) Элементы с переменными параметрами. в) Нелинейные элементы. Линейные и нелинейные элементы делятся на инерционные и безынерционные. 1)Линейная безынерционная ртц. 2)Линейная инерционная ртц. 3)Нелинейная безынерционная ртц. 4)Нелинейная инерционная ртц. 2.Задачи, решаемые при прохождении случайных процессов через линейные цепи . Воздействие отклик ЛИЦ mx t , x2 , G , x.ýô m y t , y2 , G y , ó.ýô ; Bx , 0 x t By , 0 y 1 y t xt g t d 2 it S i k i e d x S x i k i S y i Комплексный спектр отклика y(t) 35 34 Задачи: 1) Нахождение плотности W(y) через W(x). 2) Нахождение числовых характеристик отклика y(t). 1) G G k i 2 y y . ýô 1 B 2 i G e d 0 y y 36 37 Рассмотрим линейную инерционную систему k i it g t e dt спектральн ое 38 1 g t 2 it k i e d временное n g t dt 0 g t max 40 39 k 2 (i ) k (i ) 2 эф эф Если входной сигнал 1 ,то на выходе будет узкополосный эф процесс (отклик). Если эф эф ,то на выходе нормальный процесс. Предельная теорема Ляпунова: при воздействии на линейную инерционную систему СП с любым распределением, если выполняется условие эф эф ,процесс на выходе всегда будет нормальный. УПЛИС my t , y2 , G y , y.ýô ; mx t , , Gx , x.ýô ; 2 x By t , oy 0 y 0 x Bx , 0 x эф эф 41 эф эф.пр k i d 2 эф 0 k i max n эф const 2 42 43 2 Прохождение случайных сигналов через нелинейные безынерционные радиотехнические цепи. Отклик y(t) однозначно определяется воздействием x(t) в тот же момент времени. y f x ; x y ; Будем считать, что xt Wx x (плотность воздействия). Определить yt Wy y y f x y f (x) dy y1 dx 0 x1 x x1, x1 dx y1, y1 dy ; dx d y Wx x dx Wy y dy Wy y Wx x Wx y Wx y dy dy 1 1. Математическое ожидание. yWy y dy y f x Wx x dx (2) 2. Дисперсия. 2 Dy 2 y y W y dy f x y W x dx y x 3 3. Функция корреляции. B y y y W y , y 1 2 2y 1 2 , dy1dy2 2 , dx1dx2 f x f x W x , x 1 2 2x 1 (4) 4. Энергетический спектр. G y j B e d y (5) Выводы: спектр сигнала на выходе нелинейного элемента отличается от спектра на входе, в следствии появления новых частот ,которые отсутствовали во входном сигнале. Спектр содержит низкочастотные составляющие вблизи нулевой частоты и участки высокочастотных составляющих. Таким образом при воздействии случайного сигнала на нелинейную систему, изменяются спектр процесса, законы распределения вероятностей и связанные с ними параметры (плотность, математическое ожидание, дисперсия и т.д.) Примеры прохождения случайных сигналов через линейные инерционные и нелинейные безынерционные радиотехнические цепи. 1.Линейная инерционная цепь. На вход подаётся белый шум Gx N 0 На выходе: Gy Gx k i N 0 k i 2 2 Вывод: форма выходного сигнала будет определяться коэффициентом передачи цепи. Найдем мощность шума на выходе: Pшум .вых. 1 Gвых d 0 N0 2 k i d 0 эф k i 0 2 d k i max 2 Pпр f эф.пр. N0 N 0 эф 8 9 k max i 2 Pпр k i 2 2 Gx () Gy () N 0 0 0 Вывод: закон распределения плотности вероятности на выходе линейной системы отличается от закона распределения на входе. Если на вход подать нормальный процесс, то на выходе тоже нормальный процесс, но с другими характеристиками, которые изменяются в соответствии с . k i 2 2.Нелинейная безынерционная цепь. y f (x) dy y0 dx1 0 x1 dx2 x2 dx 3 x3 x Замечание: x1 dx1 y y0 dy, x x2 dx2 x dx 3 3 Wy y dy Wx x1 dx1 Wx x2 dx2 Wx x3 dx3 10 Отсюда получим: dx3 dx1 dx2 Wy y Wx x1 Wx x2 Wx x3 dy dy dy В общем виде: dxi Wy y Wx xi dy i 12 di y Wy y Wx i i dy 13 11 Пример: двухполупериодный амплитудный детектор. y f (x) dx dx x2 x1 y f x x 2 ; x y; dx1 1 d1 н ; dy dy 2 y 0 x1 y ; x2 y ; dx2 1 d 2 y dy dy 2 y x dx1 dx2 W y y Wx x1 Wx x 2 dy dy Wy y Wx x 1 2 W y W y y x 1 2 x e x x2 2 x2 Wy y 1 e 2y x y 2 x2 15 16 Подставим это выражение вместо плотности и получим : 1 1 Wy y 2 y 2 x 14 y 2y 2 e x e 2 x2 17 Wy ( y) 0 W x (x ) y 0 x Представление сигналов в комплексной форме. Преобразование Гильберта. Аналитический сигнал. Замечание: сигнал является временной функцией xt A cos 0t ,но часто сигнал представляют в комплексной или аналитической форме. Используя КФ можно любой СП представить как синусоидальное или косинусоидальное колебание с переменными амплитудами и фазами. xt E t cos0t 0 Im[ x (t )] -Амплитуда (огибающая). E (t ) x (t ) -Мгновенная частота. -Начальная фаза. xt E t cos t -Полная фаза. B (t ) A (t ) Re[ x(t )] E (t ) cos (t ) Запишем этот сигнал в комплексной форме: xt E t e 18 j 0t 0 xt E t cos 0t 0 iE t sin 0t 0 19 20 xt E t cos t iE t sin t Bt arctg At 21 E t A2 t B 2 t 22 23 xt E t cos t iE t sin t x t x t Преобразование Гильберта. xt xt i x t 25 Прямое преобразование Гильберта. x xt d t 1 26 Обратное преобразование Гильберта. x xt d t 1 27 Сигнал комплексный, если и связаны между собой преобразованием Гильберта: 1 S d S t t 1 S S t t d 28 29 At Et cos E t A2 t B 2 t Bt t arctg At Bt E t sin S (t ) E (t ) B (t ) A(t ) S (t ) S t 90 S t Если сигнал имеет спектр который находится вблизи некоторой средней частоты, то такой сигнал будет иметь медленно меняющуюся огибающую и фазу по сравнению с сигналом. x(t ) E (t ) 0 t Преобразование Гильберта используется в теории помехоустойчивости для анализа когерентного и некогерентного приёмов. Комплексное представление узкополосного сигнала. Квадратурные составляющие и их свойства. j t t E t e E t cos t iE t sin t 30 t xt i xt t 0t 0 31 32 Re t E t cos 0 cos 0t E t sin 0 sin 0t A t B t Подставим выражение (32) в выражение (30). Рассмотрим только действительную часть. Re t At cos 0t Bt sin 0t 33 (t ) 0 E (t ) t cos (0 (t )) Свойства: W нормальное распределе ние W A и W B тоже имеют нормальное распределе ние.W A W B W 1. At Bt , BAB 0 Отсчеты будут некоррелир ованны. 2. A2 2 и B2 2 E2 A2 B2 Дисперсия ог ибающей в 2 раза больше дисперсии составляющ их. Выводы: представление случайного сигнала квадратурными составляющими имеет большое значение в технике связи и используется для анализа когерентного и некогерентного приёмов. Огибающая, фаза узкополосного Гауссовского случайного процесса. Огибающая и фаза суммы гармонического и узкополосного Гауссовского случайного процесса. 1. Гауссовский процесс. x(t ) E E (t ) 0 t W(E) 0 W2 A, B W AW B -c учётом независимости квадратурных составляющих. 34 35 Re t Et cos t Et cos t cos 0t Et sin t sin 0t Re t At cos 0t Bt sin 0t Ed dB B(t ) dE d A(t ) dA W2 A, B dAdB (1)-вероятность попадания в криволинейный прямоугольник конца вектора. W2 A, BdAdB W2 E, dEd (2)-равенство в элементарных прямоугольниках. dAdB dEd -равны при бесконечно малых приращениях. W2 A, B W AW B (3)-из условия независимости квадратурных составляющих. A2 t B 2 t E 2 t Запишем распределения, Отметим что математическое ожидание равно 0. B 2 t 2 2 , W A 1 W B 2 A2 t B 2 t E 2 t A 2 t 2 2 1 ; 2 36 37 Подставим (36) и (37) в (1) с учетом (3), получим: 1 2 2 е A2 t B 2 t 2 2 E 2 t E t 2 2 dAdB e dEd ; 2 2 38 Учитывая (1) и (6) запишем: W2 E , E 2 2 e E2 2 W E W2 E , d 0 W 0 y E 39 2 2 E 2 e E2 2 2 1 E W2 E , dE e 2 2 0 , тогда dE dy W E dE W y dy распределе ние Релея E2 2 2 1 1 dE W E dE 2 0 2 40 41 42 43 Подставим в (43) W(E) из (40) и учитывая (42) получим: W y ye y2 2 Распределение Релея: W ( y) E Wmax( ) 1 2 3 y E Распределение фазы: W ( ) 1 2 0 Выводы: 1.Функция распределения огибающей (40) называется распределением Релея. 2.Переменная у может принимать только положительные значения, то есть математическое ожидание плотности вероятностей огибающей не равно 0. 2. Огибающая и фаза суммы гармонического и Гауссовского процесса. E (t ) B (t ) A(t) U0 A(t ) At U 0 t 2 B 2 t 44 U 0 t S t cos0t 45 E t Найденное в полярных координатах распределение W2 E , , проинтегрируем по огибающей и по фазе: W E 2 W 0 0 W2 E, d ; 46 W2 E, dЕ; 47 Обобщенное распределение Релея: W E E 2 e E 2 U 02 2 2 EU 0 I0 2 48 Функция Бесселя нулевого порядка При U 0 0, I 0 1 Распределение Релея: W (E ) U0 0 U0 1 U0 2 U0 3 E E (t ) B (t ) A(t ) A(t) U0 W ( ) U0 10 U0 U0 U0 0 5 1 0 Математические модели непрерывных и дискретных каналов. Параметрические характеристики: 1. Время занятия канала - 2. Полоса частот канала 3. Динамический диапазон- Dk 20 lg U c max U c min 49 Виды : 1. Проводные 2. Воздушные 3. Кабельныекоаксиальные 4. Кабельныесимметричные 5. Радиоканалы : -радиорелейные -космические -тропосферные -ионосферные -метеорные 6. Полосковые 7. волноводные Общее для всех каналов: 1. Их можно считать линейными (можно применить принцип суперпозиции). 2. На выходе, даже при отсутствии полезных сигналов, всегда имеется помеха. 3. При распространении сигнал меняется по амплитуде (затухает) и всегда имеет задержку. xt k t S t t 50 Непрерывный канал характеризуется : 1. Время занятия канала2. Полоса частот канала3. Отношение сигнала к помехе напряжение- ,мощности4. Объёмный показатель Vk Tk Fk h 2 51 Дискретный канал характеризуется : 1. Входной алфавит a1 , a2 ,..., an . 2. Выходной алфавит b1 , b2 ,..., bn , bn 1. bn1 сигнал стирания 3. Скорость передачи букв с , двоич.ед. с Бод 4. Априорные вероятности входных сигналов P bi a j 5. Вероятность перехода Изобразим канал в виде графа состояний: a0 P(b0 a0 ) P(b0 a1 ) 0 0 1 b0 1 b1 a1 P(b1 a1 ) P(b1 a0 ) Классификация дискретный каналов связи : 1.Если вероятность перехода P bi a для каждого и не зависит от j времени и от того, какие символы предшествовали данному символу, то это однородный канал без памяти (стационарный). 2.Если вероятность перехода зависит от времени, то канал неоднородный (нестационарный). Такие каналы делятся на каналы с памятью и без памяти без памяти 52 b 0 P с памятью a0 a1 53 b0 a0 3. Симметричные и несимметричные каналы: bi bj P P a симметричный a j i 54 bi bj P P Pошибки aj ai 55 b0 b q правильный прием 56 1 P P a a 0 1 4.Со стиранием и без стирания: S(t) А 1 1 1 0 t 0 0 -А P 1 2 e 2 2 2 57 W() q P(0 1) А А А P(1 0) А b1 , b2 ,..., bn , bn 1 со стиранием Если канал симметричен P(0)=P(1)=0.5 x (t ) А a1 a 0 t0 А t0 t0 1 0 a2 t0 -порог решающего устройства. 0 1 0 1 2 xt S t t xt0 0 , то 1 xt0 0 , то 0 1. 2. 1 P P A 0 0 W d A 1 P P A 0 0 0 A 0 W d Pошибки P1P0 1 P0P1 0 58 Если канал симметричен-P(0)=P(1)=0.5, то: Pошибки 1 P0 1 P1 0 2 59 Если порог нулевой и априорные вероятности одинаковые: W() P(0 1) P1 0 W d A P(1 0) А А 61 A A P0 1 P1 0 P A P A W d W d При нулевом пороге (α0=0) в силу симметрии нормального закона (относительно ординаты),вероятность ошибки минимальная при любой статистике канала, то есть независимо от Р(0) и Р(1). Порог симметричный: P1 0 P0 1 A W d W d A W() P ( ) стирания q Pошибки А А P P A A A W d A q 1 Pош P А А 63 62 1.Если , то есть при α-большое- это канал со стиранием без ошибок: a0 P(b0 a0 ) P ( 0 0 a0 ) ) a 1 P ( 1 a1 b0 1 P(b1 a1 ) b1 2.Во всех других случаях будет канал с ошибками и со стиранием: P(b0 a0 ) a0 0 P(b 1 1 0 b ( P a1 a0 ) P ( b0 0 a0 ) ) a ) 1 a 1 P ( 1 P(b1 a1 ) b1 3 Помехи в каналах связи и их классификация. Помеха- любое воздействие, которое препятствует правильному приёму (внутренние и внешние). Все помехи делятся по их возникновению и воздействию на приёмные устройства Классификация помех: По происхождению: 1. Атмосферные помехи- возникают за счет электрических разрядов в атмосфере. Их энергия сосредоточена на низких частотах (диапазон длинных и средних волн). 2. Промышленные помехи- возникают за счет электроустановок (например система зажигания в автомобиле). 3. Помехи от посторонних радиостанций (нарушение регламента распределения частот), недостаточная стабильность задающего генератора. 4. Внутренние шумы в аппаратуре (тепловое движение заряженных частиц). 5. Искажения в линиях связи, вызванные замираниями и эхосигналами. 6. Помехи преобразования (шумы квантования, комбинационные частоты). 7. Космические помехи (электромагнитное излучение Солнца и других внеземных источников). 8. Аппаратурные искажения (неточность настроек). 9. Помехи в многоканальных электрических цепях (переходные помехи). 10. Преднамеренные помехи. По характеру воздействия на полезный сигнал: 1. Аддитивные (есть всегда). 2. Мультипликативные. xt S t t xt t S t В общем случае: xt i t S t ti t i 64 Рассмотрим аддитивную помеху: 1. Флуктуационная 2. Импульсная 3. Сосредоточенная (t ) 1.Флуктуационная помеха: Вход канала t (t ) Выход канала t W() Релей E пом W() Райс E пом W (Eсп ) 0 A W 1 2 W En E 2 e e 2 2 2 Распределе ние мг новенных значений E2 2 2 2 P N0 f эф эф 1 2 эф.кан. G d Gmax Распределе ние ог ибающей 66 Мощность помехи 67 Эффективная полоса помехи 68 1 2 K d 2 K max 2 65 Эффективная полоса канала 69 При наличии сигнала xt S t t S t A cos 0t W x 1 2 e A 2 2 2 70 Огибающая по закону обобщенного Релея (Райса): W Eсп E 2 E 2 A2 e 2 2 EA J0 2 А- регулярная составляющая. 71 2.Импульсная помеха: Сосредоточенная во времени. (t ) G ( ) 2 G3 3 G2 G1 1 t ' (t ) W (G) t G W (G ) W G ae a 1 a 2 a 3 0 Источники помех: электроустановки, система зажигания автомобиля. G aG Метод борьбы: S (t ) помеха ограничение t 3.Сосредоточенная помеха: метод борьбы- гребенчатые фильтры (меняются спектральная и временная характеристика сигналов) S канала эф.помехи эф.канале н помеха в Рассмотрим мультипликативную помеху: Метод борьбы- помехоустойчивое кодирование. Зависит от условия распространения радиоволн. F2 A B xi t i S t ti n xt i S t ti 0 S t t0 i 0 Основная регулярная составляющая n S t t i i i 1 Рассеянная составляющая 72 Если n≥10, то сумма будет распределена по нормальному закону; Релеевские замирания. Замирания: Быстрые- интервал замираний соизмерим или меньше длительности элементарной посылки. 1. (метод борьбы: помехоустойчивое кодирование, использование широкополосных сигналов) 2. Медленные- период замирания значительно больше длительности элементарной посылки. (метод борьбы: система АРУ) Геометрическое представление сигналов и помех. Позволяет легко анализировать сигналы и помехи S (t ) T n t x ( x, y , z ) 1 t 2F n 2FT t T t Параметры Эвклидово пространство, n-кан. dx X n xi (Длина вектора) d xy X Y (Расстояние м/у вектор.) 1 T 2 i 1 n x i 1 yi 2 i n (Скалярное произведен-ие) Гильбертово пространство, n-бесконечно x y i 1 i i 1 T 1 T T 2 x t dt 0 T 2 x t y t dt 0 T xt yt dt 0 Угол между векторами: cos xy 1 T 1 T T XY 1 X Y 73 T xt y t dt 0 x 2 t dt 0 2 1 T T 1 74 y 2 t dt 0 T T 2 2 xt y t dt x t dt y t dt Неравенство Шварца Буниковског о 0 0 0 T 75 Сигнал фиксированный, а помеха постоянно меняется по фазе. S1 t0 t0 помеха xt0 xt0 S1 t0 t0 Представим систему связи в виде векторов: вращение помехи 4 Основы теории помехоустойчивости. 1. Задачи приёмного устройства: На вход приёмного устройства приходит сигнал: xt S t t S(t)-сложный сигнал, имеет частоту, амплитуду и фазу. Если для решения задач приёмник использует все параметры сигнала, не несущие информации, то это приёмник полностью известного сигнала. Если она решается наилучшим образом по сравнению с другими приёмниками, то это оптимальный приёмник (реализующий потенциальную помехоустойчивость- идеальный приёмник). Эту потенциальную помехоустойчивость впервые оценил Котельников. Если для определения параметра используются не все параметры сигнала, не несущие информацию, то это приёмник не полностью известного сигнала. Он может быть оптимальным, то есть лучшим в своём классе, но будет иметь помехоустойчивость ниже потенциальной. Обнаружение сигнала- задача радиолокации. 2 S ложная тревога пропуск сигнала 1 1. Обнаружение: всё пространство делится на подпространство сигнала и подпространство помех. Сигнал x t S t t 2. Если в подпространство сигналов попадает помеха, то возникает ложная тревога 3. Если суммарный вектор попадает в подпространство помех, то это пропуск сигнала. 2. Различение сигналов: x1 t S1 t S1 x2 t S 2 t x2 Всё пространство сигналов и помех разбивается на количество подпространств по числу сигналов (двухбиссектриса). Приёмник принимает решение в пользу того сигнала, в подпространстве которого находится конец вектора суммы сигнала и помехи. x1 S2 3. Оценка параметров сигнала, например, амплитуды, запаздывания и т.п. Сам параметр меньше скорости его измерения. Между двумя измерениями он не меняется. 4. Восстановление сигнала: y t xt х Ф(х)- правило решения, по которому 2 0, 2 xt yt 2 Критерии приёма дискретных сигналов, отношение правдоподобия. Критерий- правило работы решающего устройства. Критерий идеального наблюдателя (Критерий Котельникова): Если принимаемый сигнал x S то принимается решение в пользу того сигнала Si(t) для которого вероятность Р(Si/х) имеет наибольшее значение, то есть если PSi x P S j x , то Si ; i j 76 На основании формулы Байеса : PS x PSi Px Si i P x n Где 77 Px PSi Px Si ,неравенство (76) можно записать в другом виде: i 1 PSi Px Si PS j Px S j Px Si PS j то Si , иначе S j Px S j PSi 78 79 Максимум правдоподобия (отношение правдоподобия): PSi PS j 1 , m количество сигнала m 80 Px Si , Px S j 1 - то Si -критерий максимума правдоподобия, если равны априорные вероятности. Рассмотрим бинарную систему 1. Приняли S1 вместо S2 (при передаче S1) 2. Приняли S2 вместо S1 1. P12 S1 S 2 W x S 2 dx x0 W ( x S1 ) W ( x S2 ) 0 x0 x S1 x x0 алг оритм приемника с порог овым устройством S 2 x x0 2. P21S 2 S1 W x S1 dx х0 Pош. PS2 Px S1 PS1 Px S2 82 Пусть PS1 PS2 , тогда Pош. 0.5P12 P21 , в этом случае мин вероятность ошибки имеет место при P12 P21 . То есть канал симметричен (заштрихованная область) Не смотря на удобство и простоту критерия Котельникова, он имеет недостатки: 1. Равноценность ошибок :S1 и S2. S1 S2 , S2 S1. 2. Последствия от ошибок могут быть разные. 3. Критерий Неймана- Пирсона: Фиксируем ложную тревогу PЛТ , PЛТ W x 0dx минимизируем вероятность пропуска сигнала и . В этом случае обеспечивается наибольшая вероятность правильного обнаружения. Pобн 1 Рпроп 1 Px S dx x0 83 4. Критерий минимального риска (Байес) Он учитывает потери потребителя при различных видах ошибок. Вводят весовые коэффициенты L12 и L21. Тогда можно определить средние ожидаемые потери (средний риск) r L21PS1 PS2 S1 L12PS2 PS1 S2 84 Оптимальная решающая схема обеспечивает минимум среднего риска Вид сигналов на входе приёмника и на входе решающего устройства приёмника. Потенциальная помехоустойчивость. Приёмник Котельникова. Задача: синтезировать оптимальный приёмник. Выбирается нормальная помеха: x (t ) W t t2 t k 2 e 2 2 2 85 PS1 PS2 S(t) t1 1 t Px S1 1, то S1 P x S 2 xt S1 t t 86 xt1 S1 t1 t1 xt2 S1 t2 t2 xtк S1 tк tк В силу независимости отсчётов для нормальной плотности вероятностей Wk xt1 , xt2 ... xtk W x, t1 W x, t2 ... W x, tk k 2 x t S t 1 i 1 i 1 i Wk x S1 exp k 2 k 2 2 2 k k 2 2 x t S t x t S t i 1 i 1 i i 2 i exp i 1 exp 2 2 2 2 87 88 89 С учетом максимального правдоподобия может быть представлено через k-мерные условные . Плотности вероятностей, получаем выражение (89), далее логарифмируем: 2 k k xti S1 ti xti S 2 ti i 1 i 1 2 90 При t 0 ,то есть число отсчетов увеличивается, но они коррелированы, и работа решающего устройства не ухудшается, но и не улучшается, тогда (89) можно представить в виде: 2 1 Т 1 T 2 xt S1 t dt 0 xt S2 t dt , mo S1 0 Т T xt S1 t 2 xt S2 t 2 , mo S1 91 92 По алгоритму (91) и (92) строим функциональную схему приёмника Котельникова. S1 2 1 Т xt S1 t dt Т 0 Вычитающее устройство Квадратор xt S1 t xt S1 t xt S2 t устройство 0 S1 2 x (t ) Вычитающее Т Р.У xt S2 t 2 Квадратор Т S 0 S 2 2 1 Т xt S2 t dt 0 Т 2 Частные случаи приёмника Котельникова. 1. ДАМ S1 t A cos 0t 0t T S 2 t 0 [ x (t ) S1 (t )] 2 x 2 t 93 x 2 t 2 xt S1 t S12 t x 2 t , mo S1 2 xt S1 t S12 t , mo S1 1 Т 1 T S12 t хt S1 t dt dt , mo S1 0 0 Т T 2 функция корреляции мощность 94 xs 0 P1 2 S x(t) Перемножитель Т 1 Р.У 0 S2 S 1 P 1 2 Схема по формуле (94) При изменении амплитуды сигнала, будет меняться мощность и величина порога, подаваемая на решающее устройство, что усложняет работу схемы. a Порог U порог a 2 0 t 2. ДЧМ или ДФМ S1 (t ) A cos 0t 0 t T S 2 (t ) A cos 1t ДЧМ ДФМ S1 (t ) A cos 0t S 2 (t ) A cos 0t 0 t T x 2 (t ) 2 x(t )S1 (t ) S12 (t ) x 2 (t ) 2 x(t )S2 (t ) S22 (t ) , то S1 T T 1 1 x ( t ) S ( t ) dt x(t ) S1 (t )dt , 1 T 0 T 0 xS1 ( 0 ) xS 2 ( 0 ) xS (0) xS (0) , то S1 1 2 то S1 (96) (95) По формуле (96) построим оптимальный приёмник. Приёмник вычисляет функцию корреляции. ФАП- фазовая автоподстройка Для ДФМ функциональная схема может быть упрощена (сигнал отличается знаком амплитуды). S1 (t ) A cos 0t S 2 (t ) A cos 0t 0 t T Синхронный детектор ФАП- подстраивается с точностью до доли периода высокой частоты. Вероятность ошибки в приёмнике Котельникова. Ошибка в приёмнике Котельникова будет наименьшей. Он вычисляет разность[ x(t ) S 2 2, ( t )] [ x ( t ) S ( t )] 1 2 если неравенство выполняется, то S1, если не выполняется- ошибка. Pош P( x2 S1 ) P{[ x(t ) S1 (t )]2 x(t ) S2 (t )]2 } x2 (t ) S 2 (t ) (t ) x1 (t ) S1 (t ) (t ) (97) В выражении (97) x2 (t ) S2 (t ) (t ) это для определённости (получили сигнал S2 вместо переданного S1). Подставим в выражение (1) x1 (t ) S1 (t ) (t ) , получим: x2 Pош P( ) 2 (t ) 2 (t ) 2 (t )[S1 (t ) S 2 (t )]2 S1 Pош P( x2 S1 ) P{0 2 (t )[S1 (t ) S2 (t )]2 } (98) (99) Раскрываем интегралы: T T 2 1 Pош P( x2 S1 ) P{0 (t )[ S1 (t ) S 2 (t )]dt [ S1 (t ) S 2 (t )]2 dt} T 0 T 0 (t ) (100) Eэ T (t ) (t )[ S1 (t ) S 2 (t )]dt Случайная величина , имеет нормальное 0 распределе ние, как и (t ) (101) T Eэ [ S1 (t ) S 2 (t )]2 dt Эквивалентная разность энерг ии сиг налов. 0 (102) Теперь, с учетом новых обозначений выражение (2) можно представить в виде: Eэ P( x2 S1 ) P (t ) 2 103 Выражение (103) можно записать через плотность вероятностей: Pош Px2 S1 Eэ 2 W ( )d 2 N 0 Eэ 2 2 e 2 (t ) 2 2 d N 0 cппектральая плотность мощности помехи Еэ 1 Pош P( x2 S1 ) 1 Ф 2 2 1 Ф( z ) 2 1 Eэ 2 z e z t2 2 dt (105) (106) (104) Еэ 2 Еэ Eэ 2N0 N 0 Eэ 2 2 Eэ 1 Pош 1 Ф 2 2N0 E PT (109) Eэ N0 (110) h02 (107) (108) Выводы: 1. В приёмнике Котельникова зависит не от отношения энергий сигнала и помехи, по этому длительности сигнала. ,а от отношения может быть уменьшено за счет увеличения , где Т-длительность сигнала. 2. Вероятность ошибки в приёмнике Котельникова не зависит от полосы пропускания. T Eэ [ S1 (t ) S 2 (t )]2 dt ES (111) 0 Частные случаи: 1. ДАМ S1 (t ) A cos 0t S 2 (t ) 0 ES 1 Pош 1 Ф 2 2N0 0t T 1 1 Ф h0 2 2 (112) 2. ДЧМ S1 (t ) A cos 1t S 2 (t ) A cos 2t 2 T 0t T T T T 0 0 0 Еэ S1 (t ) S 2 (t ) dt S12 (t )dt 2 S1 (t ) S 2 (t )dt S 22 (t )dt ES1 ES 2 0 ES1 ES 2 Pош 2 ES 1 1 Ф 2 2N0 (113) 1 1 Ф(h 0 ) 2 (114) 3. ДФМ S1 (t ) A cos 0t S 2 (t ) A cos 0t 0t T T Еэ S1 (t ) S 2 (t ) dt 4 ES 2 (115) 0 4 ЕS 1 1 1 Ф Pош 1 Ф 2 2 N 0 2 2h0 (116) Переходы: Pош 1 1 Ф(h0 ) ДАМ 1 2 2 ДЧМ 1 ДФМ 2 Переход от ДАМ к ДЧМ имеет двукратный выигрыш по мощности. Двукратный выигрыш по пиковой и такой же проигрыш по средней мощности. ДЧМ используется, чаще чем ДАМ, т.к. в ДАМ- следящий порог. Когерентный приём Оптимальная фильтрация дискретных сигналов. Оптимальный приёмник вычисляет функцию корреляции и по её величине принимает решение о сигнале. Так как это линейная операция, то возникает возможность построить оптимальный линейный фильтр, который будет вычислять функцию корреляции. x(t ) S (t ) (t ) y (t ) E Pош f c N0 G ( ) N 0 , 0 1 y (t ) 2 t t0 , t0 Момент отсчета сигнала it K ( i ) S ( i ) e d x 1 y (t0 ) 2 it0 K ( i ) S ( i ) e d x Должны получить: 2 y (t0 ) h2 max Pn (117) Неравенство Шварца- Буниковского: 2 2 2 f ( i ) f ( i ) d f ( ) d f 2 1 1 2 ( )d Будет превращаться в равенство, если (118) 1 2 f1 (i ) f 2 (i ) af ( ) f 2 ( ) a 2 1 (119) Тогда подынтегральное формулы (117) будет: K ( ) S x (i )e it0 1 2 aS ( ) K опт( ) 2 2 (120) Рассмотрим левую часть выражения (120): K (i ) K ( )eik ( ) (121) S (i ) S x ( )ei s ( ) (122) Kопт( )S x ( )e i k ( ) s ( ) t0 aS x2 () (123) -Условия согласования по полосе частот. Поделив (4) на (4) можно записать с помощью двух выражений: K опт ( ) aS x ( ) i k ( ) i s ( ) t0 i(k ( ) s ( ) t0 ) 0 Условие согласования фильтра (122): коэффициент передачи больше для больших спектральных составляющих и меньше для малых спектральных составляющих . (123): в момент отсчета все частотные составляющие должны иметь суммарную нулевую фазу. 2 y t0 Pc 2 h0 Pпом. Pn Pn n2 N 0 f эф (124) 1 N0 2 2 K опт( )d (125) 1 2 y (t0 ) 2 2 h0 Pn 1 Ec 2 2 2 1 it 0 2 K ( i ) S ( i ) e d aS ( ) d x x 2 Ec N0 1 1 2 2 2 N0 K опт ( )d N0 a S x ( )d 2 2 (126) 2 S x ( )d (127) Из выражения (126)видно, что определяется так же, как в оптимальном приёмнике Котельникова и не зависит от формы сигнала. А так как энергия сигнала равная мощности сигнала умноженной на длительность, то за счет увеличения длительности сигнала можно увеличить энергию сигнала, и тем самым, уменьшить вероятность ошибки; это используется в широкополосных системах связи. Импульсная характеристика оптимального фильтра. 1 g (t ) 2 it K ( i ) e d опт (128) K опт (i ) aS x (i )e it0 1a g (t ) 2 a g (t ) 2 1 2 (129) it 0 it S ( i ) e d x (130) i ( t0 t ) S ( i ) e d x (131) it S ( i ) e d S x (t ) x (132) С учетом условия (132) выражение (131) будет выглядеть: gопт(t ) aS x (t0 t ) Импульсная характеристика (133) (133) Совпадает с входным сигналом с точностью до a, Sх(t) сдвинут на t0 и он зеркальный Представим (4) в виде графика: S(t) Т 0 S (t 0 t ) S(-t) -Т Определим сигнал на выходе фильтра y(t): 0 0 T t0 Если на входе сигнал x(t ) S (t ) (t ) t y (t ) x(t )g ( )d t (134) 0 Подставив в (134) x(t) и gопт, и заменив t0 (задержка сигнала ) на Т, получим: t y (t ) S (t ) (t )aS (t0 )d 0 1 t 1 t aT S (t ) S (T )d aT (t ) S (T )d T 0 T 0 bBS (t ) bBS (t ) (135) b aT (136) Таким образом сигнал на выходе согласованного фильтра представляет собой функцию автокорреляции сигнала, на которую он настроен и функцию взаимной корреляции сигнала и помехи. Интегрирование ведётся на малом интервале (от 0 до t), функция . Выражение (136) можно упростить, учитывая, что отсчет соответствует длительности сигнала. y(T ) bB S (0) bB S (0) (137) BS ( ) 0 Выражения (136) и (137) весьма приблизительны из-за малого интервала интегрирования. Исходя из этого анализа, построим приёмник на двух согласованных фильтрах без демодулятора: Примеры согласованных фильтров. Квазиоптимальный фильтр. Рассмотрим одиночный прямоугольный импульс (видеоимпульс) без модуляции: T S (i ) A e it dt 0 A 1 e iT i K опт (i ) aS (i )e iT (138) (139) Запишем (139) с учетом (138), получим: aA b T it T it K опт(i ) 1 e e 1 eT it i i Линия зад. На Т Вычитающее устройство Наложение: Для видеоимпульса: RC T Для радиоимпульса: Это кинематические фильтры. x (t ) t t T T y (t ) t t T Практически, ввиду сложности согласования фильтра по форме сигнала, делают согласование только по полосе частот- это квазиоптимальные фильтры. Метод накопления: S (t ) t 2 t1 t t 0 t 0 t 0 U c nU1 0 t n 1 h2 nh 2 2 N 0 f эф Обеляющий фильтр: Приёмник Котельникова предполагает . Если -неравномерна, то применяем обеляющий фильтр. K ( ) обеляющ 1 G ( ) 2 Kобеляющ Gx ( ) const Gy ( ) K 2Gx ( ) Белый шум. Обеляющий фильтр ставится на входе приёмника. Ставится фильтр предискажений. (перед или после модулятора). K предиск( ) Kобел.ф. ( ) 1 Приём сигналов с неизвестной фазой. Рассматривая оптимальный приёмник Котельникова и его частные случаи, мы предполагали что фаза опорных генераторов совпадает с фазой принимаемых сигналов с точностью до доли периода высокой частоты. Поэтому необходимо предусмотреть системы синхронизации (ФАП),которая выделяет фазу из приходящего сигнала и подстраивает по ней приёмный генератор. Это приёмник с известной фазой, когерентный, оптимальный. Если фаза не определена- приёмник с неизвестной фазой (некогерентный). Фазу невозможно определить если: 1. Формирование сигнала в передатчике производится без учета фазы несущего колебания. Фаза становится случайной величиной. 2. В канале связи скачки фазы с большой дисперсией. 3. Реализация когерентного приёмника экономически нецелесообразна из-за необходимости строить ФАП. S1 U 0 cos 0t U опорн. U 0 cos 0t 0 T T T 0 0 0 2 2 2 U cos t cos( t ) dt U 0 . 5 cos dt U 0 0 0 0 0 0 0.5 cos(20 ) dt 0.5U 02T cos 0 (140) Схема для приёма сигнала ДЧМ (фаза не известна). Квадратурная схема: Квадратор Квадратор Квадратор Квадратор Алгоритм работы: Если U12 U 22 то S1 , иначе S2 T U инт.1 A cos 1t A cos(1t 1 )dt 0 S1 (t ) A cos 1t S 2 (t ) A cos 2t Рассмотрим только первый сигнал: T U инт.1 A 2 2 0 . 5 cos 0 . 5 cos( 2 t ) dt 0 . 5 A T cos 1 0 1 На выходе первог о интег ратора 0 T U инт.2 A cos 1tA sin(1t 1 )dt 0.5 A2T sin 1 На выходе второг о интег ратора 0 2 2 4 2 2 2 4 2 U p. y. U12 U инт U 0 . 25 A T (cos sin ) 0 . 25 A T .1 инт.2 1 1 на выходе Р.У . Эта схема инвариантна (независима) по фазе. Если интеграторы оптимальные, то схема реализует оптимальный некогерентный приём. При условии что интеграторы являются оптимальными фильтрами. Помеха присутствует, она приходит по каналу сигналов и . Между помехами сложное взаимодействие. Помеха благодаря квадратурным схемам разлагается на квадратурные составляющие и . Некогерентный приём ДЧМ. При поступлении сигнала по верхнему каналу получаем огибающую , которая подаётся на решающее устройство. В это время, по второму каналу проходит помеха от первого сигнала через фильтр, согласованный со вторым сигналом . При малых помехах канал с сигналом имеет большую величину по сравнению с помехой; Решающее устройство работает правильно. Это справедливо при малых помехах. А при больших помехах: Помеха превысила сигнал. Е(t) W (E) W(Eп ) W (Eсп ) Ec t 0 t 0 W ( Eсп ) Eсп 2 W ( Eп ) 2 E сп A2 e Eп 2 2 2 J0 ( Eсп A 2 ) (141) Eп2 e 2 2 (142) P PEп Ecп W ( Eп ) dEп ош E Eсп (143) Подставим выражение (142) в формулу (143) и получим: ош P e E 2 2 f ( Eсп ) (144) Pош f ( Eсп ) W ( Eсп ) dEсп (145) 0 Подставим условия (143) и (141) в выражение (145), получим: Pош 0.5 e A2 4 2 (146) Pc A2 h Pn 2 2 2 (147) Подставим условие (147) в выражение (146), получим: Pош. ДЧМ 0.5e h2 2 (148) Pош. ДАМ 0.5e h2 4 (149) Для ДФМ некогерентного приёма нет, но можно определить для относительной фазовой модуляции. h2 Метод сравнения фаз: Pош. ДОФМ 0.5e Переход от ДАМ к ДЧМ даёт двукратный выигрыш по максимальной (пиковой) мощности, по средней мощности они эквивалентны. Когерентный приём имеет ,большую помехоустойчивость по сравнению с некогерентным. Некогерентный приём: Когерентный приём: Синф. При сравнении помехоустойчивости когерентного и некогерентного приёмов можно убедиться , что при когерентном приёме вероятность ошибки значительно меньше, чем при некогерентном. Это объясняется тем, что при некогерентном приёме флюктуационная помеха полностью влияет на помехоустойчивость приёма. При когерентном приёме на вероятность ошибки влияет только синфазная составляющая помехи, квадратурная же составляющая подавляется синхронным детектором. В результате чего когерентный приём обеспечивает практически двукратный энергетический выигрыш по сравнению с некогерентным приёмом, так как мощность огибающей помехи в два раза выше мощности её квадратурных составляющих. Сравнение помехоустойчивости всех рассмотренных методов приёма. График вероятности ошибок Приём дискретных сигналов со случайной амплитудой. При неизвестной амплитуде определяют вероятность ошибки для соответствующего вида модуляции. 1 Pош e 2 ДЧМ НКГ: h2 2 (150) ДЧМ КГ: Далее усредняют по всем возможным значениям h: Pош f (h) (152) Pош Pош (h)W (h)dh 0 W ( A) A 2 c e (153) A2 2 c2 S (t ) A cos 0t (154) (155) 2 P A h2 c Pn 2 2 (156) A 2h (157) Pош 1 1 Фh 2 (151) Учитывая функциональную связь А и h: W ( A)dA W (h)dh W (h) W ( A) dA dh (158) (159) Подставим (157) в (154) с учетом (159) и заменим A на h, получим: 2h 2 W ( h) 2 c e h 2 2 c2 (160) c2 h 2 (161) h2 2h W (h) 2 exp 2 h hср ср (162) 2 ср h2 2h Pош Pош (h) 2 exp 2 dh h hср 0 ср (163) ДЧМ НКГ: 1 Pош e 2 0 h2 2 h2 2h dh 1 exp 2 h2 hср2 2 h ср ср (164) ДЧМ КГ: h2 1 2h 1 Pош 1 Ф(h) 2 exp 2 dh 2 h 2 hср 2hср 0 ср (165) Выводы: 1. Энергетический выигрыш при КГ приёме в 2 раза больше, чем при НКГ. 2. Чтобы получить малую вероятность ошибки (< ), мощность сигнала нужно увеличить в сотни раз по сравнению с каналами без замираний. По этому в каналах с замираниями для уменьшения вероятности ошибки используют другие методы повышения помехоустойчивости (например, разнесённый приём). Кроме того ошибки в таких каналах часто «пакетируются», то есть встречаются интервалы времени, внутри которых вероятность ошибки резко увеличивается. Приём сигналов ДОФМ: ДФМ обеспечивает наиболее высокую помехоустойчивость приёма дискретных сигналов. Однако при практической реализации схемы приёмника возникают трудности с получением опорного напряжения. Как видно из рисунка 17 для получения опорного напряжения используется генератор, синхронизируемый входным сигналом. S1 (t ) A cos 0t; S2 (t ) A cos 0t Если x(t) содержит , на выходе интегратора имеем напряжение, равное .Если же x(t) содержит сигнал интегратора имеем напряжение равное , то на выходе . Сему можно упростить, если использовать один коррелятор (рисунок 18): Напряжение на выходе интегратора сравнивается с пороговым напряжением, равным нулю, и в зависимости от результата сравнения выдаёт сигналы S1 или S2. (рисунок 18). Под действием случайных помех фаза опорного генератора может скачком измениться на 180 градусов, тогда опорное напряжение будет совпадать по фазе не с сигналом S1, а с сигналом S2. Так как при ДФМ S2(t)=-S1(t), то неправильная фаза опорного генератора приводит к появлению «обратной работы», когда сигналы S1(t) принимаются как S2(t) и наоборот (для двоичного сигнала это означает что сигналы «1» превращаются в «0», а «0» в «1»). Для устранения «опасности» обратной работы применяется «относительная» фазовая модуляция (ДОФМ). Если при обычной дискретной фазовой модуляции приём осуществляется путём сравнения фаз приходящего сигнала с фазой опорного генератора, то при ДОФМ осуществляется сравнение фазы каждой посылки с фазой предыдущей посылки. Если фаза очередной посылки совпадает с фазой предыдущей, то приёмник выдаёт «1», если же фазы противоположны, приёмник выдаёт «0». ДОФМ КГ: ССП – Система сравнения полярностей. Если фаза совпадает, то «1» Если фаза не совпадает, то «0». Pош. ДОФМ КГ 2Pош. ДФМ 1 Ф( 2h) (170) ДОФМ НКГ: Система сравнения фаз. 1 h2 Pош e 2 max h 2 h02 (171) Ec N0 Имеет место в том случае , ког да в качестве фильтров ФНЧ используют ся оптимальные фильтры. (172) 5 Основы теории информации. 1. Количественная мера информации должна обладать свойством аддитивности, то есть суммарная информация нескольких независимых сообщений должна быть равна сумме из каждого сообщения. 2. Количество информации в достоверном событии (вероятность равна 1) равна нулю. 1 log P( x) P( x) (1) Бит (2) 1 J ( x) ln 1 ( Нит) e (3) J ( x) log J ( x) log 2 1 1 2 (количество информации, Бит) Если при передаче сообщений используется двоичная система символов, то количество информации измеряют в Битах. Информация – совокупность сведений о явлении или объекте. J ( x) log P( x) Энтропия – это среднее количество информации на одно сообщение (символ). Энтропия характеризует степень неопределенности. k H ( x) m[ J ( x)] P( xi ) log P( xi ) i 1 k алфавит дискретного источника (4) Свойства энтропии: 1. Чем больше неопределенность выбора сообщений, тем энтропия. Принимает максимальное вероятностей выбора. P( x1 ) P( x2 ) P( xk ) 1 k (5) Pi вероятность выбора k 1 1 H ( x) max( H x ) log log k k k i 1 (6) При k 2 1 1 H max ( x) log 1 ( Бит / символ) 2 2 (7) значение при больше равенстве 2. Неопределенность минимальна, если одна из вероятностей равна единице, а все остальные нулю: P( x1 ) 1 P( x2 ) P( xk ) 0, то H ( x) H min ( x) 0 При k 2 : P( x1 ) P( x2 ) 1 H ( x) P( x1 ) log P( x1 ) P( x2 ) log P( x2 ) P( x1 ) log P( x1 ) (1 P( x1 ) log[(1 P( x1 ))]) H ( x) 1 1 2 0 1 1 2 1 0 P (x) 3. Укрупнение алфавита: k 2n n количество символов в комбинации H ( x) H max ( x) log k log 2 2n n ( Бит) подтверждает своиство аддитивности 4. Энтропия не может быть отрицательной. Энтропия дискретного источника С зависимыми сообщениями. Если выбор данного сообщения зависит от предыдущих сообщений, то это зависимые сообщения. Такие процессы описываются цепями Маркова-цепь n-го порядка, если выбор данного сообщения зависит от n-предыдущих и не зависит от более ранних. P( xi xi 1 , xi 2 ,, xi n ) P( xi xi 1 , xi 2 ,, xi nc ) Где с любое число Если объём алфавита V= k, а число связанных букв равно n, то при каждом выбранном элементе нужно учитывать n-предыдущих. M kn где М количество возможных состояний q1 , q2 ,, qM Энтропия вычисляется в 2 этапа: 1. Вычисляется энтропия источника в каждом из n-состояний: H ( xi q1 ) P( xi q1 ) log P( xi q1 ) q1 (8) i H ( xi q2 ) P( xi q2 ) log P( xi q2 ) q2 (9) i H ( xi qM ) P( xi qM ) log P( xi qM ) qM (10) i 2.Находим H(x) путём усреднения по всем состояниям q. При наличии корреляционных связей между буквами энтропия уменьшается. M k j 1 i 1 H ( x) P(q j ) P( xi qi ) log P( xi qi ) H 0 ( x) H1 ( x) H 2 ( x) H n ( x) (11) Избыточность источника. Как было показано ранее, энтропия максимальна при равновероятном выборе элементов сообщений и отсутствии корреляционных связей. При неравномерном распределении вероятностей и при наличии корреляционных связей между буквами энтропия уменьшается. Чем ближе энтропия источника к максимальной, тем рациональнее работает источник. Вводят понятие избыточности источника сообщений: g H max ( x) H ( x) 100% H max (12) log k H ( x) 100% log k (13) g Наличие избыточности приводит к загрузке канала связи передачей лишних букв сообщений, которые не несут информации. Однако, преднамеренная избыточность в сообщениях иногда используется для повышения достоверности передачи информации- например, при помехоустойчивом кодировании в системах передачи информации с исправлением ошибок. Производительность источника дискретных сообщений. H ' ( x) H ( x) [ Бит / с] (14) Если изменяется, то i p( i ) i p( xi ) i i Максимально возможная производительность: max H ' ( x) max H ( x) H 'max ( x) max H ' ( x) Если log k (16) log k (17) k 2, то H 'max ( x) 1 (18) При укрупнении алфавита: log 2n 1 H 'max ( x) n (19) Для источника с основанием кода-m (не двоичного): H 'max ( x) 1 log 2 m (20) (15) Совместная энтропия двух источников. k , l алфавиты источников H ( x, y) m{ log P( x, y)} (21) или H ( x, y) m{ log P( x) log P( y / x)} k l H ( x, y) P( xi , yi ) logP( xi , yi ) i (22) (23) j P( x, y) P( x) P( y / x) P( y) P( y / x) (24) Подставим (23) в (21), получим: H ( x, y) m{ log P( x, y)} m{ log P( x) log P( y / x)} H ( x) H ( y / x) или H ( x, y) H ( y) H ( x y) (26) (25) (26) Аналогично (25) Здесь H(x) и H(y)- собственная энтропия источников x и y. k l H ( y / x) P( xi , y j ) log P( y j / xi ) i (27) j Условная энтропия источника у относительно источника х. Она показывает, какую энтропию имеют сообщения у, когда уже известно сообщение х.Если источники независимы, то и . В этом случае источники частично зависимы, то зависимы (х и у – содержат одну и ту же информацию), то . Если . Если источники полностью и Взаимная информация источников сообщений. Hy / x H(y/ x) H ( y) H(x y) Hx H x, y H(x, y) Hy H ( x) H(x/ y) Hx / y H ( x y ) Взаимная энтропия H ( x y ) H ( y ) H ( y x) (28) H ( x y ) H ( x) H ( x y ) x- сигнал на передаче y- сигнал на приеме. (29) H ( y / x) H ( ), где помеха H ( x y) потери источника Взаимная информация должна быть максимальна с точки зрения связи. Скорость передачи информации и пропускная способность канала связи. R ( x, y ) H ( x) - Скорость передачи при отсутствии помех. При наличии помех: помехи источник R ( x, y ) получатель канал H ( x y) 1 H ( x) H ( x y) R ( x, y ) H ' ( x ) H ' ( x y ) Максимальная скорость в канале- это пропускная способность. C max R( x, y) Если m-основание кода, а n-длина кодовой комбинации, то: log m n log m C max R( x, y ) n средняя длительнос ть При m 2 C (30) 1 При отсутствии помех: R( x, y) H ( x) H ' ( x) (31) Теоремы Шенона. 1. Для канала без помех: можно построить оптимальный (статистический код.) 2. Для канала с помехами: указывает только на возможность такого кодирования, но не указывает способа построения соответствующего кода. Однако известно, что при приближении к пределу, который устанавливает теорема Шенона, резко возрастает время запаздывания сигнала в устройствах кодирования и особенно декодирования из-за увеличения длины кодового слова n. При этом вероятность эквивалентной ошибки на n C H '( x ) выходе канала стремиться к величине: Pэкв 2 (32) n длина кодовой комбинации Очевидно, что Pэ 0 , когда n и, следовательно, имеет место «обмен» верности передачи на скорость и задержку передачи. За счет повышения происходит задержка в декодирующих устройствах. Первая теорема Шеннона (для канала связи без помех): Если источник сообщений имеет энтропию Н(х) (бит на символ), а канал связи – пропускную способность С (бит в секунду), то можно закодировать сообщение таким образом, что бы передавать информацию по каналу со средней скоростью, сколь угодно близкой к величине С, но не превзойти её. К. Шеннон предложил и метод такого кодирования, который получил название статистического или оптимального кодирования. В дальнейшем идея для такого кодирования была развита в работах Фано и Хаффмана и в настоящее время широко используется на практике для «сжатия сообщений». Вторая теорема Шеннона (для каналов связи с помехами) Если пропускная способность канала равна С, а производительность источника H’(x)<C, то путём соответствующего кодирования можно передавать информацию по каналу связи со скоростью, сколь угодно близкой к С и с вероятностью ошибки, сколь угодно близкой к нулю. Статистическое кодирование(код Шенон-Фано-Хаффмана). H ' ( x) & H ( x) (33) H max ( x) H ( x) log k H ( x) 100% 100% H max ( x) log k H ' ( x) 1 H max ( x)(1 &) (34) (35) Для увеличения производительности нужно уменьшать избыточность & или среднюю длительность . Пример: 4 P(ai )ni 1.75 выигрыш i 1 2 1.43 1.75 Вероятности появления событий из алфавита располагаются от большего к меньшему. Весь алфавит делится на две группы с примерно равной суммарной вероятностью. Верхней группе присваивается «0», нижней «1». Оставшаяся группа опять делится на две части и т.д. Получаем неприводимый неравномерный код. Статистическое кодирование применяется для сжатия информации при передаче, т.е. для получения минимальной средней длины кодовой комбинации. Энтропия непрерывного источника и её свойства. k k H ( x) m{ log 2 J ( x)} P( xi )J ( xi ) P( xi ) log P( xi ) i 1 (36) i 1 заменим P( x) W ( x)dx H ( x) W ( x)dx log 2 [W ( x)dx] W ( x)[log W ( x) log x]dx H ( x) W ( x) log W ( x)dx (37) Таким образом энтропия непрерывной величины бесконечно велика, но так как первое слагаемое ∞ от величины х и от W(x) не зависит, то первое слагаемое отбрасывают и учитывают только второе слагаемое, эта энтропия называется дифференциальной. Свойства дифференциальной энтропии: 1. Условная энтропия случайной величины у относительной случайной величины х: H ( y x) W2 ( y, x) log W ( y / x)dxdy (38) 2. Совместная энтропия: H ( y x) W2 ( y, x) log W2 ( y / x)dxdy (39) 3. Условная энтропия: - Если источники независимы: H ( y, x) H ( x) H ( y) - Если источники зависимы: H ( y, x) H ( x) H ( y / x) H ( y) H ( x / y) 4. Взаимная энтропия: H ( y x) H ( x) H ( x / y) H ( y) H ( y / x) 5. Если СВ ограничена объемом V=b-a (функция нормированная), то её энтропия максимальна при равномерном законе распределения. W (x) a 0 b x b H ( x) max 1 1 log dx log( b a) log 2 V ba ba a (40) Энтропия зависит только от (b-a), по этому энтропия непрерывного источника не зависит от математического ожидания. 6. Если плотность неограниченна, но процесс имеет конечную мощность (энергию), то максимум энтропии будет в случае гауссовского закона. H ( x) m{ log 2 W ( x)} 1 W ( x) e 2 (41) ( x a )2 2 2 ( xa )2 1 1 2 2 2 H max ( x) m log e log 2 2 log 2 e 2 2 H max ( x) log 2 2e (42) (43) здесь учтено, чтоm {( x a) 2 } 2 Максимальная энтропия не зависит от математического ожидания, а зависит только от дисперсии (или от среднеквадратического отклонения). Пропускная способность непрерывного канала связи. Скорость передачи для дискретного канала: 1 R( x, y ) [ H ( x) H ( x / y )] 1 C max R( x, y ) max [ H ( x) H ( x / y )] (44) заменим 1 ~ 2 Fmax 2 Fk Пропускная способность непрерывного канала: Cнепр 2Fk [ H ( x) H ( x / y)] 2Fk [ H ( y) H ( y / x)] (45) H ( y / x) Энтропия шума y x Помеха должна быть распределена по нормальному закону, если энтропия распределяется по нормальному закону. W ( y / x) 1 2 2 y x e ( x ) 2 2 2y x 1 2 2 e 2 2 2 (46) х выступает в роли математического ожидания; энтропия не зависит от математического ожидания. H ( y / x) m{ log W ( y / x)} (47) 1 2 H ( y / x) m log log e m{log W ( )} H ( ) 2 2 2 2 Отсюда видно почему условная энтропия (48) называется энтропией шума. Для гауссовского закона распределения помехи максимальное значение энтропии шума, как было определено ранее равно: max H ( y / x) H max ( ) log 2 e 2 (49) Тогда окончательно получаем: C 2 Fk log 2 e log 2 e 2 y 2 y 2 Fk log (50) Перенося число 2 под знак логарифма получим y2 C Fk log 2 . (51) В этом выражении 2 P Мощность помехи (52) мощность сигнала на выходе канала связи. С учётом этого получаем окончательно формулу для вычисления пропускной способности непрерывного канала связи (формула Шенона): Pc C Fk log1 P (53) В заключении отметим, что для достижения скорости передачи информации по непрерывному каналу связи, близкой к пропускной способности канала связи, сигнал x(t) по статистической структуре должен быть близок к флуктационной помехе (белому шуму) с гауссовским законом распределения. 6 Основы теории помехоустойчивого кодирования. k алфавит 2k количество комбинаций Информационная часть Избыточные элементы (не несут информации) Сущность обнаружения ошибки: Всё пространство возможных кодовых комбинаций делится на подпространство разрешённых (0) кодовых комбинаций и на подпространство запрещённых( например для кода (7,4), количество комбинаций равно )кодовых комбинаций всего, 24 1 15 Если из-за ошибок исходная разрешенная комбинация перешла в другую разрешенную комбинацию, то такая ошибка не 2 k 16 разрешено 2 7 2 4 запрещено 112 обнаруживается. Сущность исправления ошибки: в два этапа: 1. Вычисляется кодовое расстояние всех пришедших кодовых 2 1 15 комбинаций с разрешёнными. 2. По минимальному кодовому расстоянию эта комбинация идентифицируется с одной из разрешенных. Подпространство возможных комбинаций делится на пространств разрешенных кодовых комбинаций. 24 1 15 подпространств В каждом подпространстве одна разрешённая комбинация, а остальные Запрещенные, но по своему значению они очень близки к разрешенной. 2 k k0 2n k k k0 k запр (количество запрещенных комбинаций) В запрещённых комбинациях обнаруживается ошибка: Pобн k k0 k0 log 2k kобн 1 1 Рош k k log 2n kисп Рисп k k0 kобн Рош kk0 k0 (2) (3) 1011100 Ai 1101110 A j 11 1 d ij 3 min d ij Расстояние по Хемминг у d t-кратность ошибки(количество искажений элементов в одной кодовой комбинации). Pn (t) 6 II I 3 0 1 2 В каналах связи ошибки бывают: - Зависимые (I) - Независимые (II) 3 4 t Классификация корректирующих кодов. Все коды делятся: 1. Блочные -передаваемое сообщение делится на блоки. Процесс кодирования и декодирования осуществляется отдельно на каждом блоке. 2. Непрерывные- проверочные символы появляются путем непрерывного преобразования по определённому алгоритму информационных символов. Кодирование и декодирование не разделяются. 3. Разделимые – можно определить информационные и проверочные элементы. 4. Неразделимые – этого сделать нельзя. 5. Линейные –это разделимые коды, в которых проверочные элементы определяются линейными операциями с информационными элементами. Все линейные коды делятся: 1. Систематические (групповые)-если две комбинации принадлежат этой группе, то при сложении по модулю 2, получившиеся комбинации тоже принадлежат этой группе. 2. Несистематические- в противном случае. Обнаруживающая исправляющая способность кода. Ai 110011 010011 010111 A j010110 dij 3 A p 1 A d0 0 Ap 2 d Если t d , то Ар1 Ар 2 tобн d 1 (принятая комбинация превращается в запрещенную комбинацию и обнаруживается) Pt P0t (1 P0 ) n t t кратность шибки P0 вероятность ошибки одног о элемента Если P0 <<1и ошибки независимы, отсюда следует, что с увеличением кратности ошибки d 1 tи (4) вероятность многократной ошибки резко уменьшается. 2 Для гарантированного обнаружения однократной ошибки исправления однократной ошибки d=3. при t 0 Cnt tоб d 1, d 2 Pt 0 Pправ (1 P0 ) n n! t!(n t )! количество сочетаний (5) P0t Cnt P0t (1 P0 ) n t (6) Pнеобн 1 Pпр Ркор (7 ) Pкор P0t Cnt P0t (1 P0 ) n t (8) t t Pнеобн 1 (1 P0 ) n Cnt P0t (1 P0 ) n t t (9) для Ap1 d испр d испр d и t исправляют dи t d dи обнаружива ют tстирания tстирания d 1 Избыточность кода: & log k0 nk 1 n log k (10) Главными параметрами кода являются: Pнеобн.ош , & , n Ap 2 Простейшие корректирующие коды. Они только обнаруживают ошибку. Алгоритм: 1. Название кода 2. Принцип обнаружения ошибки 3. Коэффициент обнаружения 4. Вероятность ошибки 5. Вероятность не обнаружения ошибки 6. Избыточность 1) Код с проверкой на четность: Добавляем к информационным символам один проверочный, чтобы число единиц было чётным: 101101 5 K n 6 Принцип обнаружения- проверка на чётность Коэффициент обнаружения: k k 0 2 6 25 kобн 0.5 6 k 2 Pош 1 (1 P0 ) n 1 (1 P0 )6 Данный код обнаруживает ошибки нечетной кратности. P0t Cnt P0t (1 P0 ) n t t Pно C62 P02 (1 P0 ) 4 C64 P04 (1 P0 ) 2 C66 P06 Избыточность: & 65 0.17 6 Данный код разделимый и блочный 2) Код с постоянным весом: Вес- количество единиц кодовой комбинации. Рассмотрим код 3 к 4: 1001100 1010100 Принцип обнаружения - определение веса (количество единиц) Обнаруживает все ошибки нечетной кратности и 50% ошибок вероятности нечетной кратности. Не обнаруживает ошибки четной кратности, когда количество искаженных единиц равно количеству искаженных нулей. k k0 128 35 kобн 0.73 k 128 k 27 128 k0 C73 7! 3!4! Pош 1 (1 P0 ) n 1 (1 P0 )7 1 0 , 0 1 не обнаружива ет 2 ед. 0 , 2 нуля 1 3 ед. 0 , 3 нуля 1 Pно C31 P01 (1 P0 ) 2 C41 P01 (1 P0 )3 C32 P02 (1 P0 )1 C42 P02 (1 P0 ) 2 C33 P03 (1 P0 ) 0 C43 P03 (1 P0 )1 вероятность искажения "1" вероятность искажения "0" Избыточность: H max ( x) H ( x) log 27 log 35 log 27 log 25 2 & H max ( x) log 27 log 27 7 Код блочный неразделимый систематический. 3) Инверсный код: k 5 r 5 & 1 2 Если в информационной части четное количество единиц, то проверочные элементы повторяются (такие же). Если нечетное, то в проверочной части происходит их инвертирование. 11001 11011 11001 00110 0 5 k k0 210 25 kобн 0.97 10 k 2 Обнаруживает одиночные, двойные, тройные ошибки и все ошибки нечетной кратности. Не обнаруживает четырёхкратную ошибку, при которой в информационной и проверочной части искажены одни и те же элементы. Pно C52 P02 (1 P0 )3 P02 (1 P0 )3 вероятность искажения двух элементов в инфор.части вероятность искажения тех же элемен тов в провер. Pош 1 (1 P0 ) n 1 (1 P0 )10 Код блочный, разделимый, систематический. 4) Цепной код: (непрерывный, рекурентный) На каждый информационный символ добавляется один проверочный. a1b1a2b2 ak bk ak 1bk 1 b1 a1 a2 ; b2 a2 a3 ; bk ak ak 1 (11) В случае ошибочного приёма информационного сигнала ai соотношение (11) не будет выполнятся при двух значениях k: k1=i-1 и k2=i. Отсюда правило исправления ошибок при декодировании. В принятой кодовой последовательности для каждого bk проверяется соотношением (11). Если оно оказалось не выполненным при двух значениях k(k=k1 и k=k2) и при этом k2- k1=1 информационный элемент ak+1 заменяется на противоположный. Он позволяет исправлять все ошибки, если они возникают достаточно редко. Он обеспечивает правильное декодирование, когда между двумя ошибочно принятыми символами имеется не менее трёх правильно принятых. При этом учитываются как информационные, так и корректирующие символы. Сложные коды. Циклический код. Способ построения кода (7,4): 1. р(х) -информационный полином. 2. g(x) -порождающий полином. 3. xr– выравнивающий полином. 4. r – проверочный элемент. Способ построения кода: Пример P( x) x 1. 3 1001000 1011 1011 1000 1011 110 1001000 2. P( x) x 3 1 P( x) x 3 x 6 x 3 x 6 x 6 x 3 x 4 x 4 x 4 x3 x 1 x 3 x 2 x x 2 x x3 x В приёмнике (декодере) принятая кодовая комбинация делителя на производящей полином. При нулевом остатке комбинация принята верно, либо содержит необнаруженную ошибку; остаток от деления указывает, что комбинация принята с обнаруженной ошибкой. По виду остатка может быть определён искажённый элемент в информационной части принятой кодовой комбинации (формируется так называемый синдром).