Модельная оценка распознавания объектов

Модельная оценка распознавания объектов
видеоспектрометрами космического
базирования по данным воздушной
и наземной гиперспектральной съемки
Остриков В.Н., Плахотников О.В., Шулика К.М.
Санкт-Петербургский филиал ОАО «КБ «Луч»
197376, г.Санкт-Петербург, ул.Академика Павлова, д. 14а
тел.: (812) 234-76-52
факс: (812) 234-76-51
luchspbf@rambler.ru
fillspb@rambler.ru
2
Структурная схема модельных исследований
Генератор параметров условий наблюдений и параметров прибора ГСС
Синтез пространственно - спектрального сюжета (образа объект – фон)
Синтез элементарного сюжетно –
портретного шаблона
(пространственного распределения
объект - фон)
Модель условий наблюдения,
передаточной характеристики ФПУ прибора
(спектрально - пространственное
размытие, пространственно-спектральный шум)
Модель калибровки (пересчет элементов в КСЯ)
Модель формирования случайного
(с заданной функцией распределения)
элементарного спектрального сигнала
(в базовом элементе
пространственного разрешения)
База основных характеристик КСЯ,
минимальные, максимальные значения
объектов и фонов,
функции распределения
на отдельных спектральных линиях
Модель субпиксельного бинарного разделения
(спектральное отнесение элементов
к объекту или фону)
Расчет вероятностей спектрального различения объект-фон
3
Генератор параметров условий наблюдений и
параметров прибора ГСС
- задание высоты наблюдения;
- зенитного угла;
- типа атмосферы;
- аэрозоля;
- МДВ;
- набора СПЭЯ модельных элементов сцены в зависимости от КСЯ (на MODTRAN5.2).
- задание диаметра апертуры;
- фокусного расстояния;
- коэффициента экранирования первичного зеркала;
- размера приемного элемента;
- коэффициентов аберраций оптики;
- кривой относительной спектральной чувствительности приемной матрицы
и пропускания оптики;
- среднее альбедо фона;
- энергетической чувствительности приемных элементов;
- пространственного биннинга;
- интервала спектральной чувствительности.
Синтез элементарного сюжетно - портретного шаблона
(случайного пространственного распределения объект - фон)
1, если RAVN (ij )  K zap
bij (m)  
0, если RAVN (ij )  K zap
Усреднение в R*R раз каждого
моделируемого элемента разрешения
исходный пространственный шаблон разрешения 1:2
шаблон 1:1
увеличение в 2 раза
шаблон разрешения 1:4
увеличение в 4 раза
шаблон разрешения 1:8
увеличение в 8 раз
Пример формирования пространственного шаблона для коэффициента заполнения 0.33
исходный пространственный шаблон разрешения 1:2
шаблон 1:1
увеличение в 2 раза
шаблон разрешения 1:4
увеличение в 4 раза
шаблон разрешения 1:8
увеличение в 8 раз
Пример формирования пространственного шаблона для коэффициента заполнения 0.7
4
Синтез элементарного сюжетно - портретного шаблона
(детерминированного пространственного распределения объект - фон)
Усреднение в R*R раз каждого моделируемого элемента разрешения
исходный пространственный
шаблон - 1 объект в модельном
элементе разрешения (увеличение в 2раза)
исходный пространственный
шаблон - 4 объекта в модельном
элементе разрешения (увеличение в 2раза)
Пример формирования пространственного шаблона для заполнения моделируемого элемента
разрешения одним и четырьмя объектами
5
Моделирование случайных спектральных векторов
на пространственном шаблоне тестового поля

  Fv ( )  qij  (1  qij )   Fn ( ), ij  bO
  Ov ( )  qij  (1  qij )   On ( ), ij  bF

ij ( )  
Заданная функция распределения   FO,F (ij )

 FO ( RAVN [ ij ]), ij  bijO
qij  

 FF ( RAVN [ ij ]), ij  bijF
6
7
Расчет сигнальных характеристик
модельного образа объект - фон
L
Vij ( )  p  tn   2   o ( )  ( )  o [  bka ( )   ka ( )  Sk ( )  kij ( )]
k 1
- сигнал приемного элемента
L
VF ( )  p  tn   2  o ( )  ( ) o [  bka ( )   ka ( )  Sk ( )  kF ( )]
k 1
tn 
  H o  10 3
f  398600 ,44 /( Rz  H o  10 3 )
p  d2 /4 f 2
L   /109
Ho 103[км]
 o    / L
Шум приемных элементов
N p ( )   p ( ) 
2
Pp   2  
hc
,
Pp [Vatt  sec m 2 ]  пороговая экспозиция
Rz  6371 [км ]
- сигнал от фоновой облученности
h  6.63  10 34[ Дж  с] с  3  108 [m / c]
2
 F ( )  N F ( ) - распределение
Пуассона
 ( ) 
N F ( )
k ch  F ( )  2 2 p ( )
2
Фотонный шум
N F ( )    VF ( ) / h  c
- отношение сигнал-шум тракта
Шум в спектральном канале
 m ( )  VF ( ) /  ( )
kch  коэффициен т шума считывания  1.2
Коэффициент шума считывания в общем
случае определяет все составляющие
регулярных и случайных возмущений данных
ГСС, обусловленных как собственно
считыванием, так и модуляцией
чувствительности приемных элементов
матрицы
Расчет оптических сигналов на входной апертуре
Атмосфера субарктическая летняя, 30 град в, 60 град с, 21 июня, 13-16 ч местного
На основе модели MODTRAN 5.2 рассчитывается набор зависимостей спектральных плотностей энергетических яркостей (СПЭЯ) от
КСЯ поверхности на заданной высоте наблюдения с шагом 1 нм, верификация расчетов проверялась сопоставлением с измеренными
спектральными характеристиками сигналов на основе полевого ручного спектрометра (FieldSpac).
50-0-10
5-0-10
23-10-10
23-10-13
8
Спектральные свойства тракта
Матрица «SONY» ICX285
Отношение сигнала к шуму
9
10
Линейная модель формирования
изображения в частотной области
g   21{ 2 [ f ] 2 [h]}
g , f - выходное изображение и исходный энергетический портрет
2[], 21[] - прямое и обратное двумерные преобразования Фурье
Функция рассеяния точки
h(q)  {2[ p(q)]}2 , q  {qk }, k  0,1,...,n
Функция зрачка в полярных
координатах
A(  , )  1,
p(  , )  A(  , ) exp[i
2

w(  , )],
(  , )  апертуре
n
Фазовая функция
w(  , )   qk zk (  , )
k 0
z k (  , ) 
полиномы волновых аберраций
Для качественной оптики космического исполнения коэффициенты аберраций
определяются по Сокольскому М.Н.
qk
Оптическая передаточная функция прибора
в тракте формирования спектральных сигналов
Учитываются параметры оптико-электронного прибора и размер элементов приемной
матрицы.
В зависимости от длины волны принимаемого сигнала, аберрационных искажений
оптики и допустимого смаза в пределах размера приемного элемента рассчитывается
ОПФ ОЭП, которая применяется к модельному образу объект-фон. Верификация
расчетов проведена сопоставлением полученных МПФ с имеющимися в литературе
данными (в частности, по работе Смирнова М.Н. – ВНЦ «ГОИ им. С.И.Вавилова»).
11
Рассчитанные ОПФ ОЭП в зависимости от длины волны
0.42 mkm
0.66 mkm
1.0 mkm
Рассчитанные ФРТ в зависимости от длины волны (X16)
0.42 mkm
0.66 mkm
1.0 mkm
12
Преобразование сигнала трактом
формирования, имитация калибровки
а
б
в
г
Последовательное преобразование тестового поля (R – 1.0 мкм, G –0.66 мкм , B – 0.42 мкм):
а) модельное распределение КСЯ, б) сформированный сигнал на элементе, в) с учетом
влияния оптического размытия, г) с наложенным аддитивным шумом
13
Субпиксельный метод спектрального разделения
текущего вектора на объект - фон
14
Шум
(qijO , qijF )T   (ij )  ( SofT Sof ) 1 SofT ij
so1 , so 2 ,..., soN 
S 
, ij  ijk k 1,..., N
s
,
s
,...,
s
fN 
 f1 f 2
T
of
2
 O  1 M  1 qijO
( f ) , qijO( f )   ( ij  f )
M
Решающее правило
O , qijO  3 O
ij  
 f , qijO  3 O
Образ сигнала объекта,
Образ сигнала объекта,
разрешение 8*8 пикселей,
разрешение 8*8 пикселей,
увеличение в 15 раз
увеличение в 15 раз
Гистограмма для интервала 5 нм,
разрешение 8*8 пикс*пикс
Гистограмма для интервала 20 нм,
разрешение 8*8 пикс*пикс
Исходные спектральные опоры и потенциальная
оценка спектрального различения пары объект - фон
Объект1 на траве
8*8
.
16*16
32*32
15
Исходные спектральные опоры и потенциальная
оценка спектрального различения пары объект – фон
(высота Солнца 60 град, МДВ=50 км)
Объект2 - трава
.
8*8
16*16
32*32
16
Влияние атмосферной трассы на
потенциальную оценку спектрального различения пары объект – фон
17
Различение спектрально близких поверхностей
Возмущенный грунт
MDV=50
Невозмущенный грунт
MDV=5
18
Некоторые выводы по приведенным результатам расчетов
- для заданных входных данных по аппаратуре, высота наблюдения 425 км, d : f=1:12, размер
фотоприемного элемента 7 мкм, спектральная чувствительность приемника 5*10-7 [Дж/м2],
- условия наблюдения- атмосфера арктическая летняя, сельский аэрозоль, МДВ =50 км, 23км,
5 км, надир, под 10 градусов от надира
По двум рассмотренным парам – два близких к фону объекта на фоне зеленой травы подходящий вариант спектрального
интервала – 10 нм, обеспечивающий максимальную спектральную чувствительность, для спектрально близких пар
«объект-фон» требуется повышение спектральной чувствительности прибора до 5 нм.
Для «идеальных» условий съемки аппаратура ГПС типа носителя TacSat-3 позволяет
потенциально различить объекты на заданном фоне, занимающие площадь до 3% от
элемента разрешения размером 8*8 пикселей. При переходе к более реальным условиям
наблюдения (высота Солнца далеко не соответствует максимальной освещенности либо
состояние атмосферы посредственное – метеодальность видимости не выше 5 км)
возможности различения рассмотренных спектральных пар объект-фон существенно
снижаются – потенциально различаются спектральные кривые, если площадь, занимаемая
объектом, составляет не менее 10% от элемента разрешения 8*8 пикселей.
Разработанная модель позволяет оценивать потенциальные возможности разделения
сочетаний различных спектральных пар в зависимости от условий наблюдения и параметров
используемых видеоспектрометров. Модель позволяет заранее проанализировать
возможности спектрального распознавания перекрестных сочетаний спектральных пар
используемой библиотеки и определить базовые векторы, отстоящие между собой на
спектральный контраст, разрешаемый аппаратурой с прогнозируемыми параметрами.
На базе модели проводится отработка методов спектральной идентификации объектов с
использованием библиотеки.
19
Выявление дефектов формирования ГСС
в специальной метрике
Синтезированный RGB образ (по снимку ЗАО «НТЦ «Реагент»)
Обработка исходных данных методом выявления регулярных искажений обобщенная метрика Афанасьева (ВНИИКАМ) - расстояние Хэмминга
20
Адаптивная радиометрическая коррекция для анализа уровня
корректируемых строчных шумов (КСШ) различных
средств космического наблюдения
КСШ фрагмента снимка QB
КСШ фрагмента снимка Ikonos
21
КСШ фрагмента снимка Eros
Адаптивная коррекция строчных шумов
Исходный кадр
Результат коррекции
22
Адаптивная компенсация высокочастотных строчных сдвигов
Образ после радиометрической коррекции
Результат компенсации высокочастотных строчных сдвигов
23
Компенсация полосовых шумов снимков
низкого качества методом адаптивной коррекции
Исходный фрагмент
Результат коррекции
24
Специальная адаптивная геометрическая коррекция
данных для синтеза комбинированных образов
панхроматической съемки и данных ГСС
а)
б)
г)
в)
Пример комбинированной навигационной (по крену) и специальной коррекции снимка: а) исходный вырез;
б) образ космической съемки того же участка; в) результат коррекции по навигационным данным;
г) результат специальной высокочастотно-низкочастотной (комбинированной) коррекции
25
Строчная радиометрическая коррекция ГСС
на отдельных спектральных линиях
исходный вырез
скорректированный
26
27
Адаптивная радиометрическая коррекция
строчного шума авиационной ГСС
Отображение исходного «куба»
Отображение результата коррекции
Разность
Адаптивная кадровая коррекция данных ГСС
на отдельной спектральной линии
Исходный спектральный
кадр
Скорректированный
спектральный кадр
Разность
28
Влияние радиометрической коррекции на данные ГСС,
полученные воздушной БАН
Синтезированный образ до коррекции
Синтезированный образ после коррекции
(результат интегральной коррекции)
29
30
Модельная оценка распознавания объектов
видеоспектрометрами космического
базирования по данным воздушной
и наземной гиперспектральной съемки