Исследование эффективности поэтапного определения

ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
С.А. ДОЛЕНКО1, И.В. ИСАЕВ1, Е.А. ОБОРНЕВ2,
И.Г. ПЕРСИАНЦЕВ1, М.И. ШИМЕЛЕВИЧ2
1
НИИ ядерной физики имени Д.В.Скобельцына МГУ им. М.В.Ломоносова,
Москва
2
Российский государственный геологоразведочный университет
им. С.Орджоникидзе, Москва
dolenko@srd.sinp.msu.ru
ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ
ПОЭТАПНОГО ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ
ПРИ НЕЙРОСЕТЕВОМ РЕШЕНИИ
ОБРАТНОЙ ЗАДАЧИ ЭЛЕКТРОРАЗВЕДКИ
При решении обратной задачи (ОЗ) электроразведки искомое распределение электропроводности (ЭП) в толще Земли описывается путём разделения исследуемого разреза на расположенные послойно блоки, с определением ЭП в центре каждого. Данная ОЗ обычно решается для отдельных блоков или групп блоков независимо друг от друга. В настоящей работе исследуется поэтапное определение параметров: при определении
ЭП блоков с большей глубиной залегания на вход нейронной сети подается также информация об ЭП блоков с меньшей глубиной залегания.
Ключевые слова: нейронные сети, обратные задачи высокой размерности, поэтапное определение параметров, электроразведка
Введение
Решение обратной задачи (ОЗ) электроразведки в геофизике представляет собой процесс построения оператора, отображающего вектор данных
о наблюдаемых на поверхности Земли значениях характеристик электромагнитного поля в вектор искомых геофизических параметров, описывающих распределение электропроводности (ЭП) в исследуемой подземной
области. Реальные распределения чрезвычайно сложны, и для их описания требуется очень большое количество параметров, что приводит к известной неустойчивости (некорректности) ОЗ электроразведки [1].
Нейронные сети (НС) являются одним из инструментов, применяемых
для решения ОЗ, в том числе и для решения ОЗ электроразведки [2]. Однако одной из основных проблем при решении этой задачи, в том числе и
с помощью НС, является её весьма высокая размерность, как по входу, так
и по выходу. Количество определяемых параметров NO, описывающих
216
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
распределение электропроводности, даже для рассматриваемого двумерного (2D) случая может составлять несколько сотен, а размерность входного вектора электромагнитных полей NI – несколько тысяч или десятков
тысяч.
Снижение вычислительной стоимости нейросетевого решения ОЗ может быть достигнуто путём компрессии входного вектора полей, например, путём отбора наиболее существенных входных признаков. Отметим,
что при правильном осуществлении такой компрессии качество решения
ОЗ также повышается [3].
В свою очередь, для каждой из компонент выходного вектора параметров задача, как правило, решается отдельно, т.е. для полного описания
распределения электропроводности требуется решить NO задач, построив
для этого NO нейронных сетей (НС) с одним выходом каждая.
Между тем, при нейросетевом решении многопараметрических обратных задач возможны несколько подходов.
1. Решение отдельной ОЗ с одним выходом с построением отдельной
НС для каждого из определяемых параметров, как было описано выше
(автономное определение). Этот подход наиболее универсален и применяется чаще всего.
2. Решение одной ОЗ с одновременным определением всех искомых
параметров, что соответствует построению одной НС с NO выходами.
Эффективность такого подхода достаточно быстро деградирует с увеличением количества определяемых параметров. При NO>20 он становится
практически неприменим. Однако для ОЗ с малым количеством параметров он иногда позволяет снизить погрешность их определения.
3. Объединение параметров в группы с одновременным определением
параметров (и построением одной НС) внутри каждой группы (групповое
определение). Способ объединения в группы диктуется при этом физическим смыслом определяемых параметров и известными взаимосвязями
между ними. Этот подход фактически является промежуточным. Данный
подход исследовался авторами в работе [4] и показал свою эффективность
при группировке параметров, имеющих сходные зависимости от входных
признаков. Для данной ОЗ это соответствует "вертикальной" группировке
параметров.
4. Поэтапное (последовательное) определение параметров. В рамках
этого подхода на первом этапе определяются независимо друг от друга
или одновременно те параметры, для которых эту задачу удаётся решить с
приемлемой точностью. На последующих этапах значения этих параметров, полученные при применении НС первого этапа, подаются на вход НС
вместе со значениями входных признаков. Этот подход наиболее сложен в
УДК 004.032.26(08) Нейронные сети
217
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
реализации, однако иногда он позволяет повысить качество решения ОЗ
для тех параметров, для которых качество решения ОЗ в рамках остальных подходов является неприемлемым [5].
Данная работа посвящена исследованию поэтапного определения параметров при решении ОЗ электроразведки нейросетевым методом.
Исходные данные и постановка задачи
В качестве исходных данных для проведения настоящего исследования использовались результаты численного решения прямой 2D задачи
магнитотеллурики. При решении этой задачи определяются значения разных компонент наведённых электромагнитных полей разной поляризации
на разных частотах и в разных точках на поверхности земли при рассеянии плоских электромагнитных волн, возбуждаемых при возмущении
геомагнитного поля потоками заряженных частиц от Солнца (т.н. солнечным ветром). Расчёт в значительной мере зависит от т.н. схемы параметризации среды, т.е. от способа описания распределения электропроводности подземной области. В настоящей работе использовались данные, полученные для наиболее общей схемы параметризации "5.0" (рис.1). Массив данных состоял из 30000 примеров, полученных для случайных комбинаций проводимости различных блоков в диапазоне от 10 -4 до 1 См/м.
Описанный массив данных использовался для решения ОЗ –
определения значений электропроводности (336 параметров, Рис. 1) по
значениям полей (4 компоненты поля × 13 частот × 126 пикетов = 6552
входных признака). Ранее авторами данной работы было проведено
нейросетевое решение данной ОЗ с автономным определением значения
каждого из параметров [3]. Было обнаружено, что для наиболее интересной центральной области разреза погрешность решения задачи сильно
зависит от номера слоя (в основном увеличиваясь с глубиной) и мало меняется при перемещении в пределах одного горизонта.
218
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Рис. 1. Схема параметризации среды "5.0". Расчёт ведётся в пределах области, ограниченной рамками. Внутри каждого блока написан его номер;
в первом столбце указаны номера слоёв, в первой строке – номера столбцов. Наибольший интерес представляет центральная область разреза, отмеченная жирными рамками: слои от 1 до 13, столбцы от 5 до 28. Параметры 334-336 определяют граничные условия для расчётов. H – мощность слоя, Z – глубина залегания нижней границы слоя, Y – горизонтальный размер блока; все параметры в км. Отмечены блоки, для которых
проводились исследования в данной работе (см. в тексте).
В данной работе были поставлены следующие вопросы:
1) Как изменится качество решения рассматриваемой ОЗ при переходе
от автономного и группового к поэтапному определению параметров?
2) В каких случаях поэтапное определение параметров оказывается
наиболее эффективным?
Результаты
Исследовалось решение задачи для параметров, помеченных на рис. 1
серым цветом (центральный столбец №16). Для каждого из этих параметров сравнивались показатели точности при его определении следующими
способами:
 автономное определение;
 наилучший результат, полученный при групповом определении параметров [4];
 априорное поэтапное определение – с подачей на вход НС точных
значений ЭП вышележащих блоков (для оценки наилучшего возможного
результата для поэтапного определения);
 рекурсивное поэтапное определение – с подачей на вход НС значений ЭП всех вышележащих блоков, полученных при применении НС,
натренированных с помощью этого же варианта поэтапного определения
на предыдущих этапах.
В связи с тем, что исходная размерность задачи по входу очень велика
(NI=6552), для каждого из параметров осуществлялся предварительный
двухступенчатый отбор существенных входных признаков с использованием анализа весов НС [3]; количество существенных входных признаков
для разных параметров составляло от 16 до 94. При групповом определении параметров на входы каждой НС подавались все входные признаки,
которые были существенными хотя бы для одного из определяемых выходных параметров. В зависимости от величины группы и величины пеУДК 004.032.26(08) Нейронные сети
219
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
ресечения множеств существенных входных признаков, общее количество
входных признаков при групповом определении параметров составляло от
32 до 940. При поэтапном определении параметров на вход НС подавались только признаки, существенные для данного определяемого параметра, плюс значения ЭП вышележащих блоков.
Во всех экспериментах (кроме особо оговоренных случаев) для решения задачи использовался персептрон с тремя скрытыми слоями, состоящими из 50, 24 и 16 нейронов, имеющий линейную передаточную функцию в выходном слое и логистическую во всех остальных слоях. Обучение прекращалось через 500 эпох после достижения минимального значения среднего квадрата ошибки на тестовом наборе данных.
Для оценки качества решения задачи в данном исследовании использовался коэффициент множественной детерминации R2 (R квадрат), равный 1 при точной аппроксимации моделью искомой зависимости и 0 для
тривиальной модели-среднего.
Для уменьшения зависимости результатов от случайных факторов
каждая из НС обучалась пять раз, с различными случайными комплектами
начальных весов.
Поэтапное определение с использованием вышележащих параметров
по одному из каждого слоя
В этой серии численных экспериментов при поэтапном определении
на вход НС подавались значения ЭП только для одиночных блоков, лежащих точно над искомым блоком, т.е. для блоков из столбца № 16, помеченных на рис. 1 серым цветом.
На рис. 2, а показана зависимость коэффициента множественной детерминации R2 (R квадрат) от номера блока для различных способов
определения параметра. Здесь произведено усреднение по реализациям
НС с разными начальными весами; стандартное отклонение значения R2
не превышает 0,01 и на рисунке не показано. Для наглядности справа на
рис. 2, б показано изменение значения R2 для разных способов определения параметра по сравнению с автономным определением.
220
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
1
0.25
П оэ т апное
рекурс ив ное
0.9
R квадрат
0.7
Изменение R кв адрат
0.8
Поэтапное
рекурсивное
0.6
0.5
Поэтапное
априорное
0.4
Автономное
0.3
0.2
П оэ т апное
априорное
0.15
Г руппов ое
0.1
0.05
0
Групповое
0.1
0.2
0
-0.05
0
50
100
150
200
Номер блока
250
300
350
17
50
83 116 149 176 197 218 239 260 281 302 323
Н омер блока
а
б
Рис. 2. Зависимость качества решения ОЗ от номера блока (см. рис.1) и
способа
определения параметра при использовании одного блока из каждого слоя
(а)
и изменение R2 для разных способов определения параметра
по сравнению с автономным (б)
Анализ рис. 2 позволяет сделать следующие выводы.
1. Рекурсивное поэтапное определение практически всегда позволяет
улучшить результат по сравнению с автономным определением, однако
получаемый выигрыш всегда меньше, чем для лучшего варианта группового определения параметров.
2. Априорное поэтапное определение в большинстве случаев даёт в разы более существенный выигрыш над автономным определением, чем
рекурсивное. К несчастью, априорное определение не может использоваться на практике, когда точное решение ОЗ для вышележащих параметров неизвестно. Отличие между результатами применения априорного и
рекурсивного подходов обусловлено неточностями в решении ОЗ для
вышележащих блоков. Это означает, что если удастся разработать метод
более точного решения ОЗ в режиме автономного определения, то выигрыш, получаемый при рекурсивном определении, может увеличиться.
3. Качество решения ОЗ при автономном определении параметров, как
правило, убывает с глубиной, что связано с экранированием нижележащих блоков вышележащими. Исключения из этой закономерности наблюдаются в основном вблизи границ разреза (блоки 50 и 302) и при изменении дискретизации разреза (блоки 149-176). Отклонения от закономерностей пп. 1 и 2 также в основном наблюдаются для тех блоков, для которых
нарушается монотонный характер зависимости качества решения ОЗ от
глубины при автономном определении.
УДК 004.032.26(08) Нейронные сети
221
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
Поэтапное определение с использованием группы
вышележащих параметров
Проверим следующую гипотезу: не улучшится ли результат поэтапного определения параметров, если на входы НС подавать значения проводимости не только для блоков, лежащих вертикально над искомым, но и
для нескольких соседних по горизонтали блоков каждого слоя? Используем для этого проводимости блоков, помеченных на рис. 1 штриховкой.
Для верхних слоёв 1-5 будем использовать по пять блоков из каждого
слоя; для более крупных блоков из слоёв 6-12 – по три.
На рис. 3, а показано, как изменилось качество решения ОЗ (значение
R2) для различных способов определения параметра по сравнению с автономным. Здесь также произведено усреднение по реализациям НС с разными начальными весами; стандартное отклонение значения R2 не превышает 0,01 и на рисунке не показано. На рис. 3, б показано изменение
значения R2 при использовании в качестве входных данных НС значений
проводимости нескольких блоков в каждом из вышележащих слоев по
сравнению со случаем использования одного блока.
а
б
Рис. 3. Изменение качества решения ОЗ в зависимости от номера блока
(см. рис.1) и способа определения параметра при использовании нескольких смежных блоков из каждого слоя:
а – для разных видов определения параметра по сравнению с автономным;
б – для рекурсивного и априорного поэтапного определения по сравнению
со случаем использования одного блока из каждого слоя
Видно, что увеличение количества блоков каждого вышележащего
слоя, проводимости которых подаются на вход НС в качестве дополни222
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
тельной информации, приводит к достаточно заметному ухудшению качества решения ОЗ.
Обсуждение результатов
Добавление на вход НС дополнительных признаков вызывает два противоположных эффекта.
С одной стороны, эти дополнительные признаки несут новую информацию об объекте (в данном случае – о проводимости вышележащих блоков, экранирующих искомый). Если НС оказывается в состоянии использовать эту информацию, качество решения задачи должно повышаться.
С другой стороны, добавление значительного количества дополнительных входных признаков при сохранении количества примеров в обучающей выборке приводит к ухудшению соотношения количества входных признаков и количества примеров, что, как правило, приводит к снижению эффективности обучения НС и качества решения задачи.
Итоговый результат зависит от соотношения вкладов этих двух процессов. Если оказывается, что добавление новых признаков не приносит
достаточного количества новой информации, или эта информация не может быть эффективно использована сетью в процессе обучения, то результат обучения ухудшается. В частности, применение поэтапного определения в этой ситуации не приводит к желаемому результату.
Отметим, что для данной задачи ситуация осложняется тем, что добавляемые признаки имеют совершенно другую природу (значения проводимости вышележащих блоков), чем признаки исходного комплекта (амплитуды электромагнитных полей). Это означает, что для эффективного использования обоих типов признаков НС должна одновременно построить
два сильно различающихся нелинейных отображения множеств значений
входных признаков на множество значений определяемого параметра.
Дополнительные исследования
В данной работе были предприняты две попытки упростить построение необходимого отображения.
Во-первых, была испробована другая архитектура НС: вместо простого персептрона с тремя скрытыми слоями использовался персептрон с
дополнительными обходными соединениями, связывающими каждый
слой не только с одним непосредственно предшествующим ему слоем, но
со всеми предшествующими слоями. Такая архитектура облегчает построение отображения, одновременно включающего слабую и сильную нелинейности. К сожалению, такое изменение архитектуры связано с увеличеУДК 004.032.26(08) Нейронные сети
223
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
нием общего числа весов НС, что усложняет ее обучение и повышает требования к количеству примеров. Для рассматриваемой задачи такое изменение архитектуры НС при сохранении обучающей выборки в неизменном виде не привело к улучшению решения – ни в рамках автономного
определения параметров, ни в рамках поэтапного определения.
Другая попытка была связана с увеличением количества нейронов в
первом скрытом слое на столько же, на сколько увеличивалось количество
входных признаков при поэтапном определении. Предполагалось, что вновь
добавленные нейроны позволят выделить в первом скрытом слое дополнительные композитные признаки, которые помогут реализовать требуемое
отображение. К сожалению, этот подход также не принёс результатов –
качество решения ОЗ при добавлении нейронов практически не изменялось.
По-видимому, это было связано с однородностью получавшейся архитектуры – при добавлении нейронов сеть оставалась полносвязной.
Заключение
Поэтапное определение параметров в многопараметрических ОЗ может позволить повысить качество решения ОЗ по сравнению с автономным определением параметров. При этом количество предварительно
определённых параметров, дополнительно подаваемых на входы НС, не
должно быть слишком велико.
Повышение качества решения ОЗ при автономном определении параметров должно приводить к его повышению при поэтапном рекурсивном
определении, о чём свидетельствует более высокое качество решения задачи при поэтапном априорном определении.
В рассмотренной в данной работе ОЗ электроразведки групповое
определение параметров позволяет получить более высокое качество решения задачи, чем поэтапное определение. Однако оба этих подхода позволяют получить выигрыш по сравнению с автономным определением.
Работа по дальнейшему усовершенствованию методик поэтапного
определения параметров может развиваться по следующим направлениям.
1. В данном исследовании на вход НС подавались только те из исходных входных признаков ОЗ, которые были определены как существенные
для данного определяемого параметра. Возможно, набор входных признаков следует несколько расширить, включая в него все исходные признаки,
которые были определены как существенные также для всех параметров,
дополнительно подаваемых на вход НС при поэтапном определении.
2. Для более эффективного построения требуемого сложного нелинейного отображения можно использовать следующую специальную архи224
УДК 004.032.26(08) Нейронные сети
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
тектуру НС. Входной, первый и второй скрытые слои могут фактически
представлять собой два совершенно не связанных между собой персептрона, на входы одного из которых подаются значения полей, а на входы
другого – значения параметров, определённых на предыдущих этапах. Все
нейроны второго скрытого слоя полностью связываются с нейронами третьего скрытого слоя, а выходной слой по-прежнему содержит один
нейрон, желаемым ответом для которого является значение определяемого параметра. Тренируется такой «разрезанный» персептрон обычным
образом – например, с помощью алгоритма обратного распространения
ошибки. Однако в результате обучения на двух независимых частях второго скрытого слоя будут сформированы сложные композитные признаки,
осуществляющие оптимальным образом разные нелинейные отображения
– отдельно для значений полей, отдельно для значений параметров. Третий скрытый слой будет использовать эти признаки для эффективного
решения задачи в целом.
В качестве предварительного исследования в этом направлении можно
осуществить анализ весов натренированного обычного персептрона для
одного из параметров, для которых поэтапное определение продемонстрировало максимальную эффективность. Ожидается, что для части
нейронов первого скрытого слоя веса связей, соединяющих данный
нейрон со входами-«полями», окажутся большими, а веса связей, соединяющих его со входами-«параметрами» – малыми; для другой части
нейронов ожидается противоположная картина.
3. В связи с тем, что групповое и поэтапное определение параметров
по отдельности позволяют получить выигрыш над автономным определением, представляется разумным проверить подход, связанный с их одновременным использованием. В рамках такого подхода при групповом
определении параметров (с вертикальной группировкой, [4]) на вход НС
будут дополнительно подаваться значения проводимостей блоков, расположенных над определяемой группой. Это может позволить объединить
преимущества группового и поэтапного определения параметров.
Авторы выражают благодарность А.Г. Гужва, разработавшему программное обеспечение, на котором была выполнена данная работа.
Список литературы
1. Бердичевский М.Н., Дмитриев В.И. Обратные задачи магнитотеллурики в современной постановке. // Физика Земли. 2004. № 4. С. 12-29.
2. Шимелевич М.И., Оборнев Е.А., Гаврюшов С.А. Техника построеУДК 004.032.26(08) Нейронные сети
225
ISBN 978-5-7262-1775-8 НЕЙРОИНФОРМАТИКА-2013. Часть 2
ния нейронных сетей для решения многопараметрических обратных задач
магнитотеллурического зондирования. // Изв. вузов, Геология и разведка.
2001. № 2. С. 129-137.
3. Dolenko, S., Guzhva, A., Obornev, E., Persiantsev, I., Shimelevich, M.
Comparison of Adaptive Algorithms for Significant Feature Selection in Neural
Network Based Solution of the Inverse Problem of Electrical Prospecting. //
Lecture Notes in Computer Science. 2009. V. 5769. P. 397-405.
4. Гужва А.Г., Доленко С.А., Исаев И.В., Оборнев Е.А., Персианцев
И.Г., Шимелевич М.И.. Исследование влияния количества одновременно
определяемых параметров на погрешность нейросетевого решения обратной задачи электроразведки. //Нейроинформатика-2012. XIV Всероссийская научно-техническая конференция. Сборник научных трудов. Ч.3. М.:
НИЯУ МИФИ, 2012. С. 55-65.
5. Доленко С.А., Гердова И.В., Доленко Т.А., Фадеев В.В.. Лазерная
флуориметрия смесей сложных органических соединений с использованием искусственных нейронных сетей. //Квантовая электроника, 2001. Т.
31. № 9. С. 834-838.
226
УДК 004.032.26(08) Нейронные сети