Оптимизация - поиск наилучшего решения (от лат. optimum – наилучшее) Фундамент методов оптимизации: • Математическая теория (дифференциальное исчисление, многомерный анализ, линейная алгебра, векторы и др.). • Теория алгоритмов и вычислительных (численных) методов. • Вычислительная техника и программирование. Области применения методов оптимизации • Проектирование, конструирование и производство технических объектов различного характера. • Решение экономических задач на основе макро- и микроэкономических моделей, задач логистики и управления материальными ресурсами. • Планирование и обработка результатов научных экспериментов. • Автоматическое управление сложными системами. Стратегия оптимизационного исследования: • Что оптимизировать? • Как оптимизировать? Основные компоненты оптимизационной модели: • Критерий оптимизации • Параметры оптимизации • Ограничения Требования к оптимизационной модели: • Адекватность - соответствие полученных с использованием модели решений задачи оптимизации реальному улучшению естественного процесса, объекта при выбранном уровне детализации его описания. • Точность - степень соответствия вычисляемых характеристик (функций), входящих в компоненты модели, реальным характеристикам оптимизируемого процесса или объекта. • Экономичность - возможность проведения оптимизации в наименьшие сроки, с запросом возможно меньших ресурсов. • Простота - свойство модели, обеспечивающее наиболее простую, по возможности линейную связь параметров оптимизации с оценочной функцией и функциями ограничений. Критерий оптимизации (оптимальности) - некоторое правило, по которому один вариант решения сравнивается с другим, исходя из необходимости достижения заданной цели. Возможные подходы к решению сложных проблем оптимизации: • Многокритериальный подход • Выбор единственного критерия, остальные факторы учитываются с помощью ограничений Пример построения критерия оптимизации при проектировании оптических систем F - вектор оптимизируемых функций: содержит безразмерные величины f , однозначно связанные с характеристиками ui качества i оптической системы и зависящие от параметров оптимизации X. Выбор f i осуществляется с таким расчетом, что в процессе оптимизации их необходимо приблизить к нулевым значениям ui ( X) ui f i ( X) ui где ui , ui , ui - текущее, заданное значения и масштаб какой-либо характеристики F 2 F T F min 2 Критерий оптимизации: Параметры оптимизации - независимые переменные, которые используются для уменьшения значений оценочной функции Выбор переменных обусловлен соблюдением требований к оптимизационной модели Пример Какой параметр формы сферической поверхности предпочтительней: радиус или кривизна? Связь параметров оптимизации X и конструктивных параметров P: XLP L - матрица связи Природа ограничений: • математические ограничения; • физические; • экономические; • эксплуатационные; • конструктивные; • технологические. Типы ограничений • Ограничения-равенства – это ограничения, суть которых состоит в том, что некоторая функция от параметров оптимизации должна принимать точно определенное значение. • Ограничения-неравенства - это ограничения, суть которых заключается в том, что некоторая функция от параметров оптимизации должна принимать значения в заданном интервале. • Ограничения принадлежности параметров оптимизации определенному подмножеству. Способы задания ограничений Ограничения-равенства: ei ( X) 0, i 1, s, vi ( X) vi ei ( X) vi Ограничения-неравенства: min max • прямые ограничения на параметры оптимизации xi xi xi • функциональные ограничения bk ( X) 0, k 1, p, wi ( X) wi bi ( X) wi Типы оптимизируемых систем • Детерминированные, функционирование которых строго определено в настоящем и будущем. • Вероятностные, поведение которых описывается с помощью аппарата теории вероятности. • Игровые, которые осуществляют разумный выбор своего поведения в будущем на основе оценки ситуаций и предполагаемых способов действий по принятым критериям, а также исходя из неформальных соображений. Особенности оптимизационных моделей Детерминированная модель отражает поведение системы с позиции полной определенности в настоящем и будущем. Детерминированный подход используют для достижения наивысшего качества в процессе проектирования технических изделий, при оптимизации планирования перевозок, материально - технического снабжения. Вероятностная модель учитывает влияние случайных факторов на поведение системы и, следовательно, оценивает будущее с позиции вероятности тех или иных событий Игровая модель дает возможность получить максимальный выигрыш в конфликтных ситуациях, в которых каждая из конфликтующих сторон придерживается своих взглядов, стремится получить информацию о намерениях ”противника” и, возможно, извлечь выгоду из его ошибок, действует сообразно складывающейся обстановке Универсальность методов оптимизации Построение оптимизационной модели - проблема объектно-ориентированная. Это означает, что оно: •основывается на глубоком изучении свойств процесса или объекта, подлежащих улучшению; •формализации с учетом свойств оптимизируемого объекта; • осуществляется специалистом в конкретной предметной области. При формализации широко используются эвристические подходы (от греческого heurisko - отыскиваю, открываю), опирающиеся на совокупность интеллекта, знаний, опыта и интуиции. Реализация методов оптимизации является процедурой в значительной степени объектно-инвариантной, поскольку опирается на свойства модели вне зависимости от ее происхождения. «Проба» функций «Проба» - алгоритм, позволяющий получить значения критерия оптимизации, функций-ограничений и, возможно, их производных для любого набора параметров из области определения. В «пробе» осуществляются элементы анализа конкретной оптимизируемой системы: X F( X) Если «пробу функций» реализовать в виде сменного программного модуля, то сама программа, решающая проблему оптимизации, станет пригодной для улучшения не одного объекта или процесса, а целого их множества. Переход от одной задачи к другой будет осуществляться лишь подключением нового сменного программного модуля. Постановка задачи математического программирования Проблема оптимизации детерминированных систем формулируется в виде задачи математического программирования найти величины переменных (параметров оптимизации) x1 , x2 ,..., xn из n n-мерного множества S евклидова пространства , для которых вещественная скалярная функция ( x1 , x2 ,..., xn ) принимает минимальное значение при условии соблюдения следующих ограничений: c1 ( x1 , x2 ,..., xn ) 0 c ( x , x ,..., x ) 0 n 2 1 2 ... cm ( x1 , x2 ,..., xn ) 0 c1 ( x1 , x2 ,..., xn ) 0 c2 ( x1 , x2 ,..., xn ) 0 ... c ( x , x ,..., x ) 0 n p 1 2 Матричная запись задачи математического программирования (МП) ( X) min , X S n , C( X) 0 C( X) 0 ( X) min означает, что требуется найти значения параметров оптимизации, которые доставляют минимум оценочной функции. Записи C( X) 0 и C( X) 0 , в которых слева и справа от операндов находятся соответственно векторы функций и нулевые векторы, означают, что соотношения, определяемые операндами, должны поэлементно выполняться для всех составляющих векторов. Допустимое множество Произвольный набор переменных X S пространстве параметров оптимизации. n задает точку, или элемент в Эта точка является допустимой, если для нее соблюдаются все ограничения задачи МП. В противном случае точка будет недопустимой. Множество допустимых точек образует допустимое множество, или допустимую область задачи. Будем рассматривать в качестве решения задачи МП точку локального минимума в допустимой области, характерную тем, что значение в ней оценочной функции связано определенными соотношениями со значениями оценочной функции в соседних допустимых точках. Определение локального минимума Пусть X * - допустимая точка, а - ( X*, ) допустимое множество из ее - окрестности (под ( X*, ) можно понимать n-мерный гипершар радиуса ). Точку X * будем называть точкой сильного локального минимума, если существует число 0 такое, что ( X) ( X*) для всех X ( X*, ), X X *. Точку X * будем называть точкой слабого локального минимума, если существует число 0 такое, что ( X) ( X*) для всех X ( X*, ) , и при этом X * не удовлетворяет условиям сильного локального минимума. Сильные, слабые локальные минимумы. Глобальный минимум Классификация задач математического программирования и соответствующих им методов оптимизации 1. По наличию или отсутствию ограничений • Задачи безусловной оптимизации (дословно можно прочитать как задачи оптимизации «без условий»), когда ограничения отсутствуют. • Задачи условной оптимизации, когда в наличии имеется хотя бы одно ограничение. Классификация задач математического программирования и соответствующих им методов оптимизации (продолжение) 2. По линейности или нелинейности функций • Задачи линейного программирования (ЛП) - оценочная функция и функции ограничений в задаче МП линейны. • Задачи нелинейного программирования (НЛП) - хотя бы одна из функций является нелинейной Разновидностью задачи НЛП является задача квадратичного программирования, когда оценочная функция квадратичная, а ограничения линейные. Квадратичной называется функция вида: 1 2 (X) 0 R T X XT HX Классификация задач математического программирования и соответствующих им методов оптимизации (продолжение) 3. По специальному виду оценочной функции По данному признаку можно выделить много типов задач. Наиболее часто называют: • задачу с сепарабельной целевой функцией: n ( X) fi ( xi ) i 1 • задачу о наименьших квадратах: n ( X) f i 2 ( X) i 1 Классификация задач математического программирования и соответствующих им методов оптимизации (продолжение) 4. По размерности задачи (числу параметров оптимизации) • задачи малой размерности; • задачи большой размерности. 5. По дискретности или непрерывности переменных • задачи дискретной оптимизации Их разновидностью являются задачи целочисленного программирования, в которых переменные могут быть только целыми • задачи непрерывной оптимизации Способы решения оптимизационных задач • классические методы дифференциального и вариационного исчисления; • анализ вариантов; • использование графического способа: 1. выбор области изменения переменных, которая бы позволяла произвести визуализацию допустимого множества; 2. отображение линий, вдоль которых функции ограниченийравенств ограничений-неравенств равны нулю, чтобы найти графически допустимое множество; 3. отображение нескольких линий уровня оценочной функции – кривых, вдоль которых функция имеет постоянное значение, чтобы определить характер изменения оценочной функции внутри допустимой области; 4. нахождение оптимальной точки внутри допустимой области. Пример использования графического способа Задача НЛП: ( X ) x12 x22 x1 x2 min 0.3x1 x2 2 0 x12 2 x2 2 0 Пример использования графического способа (продолжение) • определение области изменения переменных для графического построения • построение линий нулевого уровня функций ограничений Пример использования графического способа (продолжение) • изменение масштаба (если требуется) • отображение линий уровня оценочной функции Пример использования графического способа (продолжение) • нахождение оптимальной точки Использование численных методов Суть использования численных методов заключается в построении итерационного алгоритма для поиска минимума оценочной функции с учетом ограничений. (0) Данный алгоритм требует задания исходного приближения X , которое называется стартовой точкой оптимизации. Начиная с нее, строится (1) ( 2) (k) последовательность точек X , X ,..., X , которая с ростом k должна сходиться к решению задачи МП – точке X *. При этом в одних алгоритмах X( j ) должны всегда удовлетворять ограничениям задачи, в других – могут попадать в недопустимую область. Каждая итерация - шаг оптимизации состоит из типовых этапов Структура шага оптимизации Этап 1. Анализ изменения оценочной функции и, возможно, функций ( k1) ограничений в окрестности исходной точки X данного шага с номером k. Этап 2. Выбор направления изменения параметров оптимизации. Этап опирается на результаты предыдущего и позволяет построить на шаге направление, или траекторию локального спуска – вектор (реже - направленную кривую), перемещение вдоль которого позволяет уменьшить значение оценочной функции. Направление локального спуска должно гарантировать локальное убывание или невозрастание оценочной функции в окрестности исходной точки шага для обеспечения сходимости процесса оптимизации. Численные методы, обеспечивающие определение траектории спуска, называют методами спуска. Структура шага оптимизации (продолжение) К вопросу о терминологии: пример функции с овражным рельефом Структура шага оптимизации (продолжение) Этап 3. Определение длины шага вдоль выбранного направления При выбранной траектории локального спуска положение точки на ней определяется единственным скалярным параметром - длиной шага. Изменяя длину шага (осуществляя ее одномерный поиск) можно добиться (k ) нахождения такой точки X0 на траектории, которая бы обеспечила оптимальное убывание оценочной функции при заданной трудоемкости поиска. Этап 4. Уточнение положения точки, полученной на предыдущем этапе, с целью коррекции нарушенных ограничений. Используется только при контроле нелинейных ограничений. В результате выполнения этапа 4 значение оценочной функции может увеличиться по сравнению с этапом 3, но должно быть меньше или равно значению в точке X( k 1). Этап 5. Проверка условий останова Графическое отображение шага оптимизации Условия оптимальности • Необходимее условия: Если известно, что точка X * является точкой локального минимума, то в ней необходимо должны соблюдаться условия, которые так и называются - необходимыми. Несоблюдение необходимых условий для произвольной точки пространства параметров оптимизации позволяет утверждать, что эта точка заведомо не является оптимальной. • Достаточные условия: Проверка достаточных условий осуществляется для точек пространства X * , в отношении которых не известно точно, соответствуют ли они локальному минимуму. Если эти условия соблюдаются в , то этого достаточно для утверждения того, что эта точка – локальный минимум Условия оптимальности в задачах без ограничений (случай одной переменной) ( x) min Случай одной переменной: Необходимые условия: '( x* ) 0 ''( x* ) 0 Достаточные условия: '( x* ) 0 ''( x* ) 0 Условия оптимальности в задачах без ограничений (многомерный случай) ( X) min Необходимые условия минимума в задаче без ограничений: G ( X* ) 0 H ( X* ) 0 ( X) 2 ( X) 2 ( X) ... g1 ( X) x1 x x x x h ... h 11 1 1 1 n 1n G ( X) ... H( X) ... ... ... ... ... ... ... 2 g ( X) ( X) 2 h ... h n nn n1 ( X) ... ( X) x , x x n xn xn n 1 Условные обозначения G ( X) 0 - слева от операнда равенства располагается вектор, это означает, что все его составляющие равны 0 (также равна 0 норма вектора) H( X) 0 - слева от операнда располагается квадратная матрица. Такая запись означает, что матрица должна быть положительно полуопределенной Сведения из матричной алгебры: Положительно полуопределенной матрицей называется такая квадратная матрица, у которой все собственные числа больше или равны нулю; по другому определению, это матрица, для которой все значения T квадратичной формы X HX при любых X неотрицательны. Принципы доказательства необходимых условий 1 2 (X* X) (X*) XTG(X*) 2 XTH(X* X) X где 0 1 , X- вектор размерности n. Принимаем 0 Доказательство необходимого условия первого порядка проводится методом от противного. Предполагается: G (X*) 0 . Тогда, существует такой вектор X , перемещение вдоль которого от X* позволит уменьшить оценочную функцию. Этот вектор удовлетворяет условию: XTG ( X*) 0 т. е. угол между векторами X и G ( X*) является тупым. Для доказательства необходимого условия второго порядка используется соотношение G (X*) 0 . Тогда 1 2 (X * X) (X*) 2 XT H(X * X) X Вновь используется метод от противного. Условия оптимальности в задачах без ограничений (многомерный случай) Достаточные условия минимума в задаче без ограничений: G ( X* ) 0 H ( X* ) 0 Точка пространства параметров оптимизации, для которой G ( X*) 0 , называется стационарной. Общий подход к рассмотрению условий оптимальности в задачах с ограничениями • Необходимо описать допустимое множество ( X* , ) , задав правила перемещения к его точкам из допустимой точки , или, как говорят, правила построения возможных направлений. • Следует рассмотреть специфические соотношения между значениями оценочной функции в X* и иных точках ( X* , ) , чтобы убедиться в свойствах необходимости или достаточности предложенных условий. Условия оптимальности в задачах с линейными ограничениями-равенствами ( X) min AX B Матрица A системы линейных уравнений, входящих в задачу МП, имеет полный строковый ранг, m строк и n столбцов, причем m n . Поиск возможных направлений Выберем произвольную точку из допустимого множества. Тогда в точках X* и должны соблюдаться ограничения задачи: AX* B AX1 B A X0 где вектор X X1 X * является возможным направлением Любой вектор X , удовлетворяющий данному условию, является возможным направлением. Условия оптимальности в задачах с линейными ограничениями-равенствами (продолжение) Множество возможных направлений образует линейное подпространство в n-мерном евклидовом пространстве n , характерным свойством которого является ортогональность нормалям всех ограничений-равенств. Построим в этом подпространстве базис – линейно независимую систему векторов Z1 , Z 2 , ... , Zn-m . Эти базисные векторы удобно составить в одну матрицу Z, имеющую m срок и (n-m) столбцов: Z (Z1 | Z 2 | ...| Zn-m ) nm X Z X xi Zi i 1 где вектор X образован из коэффициентов линейной комбинации векторов Zi . Условия оптимальности в задачах с линейными ограничениями-равенствами (продолжение) (X* X) (X* Z X) (X* ) (Z X)T G(X*) 1 2 (Z X)T H(X* Z X)(Z X) (X* ) XT ZTG(X*) 2 1 2 T T X Z H(X* Z X)Z X 2 G( X) ZTG( X) - спроектированный градиент; H( X) ZT H( X)Z - спроектированная матрица Гессе 1 2 (X* Z X) (X* ) G T (X* ) X 2 XT H(X* Z X) X Сравним с разложением без ограничений: 1 (X * X) (X*) G T (X*) X 2 XT H(X * X) X 2 Условия оптимальности в задачах с линейными ограничениями-равенствами (продолжение) Необходимые условия минимума задачи математического программирования с линейными ограничениями-равенствами: AX* B G( X*) 0, или ZTG( X*) 0 H(X*) 0, или ZT H(X*)Z 0 T Из условия Z G (X*) 0 вытекает G ( X*) AT Λ * , где Λ * - вектор из m чисел, которые называются множителями Лагранжа Интерпретация условия оптимальности первого порядка Вектор градиента в точке локального минимума можно представить в виде линейной комбинации нормалей к ограничениям. Пусть N i векторы нормалей к ограничениям AT (N1 | N 2 | ...| Nm ) G ( X*) A Λ * T m G ( X*) i*N i i 1 где через i* обозначены элементы вектора Λ * . Понятие функции Лагранжа Функция Лагранжа конструируется в виде линейной комбинации оценочной функции и функций ограничений-равенств (в данной задаче C( X) AX B ): L( X, Λ) ( X) ΛT (AX B) Функция Лагранжа обладает тем интересным свойством, что ее стационарная точка удовлетворяет условиям оптимальности нулевого и первого порядка задачи с ограничениями: G ( X) A T Λ 0 ( AX B) 0 Условия оптимальности в задачах с линейными ограничениями-равенствами (продолжение) Достаточные условия минимума задачи математического программирования с линейными ограничениями-равенствами: AX* B G ( X*) AT Λ * ZTH(X*)Z 0 Последовательность проверки достаточных условий: • проверяют условие нулевого порядка; • если условие нулевого порядка соблюдено, то вычисляют градиент оценочной функции G(X*) и находят множители Λ * , T удовлетворяющие системе уравнений G ( X*) A Λ * (обычно недоопределенной); • если условие первого порядка соблюдено, то при m n строят матрицу Z, вычисляют матрицу Гессе и проверяют на положительность T собственные числа матрицы Z H(X*)Z . Условия оптимальности в задачах с линейными ограничениями-неравенствами ( X) min AX B любое соотношение между числами m и n . Классификация ограничений: • нарушенные • ненарушенные: активные пассивные Классификация ограничений-неравенств Возможные направления: • удерживающие (тип a) • неудерживающие (тип b ) Активные ограничения AX B AT (N1 | N 2 | ...| Nt ) Удерживающее направление: NkT P 0 (ортогонально нормали) Неудерживающее направление: NkT P 0 (острый угол с нормалью) Все удерживающие и неудерживающие направления: A X0 Необходимые условия для удерживающих направлений A X0 G ( X*) A T Λ * Z T H ( X*) Z 0 Дополнительные требования с учетом неудерживающих направлений: A X0 XTG ( X*) 0 удовлетворяются при (Фаркаш, Минковский) Λ* 0 Условия оптимальности в задачах с линейными ограничениями-неравенствами (продолжение) Необходимые условия минимума задачи математического программирования с линейными ограничениями-неравенствами: AX* B, причем AX* B G( X*) AT Λ*, Λ* 0 ZT H(X*)Z 0 Функция Лагранжа: L( X, Λ) ( X) ΛT (AX B) Геометрическая интерпретация необходимых условий Интерпретация множителей Лагранжа Пусть направление X - неудерживающее по отношению к k-му активному ограничению и удерживающее ко всем остальным XTG ( X*) k*NTk X Из разложения оценочной функции в ряд Тейлора: d ( ) k* NTk X где - длина шага; d ( ) представляет собой скорость изменения целевой функции Из разложения функции ck ( X) в ряд Тейлора: dc ( ) d ( ) k* k В первом приближении: скорость изменения оценочной функции вдоль направления, неудерживающего по отношению к -му активному ограничению и удерживающего ко всем остальным, пропорциональна k* . множителю Лагранжа Нулевые множители Лагранжа Нулевой множитель не дает информации об истинном знаке изменения оценочной функции Пример ( x1 , x2 ) x12 x22 min x2 0 В точке X* (0 0)T: 2x 0 0 0 2 0 G 1 ; A (0 1); * * 0; H 2 x 0 0 1 0 2 2 Z (1 0)T 2 0 1 Тогда: Z T HZ (1 0) 20 0 2 0 Геометрическая интерпретация задачи с нулевым множителем Лагранжа Условия оптимальности в задачах с линейными ограничениями-неравенствами (продолжение) Достаточные условия минимума задачи математического программирования с линейными ограничениями-неравенствами: AX* B, причем AX* B G( X*) AT Λ*, Λ* 0 ZT H(X*)Z 0 Условия оптимальности в задачах с нелинейными ограничениями-равенствами ( X) min C( X) 0 Возможные направления Любое возможное направление определяется с помощью векторной функции скалярного аргумента U( ), 0 , которая называется допустимой дугой. U(0) X * Условие сохранения нулевого значения функции ограничения: dci [U( )] 0, i 1,2,..., m d dci [U( )] dU( ) (ci [U(0)])T (ci ( X*))T X, i 1,2,..., m d d A( X*) X 0 Вектор X , касающийся допустимой дуги, называется допустимым направлением в точке X* Условия регулярности Условия оптимальности в задачах с нелинейными ограничениями-равенствами (продолжение) X Z(X*) X Z(X*) - базис подпространства векторов, ортогональных строкам A(X*) (нормалям к ограничениям) Необходимые условия минимума задачи математического программирования с нелинейными ограничениями-равенствами: C( X*) 0 G( X*) AT ( X*) Λ * ZT (X*)W(X*, *)Z( X*) 0 где через W(X*, Λ*) обозначена матрица Гессе функции Лагранжа: L( X, Λ) ( X) ΛTC( X) Условия оптимальности в задачах с нелинейными ограничениями-равенствами (продолжение) Достаточные условия минимума задачи математического программирования с нелинейными ограничениями-равенствами: C( X*) 0 G( X*) AT ( X*) Λ * ZT (X*)W(X*, *)Z( X*) 0 Условия оптимальности в задачах с нелинейными ограничениями-неравенствами ( X) min C( X) 0 Необходимые условия минимума задачи математического программирования с нелинейными ограничениями-неравенствами: C( X*) 0, причем С( X*) 0 G( X*) AT ( X*) Λ*, Λ* 0 ZT (X*)W(X*, *)Z( X*) 0 Условия оптимальности в задачах с нелинейными ограничениями-неравенствами (продолжение) Достаточные условия минимума задачи математического программирования с нелинейными ограничениями-неравенствами: C( X*) 0, причем С( X*) 0 G( X*) AT ( X*) Λ*, Λ* 0 ZT (X*)W(X*, *)Z( X*) 0 Условия оптимальности в задачах с нелинейными ограничениями (общий случай) ( X) min C( X) 0 C( X) 0 Функция Лагранжа: T Λ1 C( X) T T L( X, Λ1 , Λ 2 ) ( X) Λ1 C( X) Λ 2 C( X) ( X) Λ 2 C( X) C( X) T ( X) Λ C ( X ) Условия оптимальности в задачах с нелинейными ограничениями (общий случай) Необходимые условия минимума задачи МП (общий случай) C( X*) 0 C( X*) 0, причем С( X*) 0 Λ1* T G ( X*) A ( X*) * , Λ*2 0 Λ 2 ZT (X*)W(X*, *)Z( X*) 0 Достаточные условия минимума задачи МП (общий случай) C( X*) 0 C( X*) 0, причем С( X*) 0 Λ1* T G ( X*) A ( X*) * , Λ*2 0 Λ 2 ZT (X*)W(X*, *)Z( X*) 0 Общая схема реализации методов безусловной оптимизации ( k1) • исследование функций в окрестности исходной точки шага X . X(0) - результат синтеза: пробные вычисления функций вычисления производных (k ) • вычисление X конкретным методом локального спуска; • определение длины шага : X X( k 1) X( k ) , 0 или X X( k 1) X( k ) ( ), 0 Задача одномерного поиска: ( *) (0) • проверка выполнения условий окончания поиска; • переход к следующему шагу или окончание процесса Условия окончания поиска Абсолютный критерий G( X*) 1 G(X*) 2 g12 (X*) g22 (X*) ... gn2 (X*) или G ( X*) max gi ( X*) i Относительные критерии X( k ) X( k 1) X ( k 1) 2 ( X( k 1) ) ( X( k ) ) 3 ( k 1) (X ) Классификация методов безусловной оптимизации • методы нулевого порядка (прямого поиска) • методы первого порядка • методы второго порядка Возможно вычисление производных по приближенной разностной формуле, например: ( x1 , x2 ,..., xi ,..., xn ) ( x1 , x2 ,..., xi hi ,..., xn ) ( x1 , x2 ,..., xi ,..., xn ) xi hi Погрешности разностной формулы: • методическая • округления Критерии сравнения эффективности методов безусловной минимизации Критерии эффективности: • теоретические • практические Теоретические критерии: • порядок сходимости, под которым понимают максимальное число r, для которого: X( k 1) X * 0 lim k X (k ) X* 1 - последовательность сходится линейно 2 - последовательность сходится квадратично • асимптотический параметр ошибки lim k X( k 1) X * X( k ) X * 0 - последовательность сходится сверхлинейно. 0 1 При 1 - теоретически сходимость может быть очень плохой Критерии сравнения эффективности методов безусловной минимизации (продолжение) Практические критерии • время решения задач; • количество вычислений оценочной функции и ее производных; • число шагов локального спуска до достижения заданных условий сходимости. Требования к сравнению методов: • один и тот же компьютер; • • • • одна и та же платформа; одинаковая техника программирования; одинаковая стартовая точка; тождественные условия сходимости и т.п. Одномерная минимизация ( ) min 0 ( ) - унимодальная функция Функция ( ) называется унимодальной на отрезке[ н , к ] , если на этом отрезке она имеет минимум в точке * и если для любых 1 , 2 [ н , к ] , удовлетворяющих неравенству 1 2 , справедливо: если 2 *, то (1 ) ( 2 ) если 1 *, то (1 ) ( 2 ) Стратегия поиска длины шага при одномерной минимизации • пассивный поиск Стратегия пассивного поиска предусматривает наличие правила, по которому все точки i , i 1,..., N могут быть заранее определены вне зависимости от функции ( ) . • последовательный поиск Стратегия последовательного поиска исходит из того, что величина k вычисляется путем анализа информации о всех предшествующих точках, то есть о значениях i , ( i ), i 1,..., k 1 . Этапы поиска длины шага при одномерной минимизации 1. Нахождение отрезка [ н , к ] , на котором локализована точка минимума (то есть, известно что * н , к ), но точное ее положение не определено. Такой отрезок называется начальным промежутком (или интервалом) неопределенности. Этап 1 теоретически присущ не всем метода оптимизации 2. Уточнение положения точки минимума ( ) .