Машины опорных векторов Сильвестров А.С. План Линейно-разделимая выборка Произвольные данные Ядровой переход Классификация на несколько классов Линейно разделимая выборка Линейно разделимая выборка Линейно разделимая выборка Линейно разделимая выборка Гиперплоскость 1 x1 ... n xn b 0 (1 ,.., n ) Линейный классификатор T x b 0 1, T k h (ω x b ) 1, T xk b 0 (1 ,..n ) T xk b 0 ωT x k b 0 ωT x k b 0 Линейно разделимая выборка xb 0 T d4 d1 d2 (1 ,..n ) d5 d3 d6 min i i 1.. m max ( w, b) w ,b длина d Линейно разделимая выборка min { 1 , 2 , 3} xb 0 T min { 4 , 5 , 6 } d4 d1 d2 (1 ,..n ) d5 d3 d6 Линейно разделимая выборка T x b 1 T x b 0 T x b 1 x x (1 ,..n ) Линейно разделимая выборка T x b 0 d x pr x Т x b 1 Т x pr b 0 d ( x x pr ) , d Линейно разделимая выборка Т ( x x pr ) 1 Т ( x x pr ) T x b 0 d x pr x Линейно разделимая выборка T x b 0 зазор d x pr x 1 Линейно разделимая выборка Итак, величина зазора : Задача максимизации: 2 1 max ,b xi b 1, если yi 1 T T xi b 1, если yi 1 i 1...m обучающее множество Линейно разделимая выборка 2 max ,b T xi b 1, если yi 1 T xi b 1, если yi 1 i 1...m обучающее множество 1 2 min ,b 2 yi ( T xi b) 1 Выпуклая задача оптимизации 1 2 min ,b 2 yi ( T xi b) 1 i 1,.., m Все функции выпуклые. 1 T T min Q c 2 A b E d Выпуклая задача оптимизации 1 2 min ,b 2 yi ( T xi b) 1, j 1,...., m Решение: m x b i yi xi , x b, T i 1 i 0, для yi ( xi b) 1 T i 0, для yi ( xi b) 1 T Выпуклая задача оптимизации m T x b i yi xi , x b, i 1 i 0, для yi ( T xi b) 1 i 0, для yi ( T xi b) 1 План Линейно-разделимая выборка Произвольные данные Ядровой переход Классификация на несколько классов Произвольные данные Произвольные данные 0 0 1 1 Произвольные данные m 1 2 С i min ,b , 2 1 1 0 1 yn ( T xn b) 1 n 1 1 1 n 0 Произвольные данные m x b i yi xi , x b T i 1 i 0, yi ( xi b) 1 i 0, yi (( ) xi b) 1, i 0, yi (( )T xi b) 1 i* , i* 0 T T Произвольные данные 1 0 1 m T x b i yi xi , x b i 1 1 i 0, yi ( xi b) 1 T i 0, yi (( ) xi b) 1, T i 0, yi (( ) xi b) 1 1 T 1 * i План Линейно-разделимая выборка Произвольные данные Ядровой переход Классификация на несколько классов Ядровой переход Ядровой переход Ядровой переход : Rn R m , m n x1 x1 x2 x1 ( ) x2 2 x2 x1 x2 2 Ядровой переход m x b i yi xi , x b T i 1 x, z ( x), ( z) Ядровой переход m x b i yi xi , x b T i 1 x, z ( x), ( z ) K ( x, z ) ( x), ( z ) : R R R m m K ( x, z ) : R n R n R mn Ядровой переход Теорема Мерсера : функция K : R n R n R ядро K ( x, z ) K ( z , x) симметрична K ( x1 , x1 ) K ( x1 , x2 ) ... K ( x , x ) 0 K ... ... 2 1 ... ... ... ( x1 ,..., xn ) Примеры ядер K ( x, z ) ( x z ) T K ( x, z ) ( x z ) T K ( x, z ) exp( k xz 2 2 2 ) Ядровой переход K ( x, z ) ( x z ) T 2 K ( x, z ) ( x ) ( z ) Т Ядровой переход K ( x, z ) ( x z ) T 2 n n 1 1 K ( x, z ) ( xi , zi ) ( xi , zi ) x ( x1 ,..., xk ) k мерный признак z ( x1 ,..., xk ) k мерный признак Ядровой переход K ( x, z ) ( x T z ) 2 n n n n n n 1 1 1 1 1 1 K ( x, z ) ( xi , zi ) ( xi , zi ) ( xi , x j ) ( zi , z j ) x ( x1 ,..., xk ) k мерный признак z ( x1 ,..., xk ) k мерный признак Ядровой переход K ( x, z ) ( x T z ) 2 2 2 2 2 1 1 1 1 K ( x, z ) ( xi , x j ) ( zi , z j ) T ( x) ( z ) x1 x1 z1 z1 x x z z ( x) 1 2 , ( z ) 1 2 x2 x1 z 2 z1 x2 x2 z2 z2 x ( x1 , x2 ) z ( z1 , z 2 ) План Линейно-разделимая выборка Произвольные данные Ядровой переход Классификация на несколько классов Multiclass SVM каждый против каждого: Multiclass SVM Один против всех : Вопросы?