ÓÄÊ 007.52:681.581.2; 681.237.12 ÎÁÇÎÐ ÑÎÂÐÅÌÅÍÍÛÕ ÈÑÑËÅÄÎÂÀÍÈÉ ÏÎ ÏÐÎÁËÅÌÅ ÊÀ×ÅÑÒÂÀ ÎÁÓ×ÅÍÈß ÀËÃÎÐÈÒÌΠÊ.Â. Âîðîíöîâ Âû÷èñëèòåëüíûé öåíòð èìåíè À.À.Äîðîäíèöûíà ÐÀÍ Ðô ã.Ìîñêâà, ÃÑÏ1,óë.Âàâèëîâà, 40, 119991 e-mail: voron@ccas.ru The review considers basic ideas of machine learning theory concerning generalization bounds and learning algorithms grounds. Among them are: classical VC theory and structural risk minimization, eective VC-dimension and data-dependent bounds, margin, ensembles of algorithms (weighted voting, boosting and bagging), stability, cross-validation. A new combinatorial approach to proving nonprobabilistic generalization bounds is considered a little more detailed. Ââåäåíèå Âîïðîñ î êà÷åñòâå àëãîðèòìîâ, ñèíòåçèðîâàííûõ ïî êîíå÷íûì âûáîðêàì ïðåöåäåíòîâ, ÿâëÿåòñÿ ôóíäàìåíòàëüíîé ïðîáëåìîé òåîðèè îáó÷àåìûõ ñèñòåì (machine learning theory).  îáùåì ñëó÷àå çàäà÷à îáó÷åíèÿ ïî ïðåöåäåíòàì çàêëþ÷àåòñÿ â òîì, ÷òîáû ïî çàäàííîé âûáîðêå ïàð ¾îáúåêò-îòâåò¿ âîññòàíîâèòü ôóíêöèîíàëüíóþ çàâèñèìîñòü ìåæäó îáúåêòàìè è îòâåòàìè, òî åñòü ïîñòðîèòü àëãîðèòì, ñïîñîáíûé âûäàâàòü àäåêâàòíûå îòâåòû íà ïðåäúÿâëÿåìûå îáúåêòû. Êîãäà ìíîæåñòâî äîïóñòèìûõ îòâåòîâ êîíå÷íî, ãîâîðÿò î çàäà÷àõ êëàññèôèêàöèè èëè ðàñïîçíàâàíèÿ îáðàçîâ. Êîãäà ìíîæåñòâî äîïóñòèìûõ îòâåòîâ áåñêîíå÷íî, íàïðèìåð, ÿâëÿåòñÿ ìíîæåñòâîì äåéñòâèòåëüíûõ ÷èñåë èëè âåêòîðîâ, ãîâîðÿò î çàäà÷àõ âîññòàíîâëåíèÿ ðåãðåññèè. Êîãäà îáúåêòû ñîîòâåòñòâóþò ìîìåíòàì âðåìåíè, à îòâåòû õàðàêòåðèçóþò áóäóùåå ïîâåäåíèå ïðîöåññà èëè ÿâëåíèÿ, ãîâîðÿò î çàäà÷àõ ïðîãíîçèðîâàíèÿ. Çíà÷èòåëüíûé îïûò ðåøåíèÿ ïðèêëàäíûõ çàäà÷ òàêîãî òèïà áûë íàêîïëåí óæå ê ñåðåäèíå 60-õ ãîäîâ XX âåêà. Áîëüøóþ ïîïóëÿðíîñòü ïðèîáð¼ë ïîäõîä, îñíîâàííûé íà ïîñòðîåíèè ìîäåëè âîññòàíàâëèâàåìîé çàâèñèìîñòè â âèäå ïàðàìåòðè÷åñêîãî ñåìåéñòâà àëãîðèòìîâ. Ñ ïîìîùüþ ÷èñëåííîé îïòèìèçàöèè â ñåìåéñòâå âûáèðàëñÿ àëãîðèòì, äîïóñêàþùèé íàèìåíüøåå ÷èñëî îøèáîê íà çàäàííîé îáó÷àþùåé âûáîðêå. Ïðîùå ãîâîðÿ, îñóùåñòâëÿëàñü ïîäãîíêà (tting) ìîäåëè ïîä âûáîðêó. Ôóíêöèîíàë ÷àñòîòû îøèáîê èëè ñðåäíåé îøèáêè àëãîðèòìà íà îáó÷àþùåé âûáîðêå ïðèíÿòî íàçûâàòü ýìïèðè÷åñêèì ðèñêîì, à ñàì ïîäõîä ìèíèìèçàöèåé ýìïèðè÷åñêîãî ðèñêà. Íà ïðàêòèêå èññëåäîâàòåëè ñòîëêíóëèñü ñ ýôôåêòîì, íàçûâàåìûì ïåðåîáó÷åíèåì èëè ïåðåïîäãîíêîé (overtraining, overtting). ×åì áîëüøå ó àëãîðèòìà ñâîáîäíûõ ïàðàìåòðîâ, òåì ìåíüøåãî ÷èñëà îøèáîê íà îáó÷åíèè ìîæíî äîáèòüñÿ ïóò¼ì îïòèìèçàöèè. Îäíàêî ïî ìåðå íàðàñòàíèÿ ñëîæíîñòè ìîäåëè ¾îïòèìàëüíûå¿ àëãîðèòìû íà÷èíàþò ñëèøêîì õîðîøî ïîäñòðàèâàòüñÿ ïîä êîíêðåòíûå äàííûå, óëàâëèâàÿ íå 6 Ê.Â. Âîðîíöîâ òîëüêî ÷åðòû âîññòàíàâëèâàåìîé çàâèñèìîñòè, íî è îøèáêè èçìåðåíèÿ îáó÷àþùåé âûáîðêè, è ïîãðåøíîñòü ñàìîé ìîäåëè.  ðåçóëüòàòå óõóäøàåòñÿ êà÷åñòâî ðàáîòû àëãîðèòìà âíå îáó÷àþùåé âûáîðêè, èëè, êàê ãîâîðÿò, åãî ñïîñîáíîñòü ê îáîáùåíèþ (generalization performance) . Èç ýòîãî íàáëþäåíèÿ áûë ñäåëàí âûâîä, ÷òî äëÿ âñÿêîé çàäà÷è ñóùåñòâóåò îïòèìàëüíàÿ ñëîæíîñòü ìîäåëè, ïðè êîòîðîé äîñòèãàåòñÿ íàèëó÷øåå êà÷åñòâî îáîáùåíèÿ. Ïåðâûì ôîðìàëüíûì îáîñíîâàíèåì ýòîãî ïðàêòè÷åñêîãî îïûòà ñòàëà ñòàòèñòè÷åñêàÿ òåîðèÿ âîññòàíîâëåíèÿ çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì, ðàçðàáîòàííàÿ Â. Í. Âàïíèêîì è À. ß. ×åðâîíåíêèñîì â êîíöå 60-õ íà÷àëå 70-õ ãîäîâ [1]-[2]-[3]. 1. Ñòàèñòè÷åñêàÿ òåîðèÿ Âàïíèêà-×åðâîíåíêèñà  ñòàòèñòè÷åñêîé òåîðèè ïðåäïîëàãàåòñÿ, ÷òî íà ìíîæåñòâå îáúåêòîâ ñóùåñòâóåò íåêîòîðîå (íåèçâåñòíîå) ðàñïðåäåëåíèå âåðîÿòíîñòåé, è îáó÷àþùàÿ ñîâîêóïíîñòü îáúåêòîâ âûáèðàåòñÿ ñëó÷àéíî è íåçàâèñèìî â ñîîòâåòñòâèè ñ äàííûì ðàñïðåäåëåíèåì. Ïðåäïîëàãàåòñÿ òàêæå, ÷òî àëãîðèòì, ìèíèìèçèðóþùèé ýìïèðè÷åñêèé ðèñê, èùåòñÿ â íåêîòîðîì çàðàíåå ôèêñèðîâàííîì ñåìåéñòâå àëãîðèòìîâ. Îíî ìîæåò ñîäåðæàòü ìíîæåñòâî àëãîðèòìîâ, äîñòàâëÿþùèõ ìèíèìóì ýìïèðè÷åñêîìó ðèñêó, îäíàêî â ñòàòèñòè÷åñêîé òåîðèè ñïîñîá ïîñòðîåíèÿ àëãîðèòìà (ìåòîä îáó÷åíèÿ) íå ðàññìàòðèâàåòñÿ è ïðåäïîëàãàåòñÿ, ÷òî â êà÷åñòâå ðåøåíèÿ ìîæåò áûòü âûäàí ëþáîé àëãîðèòì èç ýòîãî ìíîæåñòâà. Îáîáùàþùàÿ ñïîñîáíîñòü îïðåäåëÿåòñÿ êàê âåðîÿòíîñòü îøèáêè íàéäåííîãî àëãîðèòìà, ëèáî êàê ÷àñòîòà åãî îøèáîê íà íåèçâåñòíîé êîíòðîëüíîé âûáîðêå, òàêæå ñëó÷àéíîé, íåçàâèñèìîé è îäèíàêîâî ðàñïðåäåë¼ííîé. Äàëåå ïîñòóëèðóåòñÿ ïðèíöèï ðàâíîìåðíîé ñõîäèìîñòè (uniform convergence) ÷àñòîòû îøèáîê. ×òîáû ïî ÷àñòîòå îøèáîê íàéäåííîãî àëãîðèòìà íà îáó÷àþùåé âûáîðêå ìîæíî áûëî ñóäèòü î ÷àñòîòå åãî îøèáîê íà ëþáîé äðóãîé âûáîðêå, ýòè ÷àñòîòû äîëæíû ñòðåìèòüñÿ äðóã ê äðóãó ñ ðîñòîì äëèíû âûáîðêè, ïðè÷¼ì îäíîâðåìåííî (ðàâíîìåðíî) ïî âñåìó ñåìåéñòâó àëãîðèòìîâ. Îöåíêè êà÷åñòâà îáó÷åíèÿ â ñòàòèñòè÷åñêîé òåîðèè ÿâëÿþòñÿ, ïî ñóòè äåëà, îöåíêàìè ñêîðîñòè ýòîé ñõîäèìîñòè. Èìåííî ïðèíöèï ðàâíîìåðíîé ñõîäèìîñòè è ïðèâîäèò ê ââåäåíèþ ñïåöèàëüíîé ìåðû ñëîæíîñòè ñåìåéñòâà àëãîðèòìîâ, íàçûâàåìîé ¼ìêîñòüþ èëè ðàçìåðíîñòüþ Âàïíèêà-×åðâîíåíêèñà (VC-dimension). Ïîëó÷åíèå îöåíîê ¼ìêîñòè äëÿ êîíêðåòíûõ ñåìåéñòâ àëãîðèòìîâ ÿâëÿåòñÿ îòäåëüíîé, çà÷àñòóþ äîâîëüíî òðóäíîé, çàäà÷åé. Ïðàêòè÷åñêè ñðàçó áûëî äîêàçàíî, ÷òî ¼ìêîñòü ñåìåéñòâà ëèíåéíûõ ðåøàþùèõ ïðàâèë ðàâíà ÷èñëó ñâîáîäíûõ ïàðàìåòðîâ èëè, ÷òî òî æå ñàìîå, ðàçìåðíîñòè ëèíåéíîãî ïðîñòðàíñòâà, â êîòîðîì ñòðîèòñÿ ðàçäåëÿþùàÿ ãèïåðïëîñêîñòü. Îöåíêè ¼ìêîñòè ïîëó÷åíû òàêæå äëÿ íåéðîííûõ ñåòåé [30]-[26]-[54]-[67], ðåøàþùèõ äåðåâüåâ [10], êîððåêòíûõ àëãåáðàè÷åñêèõ çàìûêàíèé ïîäìîäåëè ÀÂÎ [15], êîìèòåòíûõ ðåøàþùèõ ïðàâèë [65], è äðóãèõ ñåìåéñòâ. ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004 Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ 7 Îñíîâíûì ðåçóëüòàòîì ñòàòèñòè÷åñêîé òåîðèè ÿâëÿþòñÿ êîëè÷åñòâåííûå îöåíêè, ñâÿçûâàþùèå íàä¼æíîñòü àëãîðèòìîâ ñ äëèíîé îáó÷àþùåé âûáîðêè è ñëîæíîñòüþ ñåìåéñòâà. Ýòè îöåíêè ïîçâîëÿþò îáîñíîâàòü ìåòîä ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà (ÑÌÐ), íåïîñðåäñòâåííî íàïðàâëåííûé íà âûáîð ìîäåëè îïòèìàëüíîé ñëîæíîñòè.  ÑÌÐ ôèêñèðóåòñÿ îïðåäåë¼ííàÿ ñòðóêòóðà âëîæåííûõ ïîäñåìåéñòâ ðàçëè÷íîé ñëîæíîñòè, çàòåì â êàæäîì ïîäñåìåéñòâå ðåøàåòñÿ çàäà÷à îáó÷åíèÿ ïî ïðåöåäåíòàì, è èç ïîëó÷åííûõ àëãîðèòìîâ âûáèðàåòñÿ òîò, äëÿ êîòîðîãî îöåíêà êà÷åñòâà ïðèíèìàåò íàèëó÷øåå çíà÷åíèå. Ê ñîæàëåíèþ, îöåíêè Âàïíèêà-×åðâîíåíêèñà ñèëüíî çàâûøåíû, ÷òî ïðèâîäèò ê òðåáîâàíèþ ñëèøêîì äëèííûõ îáó÷àþùèõ âûáîðîê (105106 îáúåêòîâ), à â ìåòîäå ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà ê ÷ðåçìåðíîìó óïðîùåíèþ àëãîðèòìîâ [55]. Íåêîòîðûå ñåìåéñòâà èìåþò áåñêîíå÷íóþ ¼ìêîñòü è íàõîäÿòñÿ çà ãðàíèöàìè ïðèìåíèìîñòè òåîðèè, òåì íå ìåíåå ñ èõ ïîìîùüþ óäà¼òñÿ ðåøàòü ïðèêëàäíûå çàäà÷è, è äîâîëüíî óñïåøíî.  ÷àñòíîñòè. ýòî îòíîñèòñÿ ê ìåòðè÷åñêèì ìåòîäàì, îñíîâàííûì íà ÿâíîì õðàíåíèè îáó÷àþùåé âûáîðêè, òàêèì êàê ìåòîä áëèæàéøèõ ñîñåäåé, à òàêæå ê ìåòîäàì àëãåáðàè÷åñêîãî ïîäõîäà [12]-[6], ãàðàíòèðóþùèì áåçîøèáî÷íîå ðàñïîçíàâàíèå çàäàííîé âûáîðêè. Íà ïðàêòèêå êà÷åñòâî îáó÷åíèÿ ïî÷òè âñåãäà îêàçûâàåòñÿ ñóùåñòâåííî ëó÷øå, ÷åì ïðåäñêàçûâàåò ñòàòèñòè÷åñêàÿ òåîðèÿ. Ïðè÷èíà çàâûøåííîñòè ñòàòèñòè÷åñêèõ îöåíîê êðîåòñÿ â èõ ñëèøêîì áîëüøîé îáùíîñòè. Îíè îðèåíòèðîâàíû íà ¾õóäøèé ñëó÷àé¿ è íå ó÷èòûâàþò òð¼õ âàæíûõ îñîáåííîñòåé ñàìîé çàäà÷è è ïðîöåññà ïîèñêà å¼ ðåøåíèÿ, êîòîðûå ìîãóò îêàçûâàòü ðåøàþùåå âëèÿíèå íà êà÷åñòâî îáó÷åíèÿ. Âî-ïåðâûõ, ýòî îñîáåííîñòè ðàñïðåäåëåíèÿ îáúåêòîâ â ïðîñòðàíñòâå.  ÷àñòíîñòè, îíè ìîãóò ëåæàòü â ïîäïðîñòðàíñòâå ìåíüøåé ðàçìåðíîñòè. Ýòîò ¾âûðîæäåííûé¿ ñëó÷àé äîâîëüíî ðàñïðîñòðàí¼í, ïîñêîëüêó â ïðèêëàäíûõ çàäà÷àõ íàëè÷èå çàâèñèìûõ èëè ïî÷òè çàâèñèìûõ ïðèçíàêîâ ÿâëÿåòñÿ ñêîðåå ïðàâèëîì, ÷åì èñêëþ÷åíèåì. Âî-âòîðûõ, ýòî îñîáåííîñòè ñàìîé âîññòàíàâëèâàåìîé çàâèñèìîñòè. Îíà ìîæåò áûòü ãëàäêîé, ñèììåòðè÷íîé, ìîíîòîííîé èëè îáëàäàòü äðóãèìè ñïåöèàëüíûìè ñâîéñòâàìè, ÷òî ðåçêî ñóæàåò ïðîñòðàíñòâî ïîèñêà ðåøåíèÿ. Â-òðåòüèõ, ýòî îñîáåííîñòè ìåòîäà îáó÷åíèÿ. Îí ìîæåò ïîäñòðàèâàòüñÿ ïîä çàäà÷ó, îáðàçóÿ ýôôåêòèâíîå ïîäñåìåéñòâî àëãîðèòìîâ, ðåàëüíî ïîëó÷àåìûõ â ðåçóëüòàòå îáó÷åíèÿ. Ïîÿâëåíèå ñòàòèñòè÷åñêîé òåîðèè âûçâàëî áîëüøîå êîëè÷åñòâî èññëåäîâàíèé, íàïðàâëåííûõ íà óòî÷íåíèå îöåíîê êà÷åñòâà. Îäíàêî ïðîáëåìà ïîëó÷åíèÿ ÷èñëåííûõ îöåíîê, íåïîñðåäñòâåííî ïðèìåíèìûõ íà ïðàêòèêå, îêàçàëàñü âûçûâàþùå ãðóäíîé, è äî ñèõ ïîð îñòà¼òñÿ îòêðûòîé. Äàëåå áóäóò ïåðå÷èñëåíû íåêîòîðûå íàïðàâëåíèÿ ñîâðåìåííûõ èññëåäîâàíèé ïî ïðîáëåìàì îáîñíîâàíèÿ îáó÷àåìûõ àëãîðèòìîâ è ïîëó÷åíèÿ îöåíîê êà÷åñòâà îáó÷åíèÿ. Ðàçóìååòñÿ, ïðåäëàãàåìàÿ êëàññèôèêàöèÿ âåñüìà óñëîâíà è íå ïðåòåíäóåò íà ïîëíîòó. ¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004 8 Ê.Â. Âîðîíöîâ 2. Ýôôåêòèâíàÿ ñëîæíîñòü Ïåðâîå íàïðàâëåíèå ñâÿçàíî ñ ïîíÿòèåì ýôôåêòèâíîé ñëîæíîñòè. Ïðè ðåøåíèè êîíêðåòíîé çàäà÷è äàëåêî íå êàæäûé àëãîðèòì èç âûáðàííîãî ñåìåéñòâà èìååò øàíñû áûòü ïîëó÷åííûì â ðåçóëüòàòå îáó÷åíèÿ. Êàê ïðàâèëî, ðåàëüíî ðàáîòàåò íå âñ¼ ñåìåéñòâî, à ëèøü íåáîëüøàÿ åãî ÷àñòü. Ýòîò ôàêò áûë çàìå÷åí åù¼ Â. Í. Âàïíèêîì, ïðåäëîæèâøèì ïîíÿòèå ýôôåêòèâíîé ¼ìêîñòè âìåñòå ñ àëãîðèòìîì å¼ ïðàêòè÷åñêîãî èçìåðåíèÿ [80]-[33]. Ýôôåêòèâíàÿ ¼ìêîñòü íå ïðåâîñõîäèò ïîëíîé ¼ìêîñòè ñåìåéñòâà è çàâèñèò îò âûáîðêè. Îíà ó÷èòûâàåò îñîáåííîñòè èñõîäíîãî ðàñïðåäåëåíèÿ îáúåêòîâ, íî íå ïðèíèìàåò âî âíèìàíèå îñîáåííîñòåé âîññòàíàâëèâàåìîé çàâèñèìîñòè è ìåòîäà îáó÷åíèÿ.  äàëüíåéøåì êîíöåïöèÿ îöåíîê, çàâèñÿùèõ îò äàííûõ (data dependent bounds), ïîëó÷èëà ðàçâèòèå âî ìíîãèõ ðàáîòàõ [74]-[82]-[34]-[35]-[28]. Ê ýòîìó íàïðàâëåíèþ ïðèìûêàþò òàêæå ðàáîòû Â. Ë. Ìàòðîñîâà, êîòîðûé âïåðâûå ïîêàçàë, ÷òî ïðè ñïåöèàëüíîì âûáîðå ìåòîäà îáó÷åíèÿ âîçìîæíî îáåñïå÷èòü êîððåêòíîå ðàñïîçíàâàíèå ëþáîé çàäàííîé îáó÷àþùåé âûáîðêè, ïîëüçóÿñü ïîäìíîæåñòâîì àëãîðèòìîâ îãðàíè÷åííîé ¼ìêîñòè [14]-[15]-[16]. Ïðè ýòîì ïîñòðîåíèå àëãîðèòìà ïðîâîäèòñÿ â àëãåáðàè÷åñêîì ðàñøèðåíèè ñåìåéñòâà ÀÂÎ (àëãîðèòìîâ âû÷èñëåíèÿ îöåíîê)[12].  îòëè÷èå îò ñòàíäàðòíîãî ïîäõîäà, çäåñü ñóùåñòâåííî èñïîëüçóþòñÿ ñâîéñòâà ìåòîäà îáó÷åíèÿ, íî íå ó÷èòûâàþòñÿ îñîáåííîñòè ðàñïðåäåëåíèÿ îáúåêòîâ è âîññòàíàâëèâàåìîé çàâèñèìîñòè. Ñòàòüÿ [81] ñîäåðæèò èñòîðè÷åñêèé îáçîð, îòðàæàþùèé ïðîöåññ ïîñòåïåííîãî óòî÷íåíèÿ îöåíîê Âàïíèêà×åðâîíåíêèñà. Îòìå÷àåòñÿ, ÷òî íàèëó÷øàÿ îöåíêà, ñïðàâåäëèâàÿ ïðè ñàìûõ îáùèõ ïðåäïîëîæåíèÿõ, ïîëó÷åíà Ì. Òàëàãðàíäîì [78]. Íà å¼ îñíîâå âûâîäèòñÿ íîâàÿ, íåñêîëüêî áîëåå òî÷íàÿ, îöåíêà, ñïðàâåäëèâàÿ ïðè íåêîòîðîì ¾ðàçóìíîì¿ îãðàíè÷åíèè êëàññà âåðîÿòíîñòíûõ ðàñïðåäåëåíèé íà ìíîæåñòâå èñõîäíûõ îáúåêòîâ. Ïðè èñïîëüçîâàíèè îöåíîê, çàâèñÿùèõ îò äàííûõ, ìåòîä ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà òðàíñôîðìèðóåòñÿ è ïðèâîäèò ê ïîñòðîåíèþ ñàìîîãðàèè÷èâàþùèõ àëãîðèòìîâ (self bounding learning algorithms) [51]. 01 èñõîäíîãî CMP îíè îòëè÷àþòñÿ òåì, ÷òî ñòðóêòóðà âëîæåííûõ ïîäñåìåéñòâ íå çàäà¼òñÿ çàðàíåå, à ôîðìèðóåòñÿ â ïðîöåññå îáó÷åíèÿ.  ýòîì ñëó÷àå îöåíêè êà÷åñòâà ó÷èòûâàþò âñå òðè òèïà îñîáåííîñòåé: ðàñïðåäåëåíèå îáúåêòîâ, ñâîéñòâà âîññòàíàâëèâàåìîé çàâèñèìîñòè è ìåòîäà îáó÷åíèÿ. Ðåçóëüòàòîì îáó÷åíèÿ ÿâëÿåòñÿ íå òîëüêî ñàì àëãîðèòì, íî è äîñòàòî÷íî òî÷íàÿ îöåíêà åãî îáîáùàþùåé ñïîñîáíîñòè. Ïðèíöèï ñàìîîãðàíè÷åíèÿ àëãîðèòìîâ ïðèìåíÿåòñÿ òàêæå äëÿ îáîñíîâàíèÿ ñòàíäàðòíûõ ìåòîäîâ ïîñòðîåíèÿ ðåøàþùèõ äåðåâüåâ [70]. Ýòè ìåòîäû îñíîâàíû íà àíàëîãè÷íîé ñòðàòåãèè â õîäå ïîñòðîåíèÿ àëãîðèòìà ïî îáó÷àþùåé âûáîðêå ïðîèñõîäèò ïîñëåäîâàòåëüíîå ñóæåíèå ïîäñåìåéñòâà àëãîðèòìîâ, è êîòîðîì âåäåòñÿ ïîèñê ðåøåíèÿ [61]. ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004 Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ 9 3. Îòñòóï (MARGIN) Âòîðîå íàïðàâëåíèå ñâÿçàíî ñ ïîíÿòèåì îòñòóïà èëè ìàðæè (margin) â çàäà÷àõ êëàññèôèêàöèè ñ ïîðîãîâûì ðåøàþùèì ïðàâèëîì. Íåñêîëüêî óïðîùàÿ, ìîæíî ñêàçàòü, ÷òî îòñòóï ýòî ðàññòîÿíèå îò îáúåêòà äî ãðàíèöû êëàññîâ. Åñëè îáúåêò îòíîñèòñÿ àëãîðèòìîì ê ÷óæîìó êëàññó, ãî åãî îòñòóï îòðèöàòåëåí. ×åì áîëüøå â îáó÷àþùåé âûáîðêå îáúåêòîâ ñ áîëüøèì îòñòóïîì, òåì ëó÷øå ðàçäåëÿþòñÿ êëàññû, òåì íàä¼æíåå ìîæåò áûòü êëàññèôèêàöèÿ. Èäåÿ óòî÷íåíèÿ îöåíîê êà÷åñòâà çàêëþ÷àåòñÿ â òîì, ÷òîáû ñðàâíèâàòü âåðîÿòíîñòü îøèáêè íå ñ ÷àñòîòîé îøèáîê íà îáó÷åíèè, à ñ äîëåé îáó÷àþùèõ îáúåêòîâ, èìåþùèõ îòðèöàòåëüíûé èëè ìàëûé ïîëîæèòåëüíûé îòñòóï. Ïðè ýòîì âåëè÷èíà ýìïèðè÷åñêîãî ðèñêà èñêóññòâåííî çàâûøàåòñÿ, çàòî âåðîÿòíîñòü îøèáêè ñóùåñòâåííî áîëåå òî÷íî îöåíèâàåòñÿ ïî îáúåêòàì, äàëåêî îòñòîÿùèì îò ãðàíèöû êëàññîâ. Ïîäõîä, îñíîâàííûé íà ïîíÿòèè îòñòóïà, îêàçàëñÿ îñîáåííî ïëîäîòâîðíûì ïðè èññëåäîâàíèè ëèíåéíûõ ïîðîãîâûõ êëàññèôèêàòîðîâ, â ÷àñòíîñòè, ìàøèí îïîðíûõ âåêòîðîâ (support vectors machines, SVM) [41]-[77] è ìåòîäîâ âçâåøåííîãî ãîëîñîâàíèÿ.  ðàáîòå Ï. Áàðòëåòòà [29] âïåðâûå áûëî ïîêàçàíî, ÷òî ýôôåêòèâíàÿ ñëîæíîñòü âûïóêëîé êîìáèíàöèè êëàññèôèêàòîðîâ ðàâíà íå ñóììàðíîé, è äàæå íå ìàêñèìàëüíîé (êàê ðàíåå ïðåäïîëàãàëîñü), à ñðåäíåé âçâåøåííîé ñëîæíîñòè îòäåëüíûõ êëàññèôèêàòîðîâ, âçÿòûõ ñ òåìè æå âåñàìè, ñ êîòîðûìè îíè âõîäÿò â êîìáèíàöèþ. Èíûìè ñëîâàìè, âçâåøåííîå ãîëîñîâàíèå íå óâåëè÷èâàåò ñëîæíîñòü àëãîðèòìà, à ëèøü ñãëàæèâàåò ïðîãíîçû áàçîâûõ êëàññèôèêàòîðîâ. Âûòåêàþùèå îòñþäà îöåíêè îáîáùàþùåé ñïîñîáíîñòè ñóùåñòâåííî òî÷íåå êëàññè÷åñêèõ ñëîæíîñòíûõ îöåíîê Âàèíèêà×åðâîèåíêèñà, õîòÿ è îíè âñ¼ åù¼ ñèëüíî çàâûøåíû (òðåáóåìàÿ äëèíà îáó÷åíèÿ èìååò ïîðÿäîê 104 105). Ýòîò ðåçóëüòàò îáîñíîâûâàåò ðÿä ýâðèñòè÷åñêèõ ïðè¼ìîâ, íàïðàâëåííûõ íà óìåíüøåíèå âåñîâ ïðè íàñòðîéêå íåéðîííûõ ñåòåé, òàêèõ êàê ¾weight decay¿ è ¾early stopping¿. Îí òàêæå ïîçâîëÿåò îáîñíîâàòü àëãîðèòìû, èñïîëüçóþùèå ìåòðèêó (ôóíêöèþ ðàññòîÿíèÿ) â ïðîñòðàíñòâå îáúåêòîâ, åñëè ïðåäïîëîæèòü, ÷òî ðàçäåëÿþùàÿ ïîâåðõíîñòü ïðîõîäèò íà äîñòàòî÷íîì óäàëåíèè îò îáó÷àþùèõ îáúåêòîâ [31]. Ðåçóëüòàòû,ïåðâîíà÷àëüíî ïîëó÷åííûå äëÿ ëèíåéíûõ êîìáèíàöèé, îêàçàëèñü ïðèìåíèìû è ê áîëåå øèðîêîìó êëàññó àëãîðèòìîâ.  ÷àñòíîñòè, áèíàðíûå ðåøàþùèå äåðåâüÿ è äèçúþíêòèâíûå íîðìàëüíûå ôîðìû äîïóñêàþò ïðåäñòàâëåíèå â âèäå âûïóêëîé êîìáèíàöèè áóëåâûõ ôóíêöèé ñ ïîðîãîâûì ðåøàþùèì ïðàâèëîì [52]. Òåõíèêà îòñòóïà ïîçâîëÿåò îöåíèâàòü îáîáùàþùóþ ñïîñîáíîñòü è áîëåå ñëîæíûõ àëãîðèòìè÷åñêèõ êîìïîçèöèé, ïðåäñòàâèìûõ â âèäå ïîðîãîâûõ âûïóêëûõ êîìáèíàöèé íàä ïîðîãîâûìè âûïóêëûìè êîìáèíàöèÿìè. Ïðèìåðàìè òàêèõ êîíñòðóêöèé ÿâëÿþòñÿ ñèãìîèäàëüíûå íåéðîñåòè ñ îäíèì ñêðûòûì óðîâíåì è âçâåøåííîå ãîëîñîâàíèå ¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004 10 Ê.Â. Âîðîíöîâ ðåøàþùèõ äåðåâüåâ [64]. Äëÿ âñåõ ýòèõ ñëó÷àåâ îöåíêè îáîáùàþùåé ñïîñîáíîñòè âûðàæàþòñÿ ÷åðåç äîëþ îáó÷àþùèõ îáúåêòîâ ñ ìàëûì îòñòóïîì. Íàèáîëåå ÿðêèì êîíñòðóêòèâíûì ðåçóëüòàòîì äàííîãî ïîäõîäà ÿâëÿþòñÿ ìåòîäû îáó÷åíèÿ, íàïðàâëåííûå íà ÿâíóþ ìàêñèìèçàöèþ îòñòóïà. Îíè ïîçâîëÿþò ñòðîèòü àëãîðèòìû ñ ëó÷øåé îáîáùàþùåé ñïîñîáíîñòüþ, ÷òî ïîäòâåðæäàåòñÿ òåîðåòè÷åñêè è ýêñïåðèìåíòàëüíî [63]. Ñ ïîíÿòèåì îòñòóïà òåñíî ñâÿçàíà åù¼ îäíà ìåðà ñëîæíîñòè ñåìåéñòâà àëãîðèòìîâ, àëüòåðíàòèâíàÿ ôóíêöèè ðîñòà fatðàç ìåðíîñòü (fatshattering dimension)[57]-[25]-[28]. 4. Êîìïîçèöèè Àëãîðèòìîâ Òðåòüå íàïðàâëåíèå èññëåäîâàíèé ñâÿçàíî ñ ïîíÿòèåì êîìïîçèöèè àëãîðèòìîâ. Âî ìíîãèõ ïðèêëàäíûõ çàäà÷àõ óäà¼òñÿ ïîñòðîèòü íåñêîëüêî ðàçëè÷íûõ àëãîðèòìîâ, íè îäèí èç êîòîðûõ íå âîññòàíàâëèâàåò èñêîìóþ çàâèñèìîñòü äîñòàòî÷íî õîðîøî. Òîãäà èìååò ñìûñë îáúåäèíèòü ýòè àëãîðèòìû ñ ïîìîùüþ êîððåêòèðóþùåé îïåðàöèè, â íàäåæäå íà òî, ÷òî îøèáêè îäíèõ àëãîðèòìîâ áóäóò ñêîìïåíñèðîâàíû äðóãèìè, è êà÷åñòâî êîìïîçèöèè îêàæåòñÿ ëó÷øå, ÷åì êàæäîãî èç áàçîâûõ àëãîðèòìîâ â îòäåëüíîñòè. Èçâåñòíî íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ êîíñòðóèðîâàíèÿ àëãîðèòìè÷åñêèõ êîìïîçèöèé. Íàèáîëåå îáùàÿ òåîðèÿ àëãîðèòìè÷åñêèõ êîìïîçèöèé ðàçðàáîòàíà â àëãåáðàè÷åñêîì ïîäõîäå ê ïîñòðîåíèþ êîððåêòíûõ àëãîðèòìîâ, ïðåäëîæåííîì àêàäåìèêîì ÐÀÍ Þ. È. Æóðàâë¼âûì è àêòèâíî ðàçâèâàåìîì åãî ó÷åíèêàìè [12]-[11].  ìåòîäå Ë. À. Ðàñòðèãèíà ïðîñòðàíñòâî îáúåêòîâ ðàçáèâàåòñÿ íà îáëàñòè êîìïåòåíòíîñòè, è äëÿ êàæäîé îáëàñòè ñòðîèòñÿ ñâîé àëãîðèòì [17].  ìåòîäå áàããèíãà (bagging ñîêðàùåíèå îò ¾bootstrap aggregation¿), ïðåäëîæåííîì Ë. Áðåéìåíîì [38]- [39]-[40], ïðîèçâîäèòñÿ âçâåøåííîå ãîëîñîâàíèå áàçîâûõ àëãîðèòìîâ, îáó÷åííûõ íà ðàçëè÷íûõ ïîäâûáîðêàõ äàííûõ, ëèáî íà ðàçëè÷íûõ ÷àñòÿõ ïðèçíàêîâîãî îïèñàíèÿ îáúåêòîâ. Âûäåëåíèå ïîäìíîæåñòâ îáúåêòîâ è/èëè ïðèçíàêîâ ïðîèçâîäèòñÿ, êàê ïðàâèëî, ñëó÷àéíûì îáðàçîì. Ìåòîä áóñòèíãà (boosting), ïðåäëîæåííûé Ð. Ôðåéäîì è È. Øàïèðîì [50]-[47]-[73] òàêæå ÿâëÿåòñÿ ðàçíîâèäíîñòüþ âçâåøåííîãî ãîëîñîâàíèÿ, íî áàçîâûå àëãîðèòìû ñòðîÿòñÿ ïîñëåäîâàòåëüíî, è ïðîöåññ óâåëè÷åíèÿ ðàçëè÷èé ìåæäó íèìè óïðàâëÿåòñÿ äåòåðìèíèðîâàííûì îáðàçîì. À èìåííî, äëÿ êàæäîãî áàçîâîãî àëãîðèòìà, íà÷èíàÿ ñî âòîðîãî, âåñà îáó÷àþùèõ îáúåêòîâ ïåðåñ÷èòûâàþòñÿ òàê, ÷òîáû îí òî÷íåå íàñòðàèâàëñÿ íà òåõ îáúåêòàõ, íà êîòîðûõ ÷àùå îøèáàëèñü âñå ïðåäûäóùèå áàçîâûå àëãîðèòìû. Âåñà àëãîðèòìîâ òàêæå âû÷èñëÿþòñÿ èñõîäÿ èç ÷èñëà äîïóùåííûõ èìè îøèáîê. ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004 Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ 11 Èäåÿ ïîñëåäîâàòåëüíîé êîìïåíñàöèè îøèáîê ïðåäûäóùèõ àëãîðèòìîâ ðåàëèçîâàíà òàêæå â îïòèìèçàöèîííûõ (ïðîáëåìíîîðèåíòèðîâàííûõ) ìåòîäàõ àëãåáðàè÷åñêîãî ïîäõîäà [18]-[5]-[6].  îòëè÷èå îò áóñòèíãà, çäåñü èñïîëüçóåòñÿ íå âûïóêëàÿ êîìáèíàöèÿ, à áîëåå ñëîæíàÿ êîððåêòèðóþùàÿ îïåðàöèÿ å âèäå íåëèíåéíîé ìîíîòîííîé ôóíêöèè äîñòàòî÷íî îáùåãî âèäà. Îáîáùàþùàÿ ñïîñîáíîñòü áóñòèíãà èññëåäîâàíà, ïîæàëóé, íàèáîëåå õîðîøî. Âî ìíîãèõ ñëó÷àÿõ ýêñïåðèìåíòàëüíî íàáëþäàåòñÿ ïî÷òè íåîãðàíè÷åííîå óëó÷òïåíèå êà÷åñòâà îáó÷åíèÿ ïðè íàðàùèâàíèè ÷èñëà àëãîðèòìîâ â êîìïîçèöèè [48]. Áîëåå òîãî, êà÷åñòâî íà òåñòîâîé âûáîðêå ìîæåò ïðîäîëæàòü óëó÷øàòüñÿ äàæå ïîñëå äîñòèæåíèÿ áåçîøèáî÷íîãî ðàñïîçíàâàíèÿ îáó÷àþùåé âûáîðêè. Ýòè íàáëþäåíèÿ ïðîòèâîðå÷àò íåïîñðåäñòâåííûì âûâîäàì ñòàòèñòè÷åñêîé òåîðèè, îñíîâàííûì íà àíàëèçå ñëîæíîñòè. Ñóùåñòâóåò íåñêîëüêî îáúÿñíåíèé ôåíîìåíîâ áóñòèíãà. Ñ îäíîé ñòîðîíû, áóñòèíã àêòèâíî ìàêñèìèçèðóåò îòñòóïû îáó÷àþùèõ îáúåêòîâ, è ïðîäîëæàåò ¾ðàçäâèãàòü êëàññû¿ äàæå ïîñëå äîñòèæåíèÿ áåçîøèáî÷íîãî ðàñïîçíàâàíèÿ îáó÷àþùåé âûáîðêè [72]. Ñ äðóãîé ñòîðîíû, áóñòèíã ñòðîèò âûïóêëóþ êîìáèíàöèþ âåùåñòâåííîçíà÷íûõ êëàññèôèêàòîðîâ, êîòîðàÿ ïðîÿâëÿåò ñâîéñòâî ñòàáèëüíîñòè [46] (ñì. íèæå). Èìååòñÿ ìíîãî ðàáîò ïî ñðàâíèòåëüíîìó àíàëèçó îáîáùàþùåé ñïîñîáíîñòè áóñòèíãà è áàããèíãà. Áàããèíã íàïðàâëåí èñêëþ÷èòåëüíî íà óìåíüøåíèå âàðèàöèè (variance) ìîäåëè, â òî âðåìÿ êàê áóñòèíã ñïîñîáñòâóåò óìåíüøåíèþ è âàðèàöèè, è ñìåùåíèÿ (bias) [49]. Ýìïèðè÷åñêèå èññëåäîâàíèÿ [76] íà 4 ðåàëüíûõ çàäà÷àõ ïîêàçûâàþò, ÷òî áóñòèíã ðàáîòàåò ëó÷øå íà áîëüøèõ îáó÷àþùèõ âûáîðêàõ, áàããèíã íà ìàëûõ. Ïðè óâåëè÷åíèè äëèíû âûáîðêè áóñòèíã ïîâûøàåò ðàçíîîáðàçèå êëàññèôèêàòîðîâ àêòèâíåå, ÷åì áàããèíã. Íàêîíåö, áóñòèíã ëó÷øå âîñïðîèçâîäèò ãðàíèöû êëàññîâ ñëîæíîé ôîðìû. Ðàáîòû Áàðòëåòòà, Ôðåíäà, Øàïèðà è äð. ðåøèòåëüíûì îáðàçîì èçìåíèëè ïðåäñòàâëåíèÿ î ñîîòíîøåíèè êà÷åñòâà è ñëîæíîñòè. Åñëè ðàíåå ñ÷èòàëîñü, ÷òî äëÿ íàä¼æíîãî âîññòàíîâëåíèÿ çàâèñèìîñòè íåîáõîäèìî îãðàíè÷èâàòü ñëîæíîñòü èñïîëüçóåìîãî ñåìåéñòâà àëãîðèòìîâ, òî òåïåðü èññëåäîâàòåëè ïðèõîäÿò ê âûâîäó, ÷òî ñåìåéñòâî ìîæåò áûòü ñêîëü óãîäíî ñëîæíûì, îäíàêî ïåðâîñòåïåííóþ ðîëü èãðàåò ìåòîä îáó÷åíèÿ òîò ñïîñîá, ñ ïîìîùüþ êîòîðîãî íî îáó÷àþùåé âûáîðêå ñòðîèòñÿ àëãîðèòì èç âûáðàííîãî ñåìåéñòâà. Ïî âñåé âèäèìîñòè, íåêîòîðûå ðàçíîâèäíîñòè âçâåøåííîãî ãîëîñîâàíèÿ, òàêèå êàê áóñòèíã, ÿâëÿþòñÿ ¾óäà÷íûìè¿ ìåòîäàìè, ñïîñîáíûìè ïîäñòðàèâàòüñÿ ïîä êîíêðåòíóþ çàäà÷ó. 5. Ñòàáèëüíîñòü ìåòîäà îáó÷åíèÿ Ñëåäóþùåå, ÷åòâ¼ðòîå, íàïðàâëåíèå èññëåäîâàíèé ñâÿçàíî ñ ïîíÿòèåì ñòàáèëüíîñòè (stability)[36]-[37]-[6]. Ìåòîä îáó÷åíèÿ íàçûâàåòñÿ ñòàáèëüíûì, åñëè íåáîëüøèå âàðèàöèè îáó÷àþùåé âûáîðêè ïðèâîäÿò ê íåçíà÷èòåëüíûì èçìåíåíèÿì ïîëó÷àåìîãî ¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004 12 Ê.Â. Âîðîíöîâ àëãîðèòìà. Ñóùåñòâóþò ðàçëè÷íûå ñïîñîáû ôîðìàëüíîãî îïðåäåëåíèÿ ñòàáèëüíîñòè, íàïðèìåð, â ðàáîòå [60] ââîäèòñÿ 12 ðàçëè÷íûõ îïðåäåëåíèé è óñòàíàâëèâàþòñÿ âçàèìîñâÿçè ìåæäó íèìè. Êàê ïðàâèëî, îöåíêè êà÷åñòâà ñòàáèëüíûõ ìåòîäîâ íå çàâèñÿò îò ñëîæíîñòíûõ õàðàêòåðèñòèê ñåìåéñòâà.  ÷àñòíîñòè, ïîëó÷åíû îöåíêè ñòàáèëüíîñòè è îáîáùàþùåé ñïîñîáíîñòè ëîêàëüíûõ ìåòîäîâ òèïà áëèæàéøèõ ñîñåäåé è ïîòåíöèàëüíûõ ôóíêöèé [71]-[43]-[44]. Ýòè ìåòîäû øèðîêî èñïîëüçóþòñÿ áëàãîäàðÿ ñâîåé ïðîñòîòå, îäíàêî ïîðîæäàþò ñåìåéñòâà àëãîðèòìîâ áåñêîíå÷íîé ¼ìêîñòè. Äîêàçàíà ñòàáèëüíîñòü áóñòèíãà, ìàøèí îïîðíûõ âåêòîðîâ, ìåòîäîâ ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà ñ ðåãóëÿðèçèðóþùåé øòðàôíîé ôóíêöèåé, è íåêîòîðûõ äðóãèõ. Ê ñîæàëåíèþ, ÷èñëåííûå îöåíêè òðåáóåìîé äëèíû îáó÷åíèÿ äëÿ ñòàáèëüíûõ ìåòîäîâ òàêæå ñèëüíî çàâûøåíû, êàê ñëîæíîñòíûå, è äàþò òîëüêî êà÷åñòâåííîå îáîñíîâàíèå ñîîòâåòñòâóþùèõ àëãîðèòìîâ. 6. Êîíöåíòðàöèÿ âåðîÿòíîñòè Ñîâðåìåííûå èññëåäîâàíèÿ òàêèõ ñâîéñòâ îáó÷àåìûõ àëãîðèòìîâ, êàê ýôôåêòèâíàÿ ñëîæíîñòü, îòñòóï, êîìïîçèöèîííàÿ ñòðóêòóðà è ñòàáèëüíîñòü, ñóùåñòâåííî îïèðàþòñÿ íà ñîâðåìåííûé ìàòåìàòè÷åñêèé àïïàðàò, îïèñûâàþùèé ÿâëåíèå êîíöåíòðàöèè âåðîÿòíîñòíîé ìåðû (measure concentration).  ïåðâûõ ðàáîòàõ Âàïíèêà è ×åðâîíåíêèñà äëÿ ýòîé öåëè èñïîëüçîâàëèñü êëàññè÷åñêèå íåðàâåíñòâà Õ¼ôäèíãà è Áåðíøíåéíà. Áîëåå òî÷íûå ðåçóëüòàòû óäà¼òñÿ ïîëó÷àòü ñ ïîìîùüþ íåðàâåíñòâ ×åðíîâà [42], ìåòîäà îãðàíè÷åííûõ ðàçíîñòåé ÌàêÄèàðìèäà [66] è èçîïåðèìåòðè÷åñêèõ íåðàâåíñòâ Òàëàãðàíäà [78]-[79]. Ââîäíîå èçëîæåíèå ýòèõ ìàòåìàòè÷åñêèõ òåõíèê ìîæíî íàéòè â îáçîðàõ [27]-[62]. 7. Ñêîëüçÿùèé êîíòðîëü Åù¼ îäíî íàïðàâëåíèå èññëåäîâàíèé ñâÿçàíî ñ èñïîëüçîâàíèåì ñêîëüçÿùåãî êîíòðîëÿ (crossvalidation) [45]-[59]. Ïðîöåäóðà ñêîëüçÿùåãî êîíòðîëÿ çàêëþ÷àåòñÿ â ñëåäóþùåì. Ôèêñèðóåòñÿ íåêîòîðîå ìíîæåñòâî ðàçáèåíèé èñõîäíîé âûáîðêè íà äâå ÷àñòè: îáó÷àþùóþ è êîíòðîëüíóþ. Äëÿ êàæäîãî ðàçáèåíèÿ âûïîëíÿåòñÿ íàñòðîéêà àëãîðèòìà ïî îáó÷àþùåé ïîäâûáîðêå è âû÷èñëÿåòñÿ ÷àñòîòà åãî îøèáîê íà êîíòðîëüíîé ïîäâûáîðêå. Îöåíêà ñêîëüçÿùåãî êîíòðîëÿ îïðåäåëÿåòñÿ êàê ñðåäíÿÿ ïî âñåì ðàçáèåíèÿì ÷àñòîòà îøèáîê íà êîíòðîëå. Ôàêòè÷åñêè, ñêîëüçÿùèé êîíòðîëü íåïîñðåäñòâåííî èçìåðÿåò îáîáùàþùóþ ñïîñîáíîñòü ìåòîäà îáó÷åíèÿ íà çàäàííîé êîíå÷íîé âûáîðêå.  çàâèñèìîñòè îò ñïîñîáà ôîðìèðîâàíèÿ ìíîæåñòâà ðàçáèåíèé ðàçëè÷àþò íåñêîëüêî ðàçíîâèäíîñòåé ñêîëüçÿùåãî êîíòðîëÿ [59]: åñëè ìíîæåñòâî ðàçáèåíèé îäíîýëåìåíòíî, ãîâîðÿò îá îöåíêå êà÷åñòâà íà îòäåëüíîé òåñòîâîé âûáîðêå (holdout estimate); ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004 Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ 13 åñëè èñïîëüçóþòñÿ âñå ðàçáèåíèÿ ñ êîíòðîëüíîé âûáîðêîé åäèíè÷íîé äëèíû, ãîâîðÿò îá îöåíêå ñ îäíèì îòäåëÿåìûì îáúåêòîì (leaveoneout estimate); åñëè èñïîëüçóþòñÿ âñå ðàçáèåíèÿ ñ êîíòðîëüíîé âûáîðêîé ôèêñèðîâàííîé. íî íå îáÿçàòåëüíî åäèíè÷íîé, äëèíû, ãîâîðÿò îá îïåíêå ïîëíîãî ñêîëüçÿùåãî êîíòðîëÿ (complete crossvalidation) [68]; åñëè ãåíåðèðóåòñÿ ñëó÷àéíîå ïîäìíîæåñòâî ðàçáèåíèé ñ êîíòðîëüíîé âûáîðêîé ôèêñèðîâàííîé äëèíû, ãîâîðÿò î áóòñòðåï-îöåíêå (bootstrap estimate) ; åñëè ìíîæåñòâî ðàçáèåíèé îáðàçóåòñÿ κ íåïåðåñåêàþùèìèñÿ êîíòðîëüíûìè âûáîðêàìè, ãîâîðÿò î Àæðàòíîì ñêîëüçÿùåì êîíòðîëå (κfold cross-validation). Íà ïðàêòèêå ñêîëüçÿùèé êîíòðîëü ïðèìåíÿåòñÿ ëèáî äëÿ âûáîðà ìîäåëè àëãîðèòìîâ (model selection) èç íåñêîëüêèõ ìîäåëåé-ïðåòåíäåíòîâ [58], ëèáî äëÿ îïòèìèçàöèè íåáîëüøîãî ÷èñëà ïàðàìåòðîâ, îïðåäåëÿþùèõ ñòðóêòóðó àëãîðèòìà, òàêèõ, êàê ñòåïåíü ïîëèíîìà èëè êîëè÷åñòâî íåéðîíîâ íà ñêðûòîì óðîâíå íåéðîííîé ñåòè. Ñ÷èòàåòñÿ, ÷òî íàñòðîéêà çíà÷èòåëüíîé äîëè ïàðàìåòðîâ ïî ñêîëüçÿùåìó êîíòðîëþ ëèøåíà ñìûñëà. Êîãäà êîíòðîëüíàÿ âûáîðêà ñóùåñòâåííî âîâëåêàåòñÿ â ïðîöåññ îáó÷åíèÿ, ñêîëüçÿùèé êîíòðîëü íà÷èíàåò âûäàâàòü ñìåù¼ííóþ çàíèæåííóþ îöåíêó îáîáùàþùåé ñïîñîáíîñòè. Ïðè÷èíîé ÿâëÿåòñÿ âñ¼ òî æå ïåðåîáó÷åíèå, êîòîðîå ïðèâîäèò ê çàíèæåííîñòè ýìïèðè÷åñêîãî ðèñêà [69]. Èçâåñòíî, ÷òî ñêîëüçÿùèé êîíòðîëü äà¼ò íåñìåù¼ííóþ îöåíêó âåðîÿòíîñòè îøèáêè â òîì ñëó÷àå, êîãäà îí èñïîëüçóåòñÿ äëÿ ïðîâåðêè êà÷åñòâà ïî îêîí÷àíèè îáó÷åíèÿ. Îäíàêî äî ñèõ íîð íåò èñ÷åðïûâàþùèõ èññëåäîâàíèé, ïîêàçûâàþùèõ, â êàêîé ñòåïåíè ñêîëüçÿùèé êîíòðîëü ìîæåò èñïîëüçîâàòüñÿ íà ñòàäèè îáó÷åíèÿ. Èíòóèöèÿ ïîäñêàçûâàåò, ÷òî ñêîëüçÿùèé êîíòðîëü äîëæåí õàðàêòåðèçîâàòü îáîáùàþùóþ ñïîñîáíîñòü àëãîðèòìà ëó÷øå, ÷åì ÷àñòîòà îøèáîê íà îáó÷åíèè. Òåì íå ìåíåå, ýòîò ôàêò äîëãîå âðåìÿ íå óäàâàëîñü äîêàçàòü. Ïîïûòêè ïðåäïðèíèìàëèñü íåîäíîêðàòíî [58]-[56]-[53], íî áûëè ïîëó÷åíû ëèøü ¾ðàçóìíûå¿ âåðõíèå ãðàíèöû (sanitycheck bounds) äëÿ îòêëîíåíèÿ ñêîëüçÿùåãî êîíòðîëÿ îò âåðîÿòíîñòè îøèáîê àëãîðèòìà. Óêàçàííûå îöåíêè äàæå íåñêîëüêî õóæå, ÷åì îöåíêè Âàïíèêà×åðâîíåíêèñà äëÿ îòêëîíåíèÿ ýìïèðè÷åñêîãî ðèñêà è òðåáóþò äîïîëíèòåëüíûõ ïðåäïîëîæåíèé î ñòàáèëüíîñòè ìåòîäà îáó÷åíèÿ [56]. Ïðè÷èíà ýòèõ íåóäà÷ àíàëèçèðóåòñÿ â [32], ãäå ââîäÿòñÿ è ñðàâíèâàþòñÿ äâà àëüòåðíàòèâíûõ ñïîñîáà ôîðìàëèçàöèè ïîíÿòèÿ îáîáùàþùåé ñïîñîáíîñòè. Ïðè ïåðâîì ñïîñîáå, áëèçêîì ê ïîäõîäó Âàïíèêà-×åðâîíåíêèñà, îöåíèâàåòñÿ êà÷åñòâî îòäåëüíîãî àëãîðèòìà, ïîëó÷åííîãî â ðåçóëüòàòå îáó÷åíèÿ. Ýòî ïðèâîäèò ê çàâûøåííûì îöåíêàì, çàâèñÿùèì îò ¼ìêîñòè ñåìåéñòâà è òðåáóþùèì äîïîëíèòåëüíûõ ïðåäïîëîæåíèé î ñòàáèëüíîñòè ìåòîäà îáó÷åíèÿ [56]. Ïðè âòîðîì ñïîñîáå îöåíèâàåòñÿ êà÷åñòâî ìåòîäà îáó÷åíèÿ â öåëîì. Îêàçûâàåòñÿ, â ýòîì ñëó÷àå îöåíêà îòêëîíåíèÿ ñêîëüçÿùåãî êîíòðîëÿ îò âåðîÿòíîñòè îøèáêè àëãîðèòìà, îáó÷åííîãî íà ñëó÷àéíîé âûáîðêå, íå çàâèñèò îò ¼ìêîñòè ñåìåéñòâà, à òîëüêî îò äëèíû îáó÷åíèÿ è êîíòðîëÿ. Ñ ðîñòîì äëèíû îáåèõ âûáîðîê óêàçàííîå îòêëîíåíèå ñòðåìèòñÿ ê íóëþ. Äàííûé ðåçóëüòàò ¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004 14 Ê.Â. Âîðîíöîâ ïðîÿñíÿåò ïðèðîäó ñêîëüçÿùåãî êîíòðîëÿ è ïîêàçûâàåò, ÷òî çàâûøåííîñòü ïðåäûäóùèõ îöåíîê ñâÿçàíà ñ íåóäà÷íûì âûáîðîì èñõîäíîãî ôóíêöèîíàëà êà÷åñòâà. Îòñþäà âûòåêàåò âàæíûé âûâîä: òåîðèÿ êà÷åñòâà îáó÷åíèÿ ìîæåò îêàçàòüñÿ âåñüìà ÷óâñòâèòåëüíîé ê èñõîäíîé àêñèîìàòèêå, â ÷àñòíîñòè, ê ôîðìàëèçàöèè ñàìîãî ïîíÿòèÿ êà÷åñòâà îáó÷åíèÿ. Âòîðîé âàæíûé âûâîä çàêëþ÷àåòñÿ â òîì, ÷òî ñêîëüçÿùèé êîíòðîëü õàðàêòåðèçóåò îáîáùàþùóþ ñïîñîáíîñòü ìåòîäà íå íàìíîãî õóæå, ÷åì âåðîÿòíîñòü îøèáêè. Íàèáîëåå òî÷íîå âûðàæåíèå ýòè èäåè íàøëè â êîìáèíàòîðíîì ïîäõîäå ê îáîñíîâàíèþ îáó÷àåìûõ àëãîðèòìîâ. 8. Êîìáèíàòîðíûé ïîäõîä Êîìáèíàòîðíûé ïîäõîä [4]-[9]-[8] âîçíèê êàê ïîïûòêà áîëåå òî÷íîãî ïîñòðîåíèÿ ñòàòèñòè÷åñêîé òåîðèè Âàïíèêà-×åðâîíåíêèñà, íà÷èíàÿ ñ èñõîäíûõ å¼ ïîñòóëàòîâ. Äëÿ ýòîãî èìåëîñü äâå îñíîâíûå ïðåäïîñûëêè. Âî-ïåðâûõ, ñëîæèëîñü ïîíèìàíèå òîãî, ÷òî ïðèíöèï ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà â çàðàíåå çàäàííîì ñåìåéñòâå àëãîðèòìîâ íå äîñòàòî÷íî òî÷íî îïèñûâàåò ïðîöåññ îáó÷åíèÿ. Âî-ïåðâûõ, íå âïîëíå ÿñíî, ãäå ïðîõîäèò ãðàíèöà ñåìåéñòâà. Ìîæåò îêàçàòüñÿ òàê, ÷òî ôîðìàëüíî âûïèñàíî î÷åíü øèðîêîå ñåìåéñòâî, íî íà ïðàêòèêå ïðîöåäóðà îáó÷åíèÿ âûäà¼ò àëãîðèòìû ëèøü èç íåáîëüøîé åãî ÷àñòè. Âî-âòîðûõ, äîñòàâëÿòü ìèíèìóì ýìïèðè÷åñêîìó ðèñêó ìîãóò ìíîãèå àëãîðèòìû, îäíàêî â êà÷åñòâå ðåøåíèÿ âñåãäà âûáèðàåòñÿ òîëüêî îäèí. Êîíêðåòèçàöèÿ ìåòîäà åãî ïîñòðîåíèÿ, âîçìîæíî, ïîçâîëèò ó÷åñòü ñïåöèôè÷åñêèå îñîáåííîñòè ïðîöåññà îáó÷åíèÿ. Â-òðåòüèõ, äàëåêî íå âñå ìåòîäû îáó÷åíèÿ, õîðîøî çàðåêîìåíäîâàâøèå ñåáÿ íà ïðàêòèêå, ìèíèìèçèðóþò ýìïèðè÷åñêèé ðèñê.  êà÷åñòâå ïðèìåðîâ ìîæíî ïðèâåñòè ìåòîäû âûáîðà ìîäåëè ïî ñêîëüçÿùåìó êîíòðîëþ èëè äðóãèì âíåøíèì êðèòåðèÿì [13], ìåòîäû ðåãóëÿðèçàöèè ýìïèðè÷åñêîãî ðèñêà, ìåòîäû ÿâíîé ìàêñèìèçàöèè îòñòóïà, áóñòèíã, áàããèíã, è ò. ä.  êîìáèíàòîðíîì ïîäõîäå ÿâíûì îáðàçîì ââîäèòñÿ ïîíÿòèå ìåòîäà îáó÷åíèÿ êàê îòîáðàæåíèÿ, êîòîðîå êîíå÷íîé îáó÷àþùåé âûáîðêå ñòàâèò â ñîîòâåòñòâèå íåêîòîðûé âïîëíå îïðåäåë¼ííûé àëãîðèòì. Ñåìåéñòâî àëãîðèòìîâ ñòàíîâèòñÿ âòîðè÷íîé êîíñòðóêöèåé ýòî âñå àëãîðèòìû, êîòîðûå ìîãóò áûòü ïîëó÷åíû â ðåçóëüòàòå ïðèìåíåíèÿ äàííîãî ìåòîäà îáó÷åíèÿ êî âñåâîçìîæíûì êîíå÷íûì âûáîðêàì. Îäíîâðåìåííî ïîÿâëÿåòñÿ âîçìîæíîñòü åäèíîîáðàçíî ðàññìàòðèâàòü ëþáûå ìåòîäû, à íå òîëüêî ìèíèìèçàöèþ ýìïèðè÷åñêîãî ðèñêà. Âòîðîé ïðåäïîñûëêîé áûëî ïîíèìàíèå òîãî, ÷òî âåðîÿòíîñòü îøèáêè ÿâëÿåòñÿ ãèïîòåòè÷åñêîé âåëè÷èíîé, êîòîðóþ íåâîçìîæíî âû÷èñëèòü, à èíîãäà äàæå è îöåíèòü, íàïðèìåð, â ñëó÷àå ìàëûõ âûáîðîê.  òî æå âðåìÿ, íà ïðàêòèêå ëþáàÿ îáó÷àåìàÿ ñèñòåìà ñòàëêèâàåòñÿ òîëüêî ñ êîíå÷íûìè âûáîðêàìè, áóäü òî îáó÷àþùèå, êîíòðîëüíûå èëè ðàáî÷èå ñîâîêóïíîñòè îáúåêòîâ. Ïîýòîìó îáîáùàþùóþ ñïîñîáíîñòü àëãîðèòìîâ öåëåñîîáðàçíî õàðàêòåðèçîâàòü èìåííî îòíîñèòåëüíî êîíå÷íûõ âûáîðîê. ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004 Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ 15 Æåëàòåëüíî òàêæå, ÷òîáû ôóíêöèîíàë êà÷åñòâà ìîæíî áûëî ñ êîíòðîëèðóåìîé òî÷íîñòüþ èçìåðÿòü íî èìåþùèìñÿ ýìïèðè÷åñêèì äàííûì. Íàêîíåö, èñïîëüçîâàíèå ãèïîòåòè÷åñêèõ âåðîÿòíîñòåé ìîæåò ïðèâîäèòü ê ëèøíèì ïðîìåæóòî÷íûì øàãàì ïðè äîêàçàòåëüñòâå îöåíîê è ïîíèæàòü èõ òî÷íîñòü.  êîìáèíàòîðíîì ïîäõîäå êà÷åñòâî îáó÷åíèÿ ïî ïðåöåäåíòàì (îáîáùàþùàÿ ñïîñîáíîñòü ìåòîäà) õàðàêòåðèçóåòñÿ ôóíêöèîíàëàìè ïîëíîãî ñêîëüçÿùåãî êîíòðîëÿ, çàâèñÿùèìè òîëüêî îò ìåòîäà îáó÷åíèÿ è çàäàííîé êîíå÷íîé âûáîðêè. Òàêèå ôóíêöèîíàëû ïðåäëàãàåòñÿ íàçûâàòü êîìáèíàòîðíûìè, ïîñêîëüêó îíè îïðåäåëÿþòñÿ ÷åðåç ìíîæåñòâî âñåõ ðàçáèåíèé âûáîðêè. Ïîëó÷åíû âåðõíèå îöåíêè êîìáèíàòîðíûõ ôóíêöèîíàëîâ, àíàëîãè÷íûå ïî ñâîåé ñòðóêòóðå ñòàòèñòè÷åñêèì [9]. Îíè îêàçûâàþòñÿ äàæå áîëåå òî÷íûìè, ïîñêîëüêó âìåñòî ñëîæíîñòè âñåãî ñåìåéñòâà â íèõ ôèãóðèðóåò ñëîæíîñòü ëîêàëüíîãî ïîäñåìåéñòâà, ñîñòîÿùåãî èç àëãîðèòìîâ, âûäàâàåìûõ ìåòîäîì îáó÷åíèÿ â äàííîé êîíêðåòíîé çàäà÷å. Êîìáèíàòîðíûå îöåíêè, â îòëè÷èå îò ñòàòèñòè÷åñêèõ, ñïðàâåäëèâû äëÿ ëþáîãî ìåòîäà îáó÷åíèÿ è ëþáîé êîíå÷íîé âûáîðêè, íå îáÿçàòåëüíî ñëó÷àéíîé, íåçàâèñèìîé, îäèíàêîâî ðàñïðåäåë¼ííîé. Èõ äîêàçàòåëüñòâî ïðîâîäèòñÿ èñêëþ÷èòåëüíî êîìáèíàòîðíûìè ìåòîäàìè è âîîáùå íå îïèðàåòñÿ íà òåîðèþ âåðîÿòíîñòåé. Äàííûé ôàêò ïðåäñòàâëÿåòñÿ âåñüìà íåîæèäàííûì. Äî ñèõ ïîð âåðîÿòíîñòíàÿ ïðèðîäà ïðîáëåìû êà÷åñòâà îáó÷åíèÿ îñòàâàëàñü, ïîæàëóé, åäèíñòâåííûì ïîñòóëàòîì ñòàòèñòè÷åñêîé òåîðèè, íèêîãäà íå ïîäâåðãàâøèìñÿ ñîìíåíèþ. Íî âîçìîæíà è äðóãàÿ òî÷êà çðåíèÿ: ñàìî ïîíÿòèå âåðîÿòíîñòè ñîäåðæèò ¾âñòðîåííûé¿ ïðåäåëüíûé ïåðåõîä, ïîýòîìó åãî ïðèìåíåíèå íå âïîëíå óìåñòíî â äèñêðåòíûõ çàäà÷àõ ñ êîíå÷íûìè, çà÷àñòóþ ìàëûìè, âûáîðêàìè. Êîìáèíàòîðíûé ïîäõîä íå îòâåðãàåò, à óòî÷íÿåò ñòàòèñòè÷åñêóþ òåîðèþ. Ëþáàÿ êîìáèíàòîðíàÿ îöåíêà ëåãêî ¾ïðåâðàùàåòñÿ¿ â âåðîÿòíîñòíóþ, åñëè ñíîâà ïðèíÿòü ñòàíäàðòíûé íàáîð âåðîÿòíîñòíûõ ãèïîòåç è ïðèìåíèòü îïåðàöèþ ìàòåìàòè÷åñêîãî îæèäàíèÿ îäíîâðåìåííî ê ôóíêöèîíàëó è åãî îöåíêå. Òàêèì îáðàçîì, ïðè ïåðåõîäå îò ñòàòèñòè÷åñêîé òåîðèè ê êîìáèíàòîðíîé ñîáëþäàåòñÿ ¾ïðèíöèï ñîîòâåòñòâèÿ¿.  òî æå âðåìÿ, êîìáèíàòîðíàÿ ïåðåñòðîéêà àêñèîìàòèêè ïðèâîäèò ê ñóùåñòâåííîìó ïåðåñìîòðó ìíîãèõ ïîëîæåíèé ñòàòèñòè÷åñêîé òåîðèè. 1. Ñòàíîâèòñÿ ïîëíîñòüþ î÷åâèäíîé èçáûòî÷íîñòü òðåáîâàíèÿ ðàâíîìåðíîé ñõîäèìîñòè. Íà ïðàêòèêå âîññòàíàâëèâàåìàÿ çàâèñèìîñòü è ìåòîä îáó÷åíèÿ âñåãäà ôèêñèðîâàíû, à îáó÷àþùàÿ âûáîðêà êîíå÷íà. Ïîýòîìó ëèøü êîíå÷íàÿ ÷àñòü ñåìåéñòâà ìîæåò áûòü ïîëó÷åíà â ðåçóëüòàòå îáó÷åíèÿ, îñòàëüíûå àëãîðèòìû îñòàþòñÿ íåçàäåéñòâîâàííüøè. Ðàçóìååòñÿ, íàèáîëüøèé èíòåðåñ ïðåäñòàâëÿþò ñèòóàöèè, êîãäà ñëîæíîñòü ëîêàëüíîãî ïîäñåìåéñòâà îêàçûâàåòñÿ ñóùåñòâåííî ìåíüøå ñëîæíîñòè âñåãî ñåìåéñòâà. Ýòîò ýôôåêò ïðåäëàãàåòñÿ íàçûâàòü ëîêàëèçàöèåé ñåìåéñòâà àëãîðèòìîâ. Ñóùåñòâîâàíèå ýôôåêòà ëîêàëèçàöèè ñíèìàåò èñêóññòâåííûé çàïðåò íà èñïîëüçîâàíèå ñëîæíûõ àëãîðèòìîâ. Âàæíî íå ñòîëüêî îãðàíè÷èòü ¼ìêîñòü ñåìåéñòâà, ¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004 16 Ê.Â. Âîðîíöîâ ñêîëüêî ðàçðàáîòàòü ìåòîä îáó÷åíèÿ, ñïîñîáíûé ïîäñòðàèâàòüñÿ ïîä êîíêðåòíûå çàäà÷è, âñÿêèé ðàç ïî-ðàçíîìó ëîêàëèçóÿ ¾ðàáî÷óþ îáëàñòü¿ ñåìåéñòâà. Ïðè ôèêñàöèè âîññòàíàâëèâàåìîé çàâèñèìîñòè ìåòîä îáó÷åíèÿ äîëæåí ñòðîèòü àëãîðèòìû, ¾ïîõîæèå¿ íà íå¼. Òîãäà íå âàæíî, ñêîëüêî åù¼ ¾íå ïîõîæèõ¿ àëãîðèòìîâ ñîäåðæèòñÿ â ñåìåéñòâå. Ýòî ñâîéñòâî ïðåäëàãàåòñÿ íàçûâàòü ëîêàëèçóþùåé ñïîñîáíîñòüþ ìåòîäà îáó÷åíèÿ. Îíî ÿâëÿåòñÿ âàæíîé êîìïîíåíòîé åãî îáîáùàþùåé ñïîñîáíîñòè. 2. Êîìáèíàòîðíûé ïîäõîä ïîçâîëÿåò ïî-íîâîìó âçãëÿíóòü íà ïðîáëåìó ïîñòðîåíèÿ êîððåêòíûõ àëãîðèòìîâ (íå äîïóñêàþùèõ îøèáîê íà îáó÷àþùåé âûáîðêå). Êîìáèíàòîðíûå îöåíêè ïðåäñòàâëÿþòñÿ â âèäå ïðîèçâåäåíèÿ ëîêàëüíîé ôóíêöèè ðîñòà, êîòîðàÿ ìîæåò áûòü ìíîãî ìåíüøå ôóíêöèè ðîñòà âñåãî ñåìåéñòâà, è êîìáèíàòîðíîãî ìíîæèòåëÿ, êîòîðûé áûñòðî âîçðàñòàåò ïî ìåðå óâåëè÷åíèÿ ÷èñëà îøèáîê íà îáó÷åíèè. Î÷åâèäíî, äëÿ îáåñïå÷åíèÿ êîððåêòíîñòè íåîáõîäèìî óñëîæíÿòü êîíñòðóêöèþ àëãîðèòìîâ. Ñîãëàñíî ñòàòèñòè÷åñêîé òåîðèè ýòî ïðèâîäèò ê çíà÷èòåëüíîìó óâåëè÷åíèþ ôóíêöèè ðîñòà âñåãî ñåìåéñòâà, íà ôîíå êîòîðîãî ýôôåêò óìåíüøåíèÿ êîìáèíàòîðíîãî ìíîæèòåëÿ îñòà¼òñÿ íåçàìåòíûì. Îòñþäà äåëàåòñÿ âûâîä, ÷òî íå ñëåäóåò äîáèâàòüñÿ áåçîøèáî÷íîé ðàáîòû àëãîðèòìà íà îáó÷àþùåì ìàòåðèàëå. Ñ òî÷êè çðåíèÿ êîìáèíàòîðíîãî ïîäõîäà óñëîæíåíèå êîíñòðóêöèè àëãîðèòìà íå îáÿçàòåëüíî ïðèâîäèò ê ñóùåñòâåííîìó óâåëè÷åíèþ ëîêàëüíîé ôóíêöèè ðîñòà.  ýòîì ñëó÷àå òðåáîâàíèå; êîððåêòíîñòè ñòàíîâèòñÿ êðàéíå æåëàòåëüíûì, ïîñêîëüêó îíî ðåçêî óìåíüøàåò êîìáèíàòîðíûé ìíîæèòåëü. Îòìåòèì, ÷òî èäåÿ ïîñòðîåíèÿ êîððåêòíûõ àëãîðèòìè÷åñêèõ êîìïîçèöèé ÿâëÿåòñÿ öåíòðàëüíîé â àëãåáðàè÷åñêîì ïîäõîäå ê ðàñïîçíàâàíèþ [12]. 3. Îòëè÷èòåëüíîé ÷åðòîé êîìáèíàòîðíîãî ïîäõîäà ÿâëÿåòñÿ ñîõðàíåíèå êîìáèíàòîðíîãî ìíîæèòåëÿ â èñõîäíîì, äîñòàòî÷íî ãðîìîçäêîì, âèäå. Ýëåìåíòàðíûå ðàñ÷¼òû ïîêàçûâàþò, ÷òî åãî ýêñïîíåíöèàëüíûå ïðèáëèæåíèÿ, ïðèíÿòûå â ñòàòèñòè÷åñêîé òåîðèè, ïðèâîäÿò ê îñëàáëåíèþ îöåíêè â íåñêîëüêî ðàç. Ñîâðåìåííûå âû÷èñëèòåëüíûå ñðåäñòâà ïîçâîëÿþò äîñòàòî÷íî ýôôåêòèâíî ðàáîòàòü ñ èñõîäíîé ôîðìóëîé. 4. Ñóùåñòâåííî òðàíñôîðìèðóåòñÿ ìåòîä ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà. Ïîñêîëüêó êîìáèíàòîðíûå ôóíêöèîíàëû ìîæíî èçìåðÿòü ïî âûáîðêå, ïîÿâëÿåòñÿ âîçìîæíîñòü âîîáùå îòêàçàòüñÿ îò çàâûøåííûõ âåðõíèõ îöåíîê, è ïåðåéòè ê íåïîñðåäñòâåííîìó èñïîëüçîâàíèþ ñêîëüçÿùåãî êîíòðîëÿ. Íî ýòî èìåííî òî, ÷òî ïðåäëàãàëè äåëàòü Âàïíèê è ×åðâîíåíêèñ íà ïðàêòèêå, ïðàâäà, áåç âèäèìîé ñâÿçè ñ îñíîâíûìè òåîðåòè÷åñêèìè ðåçóëüòàòàìè [3].  êîìáèíàòîðíîì ïîäõîäå ïîñòðîåíèå ñòðóêòóðû âëîæåííûõ ïîäñåìåéñòâ ðàçëè÷íîé ¼ìêîñòè òåðÿåò ñìûñë. Âìåñòî ýòîãî äîñòàòî÷íî áðàòü êîíå÷íûé íàáîð ìåòîäîâ îáó÷åíèÿ è âûáèðàòü èç íèõ ëó÷øèé ïî êðèòåðèþ ñêîëüçÿùåãî êîíòðîëÿ. Íåêîòîðûå ýìïèðè÷åñêèå èññëåäîâàíèÿ ïîêàçûâàþò, ÷òî äàííàÿ òåõíèêà âûáîðà ìîäåëè àëãîðèòìîâ âî ìíîãèõ ñëó÷àÿõ ïðåäïî÷òèòåëüíåå ïðèíöèïîâ ñòðóêòóðíîé ìèíèìèçàöèè ðèñêà è ìèíèìàëüíîé äëèíû îïèñàíèÿ (minimum description length), íàïðàâëåííûõ íà ÿâíóþ îïòèìèçàöèþ ñëîæíîñòè [55]. ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004 Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ 17 5. Ïðåäëîæåííîå â ðàáîòàõ [80]-[33] ïîíÿòèå ýôôåêòèâíîé ¼ìêîñòè îñíîâàíî íà ýìïèðè÷åñêîì èçìåðåíèè ôóíêöèîíàëà ðàâíîìåðíîãî îòêëîíåíèÿ ÷àñòîòû îøèáîê â äâóõ âûáîðêàõ äëÿ çàäà÷ êëàññèôèêàöèè.  êîìáèíàòîðíîì ïîäõîäå ýòîò ôóíêöèîíàë î÷åâèäíûì îáðàçîì çàìåíÿåòñÿ íà ôóíêöèîíàë ñêîëüçÿùåãî êîíòðîëÿ, ÷òî ïðèâîäèò ê âîçíèêíîâåíèþ íîâîãî ïîíÿòèÿ ëîêàëüíîé ýôôåêòèâíîé ¼ìêîñòè.  îòëè÷èå îò ýôôåêòèâíîé ¼ìêîñòè ïî Âàïíèêó, ëîêàëüíàÿ ýôôåêòèâíàÿ ¼ìêîñòü ó÷èòûâàåò âñå îñîáåííîñòè ðàñïðåäåëåíèÿ îáúåêòîâ, âîññòàíàâëèâàåìîé çàâèñèìîñòè è ìåòîäà îáó÷åíèÿ. 6. Àíàëèç êîìáèíàòîðíûõ îöåíîê ïîçâîëÿåò íàçâàòü òðè îñíîâíûå ïðè÷èíû çàâûøåííîñòè ñëîæíîñòíûõ îöåíîê êà÷åñòâà: ïðåíåáðåæåíèå ýôôåêòîì ëîêàëèçàöèè, ïîãðåøíîñòü ýêñïîíåíöèàëüíîãî ïðèáëèæåíèÿ êîìáèíàòîðíîãî ìíîæèòåëÿ è ïîãðåøíîñòü, ñâÿçàííàÿ ñ ñàìèì ïåðåõîäîì îò êà÷åñòâà ê ñëîæíîñòè. Êîìáèíàòîðíûé àíàëîã îöåíîê Âàïíèêà×åðâîíåíêèñà ïîçâîëÿåò óñòðàíèòü òîëüêî ïåðâûå äâå ïðè÷èíû.  ñèëó òðåòüåé ïðè÷èíû ëþáûå ñëîæíîñòíûå îöåíêè êà÷åñòâà îáó÷åíèÿ ÿâëÿþòñÿ ïðèíöèïèàëüíî çàâûøåííûìè. Äàííûé ôàêò ïîçâîëÿåò âûäâèíóòü ïðåäïîëîæåíèå, ÷òî ïîëó÷èòü ïðèåìëåìûå ÷èñëåííûå îöåíêè êà÷åñòâà âîçìîæíî òîëüêî ïðè ÿâíîì ó÷¼òå àïðèîðíîé èíôîðìàöèè î âûáîðêå è âîññòàíàâëèâàåìîé çàâèñèìîñòè. 9. Óíèâåðñàëüíûå Îãðàíè÷åíèÿ Îñíîâíàÿ èäåÿ ýòîãî íàïðàâëåíèÿ ñîñòîèò â òîì, ÷òî åñëè ìåòîä îáó÷åíèÿ ñòðîèò àëãîðèòìû, â íåêîòîðîì ñìûñëå ¾ñîãëàñîâàííûå¿ ñ èìåþùåéñÿ àïðèîðíîé èíôîðìàöèåé, òî îáîáùàþùàÿ ñïîñîáíîñòü òàêîãî ìåòîäà ìîæåò îêàçàòüñÿ ñóùåñòâåííî ëó÷øå, ÷åì â îáùåì ñëó÷àå. Ñîîòâåòñòâèå îáó÷àþùåé âûáîðêè (ëîêàëüíîé èíôîðìàöèè) è àïðèîðíûõ îãðàíè÷åíèé (óíèâåðñàëüíîé èíôîðìàöèè) ïîäðîáíî èçó÷àåòñÿ â òåîðèè óíèâåðñàëüíûõ è ëîêàëüíûõ îãðàíè÷åíèé Ê. Â. Ðóäàêîâà [19]-[22]-[20]-[21]-[23]-[11] ñ ïîçèöèé òåîðèè êàòåãîðèé è àëãåáðàè÷åñêîãî ïîäõîäà ê ïðîáëåìå ðàñïîçíàâàíèÿ. Àëãåáðàè÷åñêàÿ òåîðèÿ ïîçâîëÿåò ïðîâåðÿòü íåïðîòèâîðå÷èâîñòü ýòèõ äâóõ òèïîâ èíôîðìàöèè è êîíñòðóêòèâíî îïèñûâàòü íåèçáûòî÷íûå êëàññû ìîäåëåé àëãîðèòìîâ, äîïóñêàþùèå ïîñòðîåíèå êîððåêòíûõ (íå îøèáàþùèõñÿ íà îáó÷àþùåé âûáîðêå) àëãîðèòìîâ. Îäíàêî îöåíêè îáîáùàþùåé ñïîñîáíîñòè â äàííîé òåîðèè íå ðàññìàòðèâàþòñÿ. Âîîáùå, ïðîáëåìà âëèÿíèÿ àïðèîðíîé èíôîðìàöèè íà êà÷åñòâî âîññòàíîâëåíèÿ çàâèñèìîñòè ïðåäñòàâëÿåòñÿ íàèáîëåå ñëîæíîé è íàèìåíåå èçó÷åííîé. Êîìáèíàòîðíûé ïîäõîä ñóùåñòâåííî îáëåã÷àåò ðàçâèòèå äàííîãî íàïðàâëåíèÿ, ïîñêîëüêó îòïàäàåò íåîáõîäèìîñòü ñîãëàñîâûâàòü àïðèîðíóþ èíôîðìàöèþ ñî ñâîéñòâàìè âåðîÿòíîñòíîé ìåðû.  ÷àñòíîñòè, ïîëó÷åíà íå-âåðîÿòíîñòíàÿ îöåíêà ôóíêöèîíàëà ñêîëüçÿùåãî êîíòðîëÿ äëÿ ñëó÷àÿ, êîãäà èñêîìàÿ çàâèñèìîñòü ìîíîòîííà èëè ïî÷òè-ìîíîòîííà, è ¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004 18 Ê.Â. Âîðîíöîâ ìåòîä îáó÷åíèÿ ñòðîèò òîëüêî ìîíîòîííûå îòîáðàæåíèÿ [7]-[9]. Àïðèîðíàÿ èíôîðìàöèÿ âûðàæàåòñÿ â ôîðìå ¾ïðîôèëÿ ìîíîòîííîñòè¿ âûáîðêè, êîòîðûé õàðàêòåðèçóåò ïëîòíîñòü îòíîøåíèÿ ïîðÿäêà âáëèçè ãðàíèöû êëàññîâ. Äàííàÿ îöåíêà íèêîãäà íå ïðåâûøàåò åäèíèöû, íå çàâèñèò îò ñëîæíîñòè ñåìåéñòâà (èìåþùåãî, êàê èçâåñòíî, áåñêîíå÷íóþ ¼ìêîñòü), è ÿâëÿåòñÿ ñóùåñòâåííî áîëåå òî÷íîé íà ìàëûõ âûáîðêàõ, ÷åì îöåíêè, ïîëó÷åííûå ðàíåå [24]-[75]. Åù¼ îäíà íåâåðîÿòíîñòíàÿ îöåíêà ïîëó÷åíà äëÿ ìåòîäà áëèæàéøåãî ñîñåäà ïðè íàëè÷èè àïðèîðíîé èíôîðìàöèè î êîìïàêòíîñòè êëàññîâ, âûðàæåííîé â ôîðìå ¾ïðîôèëÿ êîìïàêòíîñòè¿ âûáîðêè. Äàííàÿ îöåíêà ÿâëÿåòñÿ òî÷íîé è âûòåêàåò íåïîñðåäñòâåííî èç ôîðìóë ýôôåêòèâíîãî âû÷èñëåíèÿ ïîëíîãî ñêîëüçÿùåãî êîíòðîëÿ äëÿ ìåòîäà áëèæàéøèõ ñîñåäåé [68]. Îíà òàêæå íå çàâèñèò îò ñëîæíîñòíûõ õàðàêòåðèñòèê ñåìåéñòâà, èìåþùåãî áåñêîíå÷íóþ ¼ìêîñòü.  çàêëþ÷åíèå îòìåòèì, ÷òî äîïîëíåíèåì ê äàííîìó îáçîðó ÿâëÿåòñÿ ïåðèîäè÷åñêè ïîïîëíÿåìàÿ ÷àñòè÷íî àííîòèðîâàííàÿ áèáëèîãðàôè÷åñêàÿ áàçà MachLearn, ðàçìåù¼ííàÿ ïî àäðåñó www.ccas.ru/frc Àâòîð âûðàæàåò ãëóáîêóþ ïðèçíàòåëüíîñòü àêàäåìèêó ÐÀÍ Þ. È. Æóðàâë¼âó çà îêàçûâàåìóþ ïîääåðæêó è ñâîåìó Ó÷èòåëþ ÷ë.-êîðð. ÐÀÍ Ê. Â. Ðóäàêîâó çà ïîñòîÿííîå âíèìàíèå ê ðàáîòå è öåííûå çàìå÷àíèÿ. Ðàáîòà ïîääåðæàíà Ðîññèéñêèì ôîíäîì ôóíäàìåíòàëüíûõ èññëåäîâàíèé (ïðîåêòû 02-01-00325, 01-07-90242) è Ôîíäîì ñîäåéñòâèÿ îòå÷åñòâåííîé íàóêå. Ñïèñîê ëèòåðàòóðû 1. Âàïíèê Â.Í., ×åðâîíåíêèñ À.ß. Î ðàâíîìåðíîé ñõîäèìîñòè ÷àñòîò ïîÿâëåíèÿ ñîáûòèé. // ÄÀÍ ÑÑÑÐ. 1968. Ò.181, 4. Ñ.781784. 2. Âàïíèê Â.Í., ×åðâîíåíêèñ À.ß. Òåîðèÿ ðàñïîçíàâàíèÿ îáðàçîâ. Ì.: Íàóêà, 1974. 3. Âàïíèê Â.Í. Âîññòàíîâëåíèå çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì. Ì.: Íàóêà, 1979. 4. Âîðîíöîâ Ê.Â. Êà÷åñòâî âîññòàíîâëåíèÿ çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì // Ìàòåìàòè÷åñêèå ìåòîäû patïîçíàâàíèÿ îáðàçîâ: 7-àÿ Âñåðîññ. êîíô: Òåç. äîêë. Ïóùèíî, 1995. Ñ.2426. 5. Âîðîíöîâ Ê.Â. Î ïðîáëåìíîîðèåíòèðîâàííîé îïòèìèçàöèè áàçèñîâ çàäà÷ ðàñïîçíàâàíèÿ // ÆÂÌ è ÌÔ. 1998. Ò.38, 5. Ñ.870880. www.ccas.ru/frc/papers/voron98jvm.pdf 6. Âîðîíöîâ Ê.Â. Îïòèìèçàöèîííûå ìåòîäû ëèíåéíîé è ìîíîòîííîé êîððåêöèè â àëãåáðàè÷åñêîì ïîäõîäå ê ïðîáëåìå ðàñïîçíàâàíèÿ // Ìàòåìàòè÷åñêèå ìåòîäû pacïîçíàâàíèÿ îáðàçîâ: ÆÂÌ è ÌÔ. 2000. Ò.40, JV91. Ñ.166176. www.ccas.ru/frc/papers/voron00jvm.pdf 7. Âîðîíöîâ Ê.Â. Îöåíêà êà÷åñòâà ìîíîòîííîãî ðåøàþùåãî ïðàâèëà âíå îáó÷àþùåé âûáîðêè// íòåëëåêòóàëèçàöèÿ îáðàáîòêè èíôîðìàöèè: Òåç. äîêë. - Ñèìôåðîïîëü, 2002. Ñ.2426. 8. Âîðîíöîâ Ê.Â. Î êîìáèíàòîðíîì ïîäõîäå ê îöåíêå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ// Ìàòåìàòè÷åñêèå ìåòîäû ðàñïîçíàâàíèÿ îáðàçîâ: 11àÿ Âñåðîññ.êîíô: Òåç. äîêë. Ïóùèíî, 2003. Ñ.4749. 9. Âîðîíöîâ Ê.Â. Êîìáèíàòîðíûå îöåíêè êà÷åñòâà îáó÷åíèÿ ïî ïðåöåäåíòàì// Äîêëàäû ÐÀÍ. 2004. Ò.394, Õà2. www.ccas.ru/frc/papers/voron04qualdan.pdf . ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004 Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ 19 10. Äþëè÷åâà Þ.Þ. Îöåíêà VCD rðåäóöèðîâàííîãî ýìïèðè÷åñêîãî ëåñà// Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè. 2003. 1. Ñ.3142. 11. Æóðàâë¼â Þ.È., Ðóäàêîâ Ê.Â. Î Îá àëãåáðàè÷åñêîé êîððåêöèè ïðîöåäóð îáðàáîòêè (ïðåîáðàçîâàíèÿ) èíôîðìàöèè// Ïðîáëåìû ïðèêëàäíîé ìàòåìàòèêè è èíôîðìàòèêè. 1987. Ñ.187198. www.ccas.ru/frc/papers/zhurrud87correct.pdf 12. Æóðàâë¼â Þ.È. Îá àëãåáðàè÷åñêîì ïîäõîäå ê ðåøåíèþ çàäà÷ ðàñïîçíàâàíèÿ èëè êëàññèôèêàöèè// Ïðîáëåìû êèáåðíåòèêè. 1979. Ò.ÇÇ. Ñ.568. 13. Èâàõíåíêî À.Ã., Þðà÷êîâñêèé Þ.Ï. Ìîäåëèðîâàíèå ñëîæíûõ ñèñòåì ïî ýêñïåðèìåíòàëüíûì äàííûì.// Ì.: Ðàäèî è ñâÿçü, 1987. 14. Ìàòðîñîâ Â.Ë. Êîððåêòíûå àëãåáðû îãðàíè÷åííîé ¼ìêîñòè íàä ìíîæåñòâàìè íåêîððåêòíûõ àëãîðèòìîâ// ÄÀÍ ÑÑÑÐ. 1980. Ò.253, ËÏ. Ñ.2530. 15. Ìàòðîñîâ Â.Ë. Åìêîñòü àëãåáðàè÷åñêèõ ðàñøèðåíèé ìîäåëè àëãîðèòìîâ âû÷èñëåíèÿ îöåíîê// ÆÂÌ è ÌÔ. 1984. Ò.24, 11. ÑË719 1730. 16. Ìàòðîñîâ Â.Ë. Åìêîñòü àëãåáðàè÷åñêèõ ðàñøèðåíèé ìîäåëè àëãîðèòìîâ âû÷èñëåíèÿ îöåíîê// ÆÂÌ è ÌÔ. 1985. Ò.25, 1. Ñ.122133. 17. Ðàñòðèãèí Ë., Ýðåíøòåéí Ð. Êîëëåêòèâíûå ïðàâèëà ðàñïîçíàâàíèÿ.// Ì.: Ýíåðãèÿ, 1981. Ð. 244. 18. Ðóäàêîâ Ê.Â., Âîðîíöîâ Ê.Â. Î ìåòîäàõ îïòèìèçàöèè è ìîíîòîííîé êîððåêöèè â àëãåáðàè÷åñêîì ïîäõîäå ê ïðîáëåìå ðàñïîçíàâàíèÿ//Äîêëàäû ÐÀÍ. 1999. Ò.367, 3. Ñ.314317. www.ccas.ru/frc/papers/nidvoron99dan.pdf 19. Ðóäàêîâ Ê.Â. Î ñèììåòðè÷åñêèõ è ôóíêöèîíàëüíûõ îãðàíè÷åíèÿõ äëÿ àëãîðèòìîâ êëàññèôèêàöèè //ÄÀÍ ÑÑÑÐ. 1987. Ò.297; 1. Ñ.4346. www.ccas.ru/frc/papers/rudakov87dan.pdf 20. Ðóäàêîâ Ê.Â. Ïîëíîòà è óíèâåðñàëüíûå îãðàíè÷åíèÿ â ïðîáëåìå êîððåêöèè ýâðèñòè÷åñêèõ àëãîðèòìîâ êëàññèôèêàöèè//Êèáåðíåòèêà. 1987. 3. Ñ.106-109. 21. Ðóäàêîâ Ê.Â. Ñèììåòðè÷åñêèå è ôóíêöèîíàëüíûå îãðàíè÷åíèÿ â ïðîáëåìå êîððåêöèè ýâðèñòè÷åñêèõ àëãîðèòìîâ êëàññèôèêàöèè //Êèáåðíåòèêà. 1987. 4. Ñ.7377. www.ccas.ru/frc/papers/rudakov87symmetr.pdf 22. Ðóäàêîâ Ê.Â. Ïîëíîòà è óíèâåðñàëüíûå îãðàíè÷åíèÿ â ïðîáëåìå êîððåêöèè ýâðèñòè÷åñêèõ àëãîðèòìîâ êëàññèôèêàöèè//Êèáåðíåòèêà. 1987. 3. Ñ.106-109. 23. Ðóäàêîâ Ê.Â.. Î ïðèìåíåíèè óíèâåðñàëüíûõ îãðàíè÷åíèé ïðè èññëåäîâàíèè àëãîðèòìîâ êëàññèôèêàöèè // Êèáåðíåòèêà. 1988. 1. Ñ.15. www.ccas.ru/frc/papers/rudakov88uaiversal.pdf 24. Ѽìî÷êèí À.Í. Îöåíêè ôóíêöèîíàëà êà÷åñòâà äëÿ êëàññà àëãîðèòìîâ ñ óíèâåðñàëüíûìè îãðàíè÷åíèÿìè ìîíîòîííîñòè // Äåïîíèð. â ÂÈÍÈÒÈ ÐÀÍ. 1998. 2965. Â98. Ñ.20. 25. Anthony M.,Bartlett P. L. Neural Network Learning: Theoretical Foundations. Cambridge University Press, Cambridge, 1999. 26. Anthony M.,ShaweTaylor J. A result of Vapnik with applications /7 Discrete Applied Mathematics. 1993. Vol.47, no.2. P.207217. ht.tp:/ /citeseer.nj.nec.com/aiithony91result. html 27. Anthony M. Uniform glivenkocantelli theorems and concentration of measure in the mathematical modelling of learning: Tech. Rep. LSECDAM200207: 2002. www.maths.lse.ac.uk/Personal/martin/mresearch.html 28. Antos A.,Kegl Â., Linder Ò., Lugosi G. Data-dependent marginbased generalization bounds for classication // Journal of Machine Learning Research. 2002. P.7398. http://citeseer.nj.nec.com/article/antos02datadependent.html 29. Bartlett P. L. For valid generalization the size of the weights is more important than the size of the network // Advances in Neural Information Processing Systems / Ed. by M. C. Mozer, M. I. Jordan, T. Petsche. Vol.9. The MIT Press, 1997. P.134. http://citeseer.nj.nec.com/bartlett97for.html ¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004 20 Ê.Â. Âîðîíöîâ 30. Bartlett P. L. Lower bounds on the VapnikChervonenkis dimension of multilayer threshold networks // Proceedings of the Sixth Annual ACM Conference on Computational Learning Theory. ACM Press, .×åëó York, NY, 1993. P.144150. http://citeseer.nj.nec.com/bartlett931ower.html 31. Bartlett P. L. The sample complexity of pattern classication with neural networks: the size of the weights is more important than the size of the network // IEEE Transactions on Information Theory. 1998. Vol.44, no.2. P.525-536. http://discus.anu.edu.au/ bartlett 32. Bontempi G., Birattari M. A bound on the crossvalidation estimate for algorithm assessment //I Eleventh Belgium/Netherlands Conference on Articial Intelligence (BNAIC). 1999. P.115122. http://citeseer.nj.nec.com/225930.html 33. Bottou L., Cortes C, Vapnik V. On the eective VC dimension. 1994. http://citeseer.nj.nec.com/bottou94eective.htnil 34. Boucheron S., Lugosi G., Massart P. A sharp concentration inequality with applications // Random Structures and Algorithms. 2000. Vol.16, no.3. P.115122. http://citeseer.nj.nec.com/article/boucheron99sharp.htral 35. Boucheron S., Lugosi G., Massart P. Concentration inequalities using the entropy method. 2003. http://citeseer.nj.nec.com/boucheron02concentration.html 36. Bousquet O., Elissee A. Algorithmic stability and generalization performance // Advances in Neural Information Processing Systems 13. 2001. P.196202. http://citeseer.nj.nec.com/article/bousquetOOalgorithmic.html 37. Bousquet O., Elissee A. Stability and generalization // Journal of Machine Learning Research. 2002. no.2. P.499-526. http://citeseer.nj.nec.com/article/bousquetOOstability.html 38. Breiman L. Bagging predictors // Machine Learning. 1996. Vol.24, no.2. P.123-140. http://citeseer.nj.nec.com/breiman96bagging.html 39. Breiman L. Bias, variance, and arcing classiers: Tech.Rep. 460: Statistics Department, University of California, 1996. http://citeseer.nj.nec.com/breiman96bias.htrnl 40. Breiman L. Arcing classiers. 1998. http://citeseer.nj.nec.com/breiman98arcing.html 41. Burges Ñ. J. A tutorial on support vector machines for pattern recognition // Data Mining and Knowledge Discovery. 1998. Vol.2, no.2. P.121167. http://citeseer.nj.nec.com/burges98tutorial.html 42. Cherno H. A measure of asymptotic eciency for tests of a hypothesis based on the sura of observations // Annals of Math.Stat. 1952. Vol.23. P.493509. 43. Devroye L. P., Wagner Ò. J. Distribution-free inequalities for the deleted and holdout error estimates // IEEE Transactions on Information Theory. 1979. Vol.25, no.2. P.202207. 44. Devroye L. P., Wagner T. J. Distributionfree performance bounds for potential function rules II IEEE Transactions on Information Theory. 1979. Vol.25, no.5. P.601-604. 45. Efron B. The Jackknife, the Bootstrap, and Other Resampling Plans. SIAM, Philadelphia, 1982. 46. Evgeniou Ò., Pontil M., ElisseefF A. ALeave one out error, stability, and generalization of voting combinations of classiers: Tech. Rep. INSEAD 2001-21-TM: 2001. http://citeseer.nj.nec.com/445768.html 47. Smola A., Bartlett P., Scholkopf Â., Schuurmans D. A decision-theoretic generalization of on-line learning and an application to boosting // European Conference on Computational Learning Theory. 1995. P.2337. http://citeseer.nj.nec.com/article/freund95decisiontheoretic.html 48. Freund Y., Schapire R. E. Experiments with a new boosting algorithm // International Conference on Machine Learning. 1996. P. 148156. http://citeseer.nj.nec.com/freund96experiments.html ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004 Îáçîð ïî ïðîáëåìå êà÷åñòâà îáó÷åíèÿ àëãîðèòìîâ 21 49. Freund Y., Schapire R. E. Discussion of the paper ¾Arcing classiers¿ by Leo Breiman // The Annals of Statistics. 1998. Vol.26, no.3. P.824832. http://citeseer.nj.nec.com/freund97discusaion.html 50. Freund Y. Boosting a weak learning algorithm by majority // COLT: Proceedings of the Workshop on Computational Learning Theory. Morgan Kaufmann Publishers, 1990. http://citeseer.nj.nec.com/freund95boosting.html 51. Freund Y. Self bounding learning algorithms // COLT: Proceedings of the Workshop on Computational Learning Theory. Morgan Kaufmann Publishers, 1998. http://citeseer.nj.nec.com/freund98seJf.html 52. Golea M., Bartlett P., Lee W. S., Mason L. Generalization in decision trees and DNF: Does size matter // Advances in Neural Information Processing Systems / Ed. by M. I. Jordan, M. .1. Kearns, S. A. Solla. Vol.10. The MIT Press, 1998. http://citeseer.nj.nec.com/gGlea97generalization.html 53. Holden S. B. Cross-validation and the ðàñ learning model: Tech. Rep. RN/96/64: Dept. of CS, Univ. College. London. 1996. 54. Karpinski M., Macintyre A. Polynomial bounds for VC dimension of sigmoidai neural networks // 27th ACM Symp. Theory Comput, 1995. P.200-208. http://citeseer.nj.nec.com/karpmski95polynomial.html 55. Kearns M. J., Mansour Y., Ng A. Y., Ron D. An experimental and theoretical comparison of model selection methods // Computational Learning Theory. 1995. P.21-30. http://citeseer.nj.nec.com/kearns95experimental.html 56. Kearns M. J., Ron D. Algorithmic stability and sanity-check bounds for leaveone-out cross-validation // Computational Learning Theory. 1997. P.152-162. http://citeseer.nj.nec.com/kearns97algorithmic.html 57. Kearns M. J. Schapire R. E. Ecient distribution-free learning of probabilistic concepts // Computational Learning Theory and Natural Learning Systems, Volume I: Constraints and Prospect, edited by Stephen Jose Hanson, George A. Drastal, and Ronald L. Rivest Bradford/MIT Press. 1994. Vol.1. http://citeseer.nj.nec.com/article/keaxns93ecient.html 58. Kearns M. A bound on the error of cross validation using the approximation and estimation rates, with consequences for the training-test split // Advances in Neural Information Processing Systems / Ed. by D. S. Touretzky, M. C. Mozer, M. E. Hasselmo. Vol.8. The MIT Press, 1996. P.183-189. http://citeseer.nj.nec.com/kearns96bound.html 59. Kohavi R. A study of cross-validation and bootstrap for accuracy estimation and model selection // IJCAI. 1995. Ð.Ï37-Ï45. http://citeseer.nj.nec.com/kohavi95study.htrnl 60. Kutin S., Niyogi P. Almost-everywhere algorithmic stability and generalization error: Tech. Rep. TR-2002-03: University of Chicago, 2002. http://citeseer.nj.nec.com/kutm02almosteverywhere.html 61. Langford J., Blum A. Microchoice bounds and self bounding learning algorithms // Computational bearing Theory. 1999. P.209-214. http://citeseer.nj.nec.com/langford01microchoice.html 62. Lugosi G. On concentration-of-measure inequalities. Machine Learning Summer School 2003, Australian National University, Canberra. 2003.http://citeseer.nj.nec.com/lugosi98concentrationmeasure.html 63. Mason L., Bartlett P., Baxter J. Direct optimization of margins improves generalization in combined classiers: Tech.Rep.: Deparment of Systems Engineering, Australian National University, 1998. http://citeseer.nj.nec.com/mason98direct.html 64. Mason L., Bartlett P., Golea M. Generalization error of combined classiers: Tech.Rep.: Department of Systems Engineering, Australian National University, 1997. http://citeseer.nj.nec.com/mason97generalizatioa.html ¾Òàâðiéñüêèé âiñíèê iíôîðìàòèêè i ìàòåìàòèêè¿, 1 2004 22 Ê.Â. Âîðîíöîâ 65. Mazurov V., Khachai M., Rybin A. Committee constructions for solving problems of selection, diagnostics and prediction // Proceedings of the Steklov Institute of mathematics. 2002. -Vol.1. P.67-101. http://tom.imm.ur an. ru/khachay/publications/mine/psis67.pdf 66. McDiarmid C. On the method of bounded dierences // In Surveys in Combinatorics, London Math. Soc. Lecture Notes Series. 1989. Vol.141. P.148-188. 67. Mertens S., Engel A. Vapnik-Chervonenkis dimension of neural networks with binary weights // Phys. Rev. E. 1997. Vol.55, no.4. P.4478-4488. 68. Mullin M., Sukthankar R. Complete cross-validation for nearest neighbor classiers /7 Proceedings of International Conference on Machine Learning. 2000. http://citeseer.nj.nec.com/309025.html 69. Ng A.Y. Preventing ovcrh'tting of cross-validation data // Proc. 14th International Conference on Machine Learning. Morgan Kaufmann, 1997. P.245-253. http://citeseer.nj.nec.com/ng97preventing.html 70. Quinlan J. Induction of decision trees // Machine Learning. 1986. Vol.1, no.l. P.81-106. 71. Rogers W., Wagner T. A nite sample distribution-free performance bound for local discrimination rules // Annals of Statistics. 1978. Vol.6, no.3. P.506-514. 72. Schapire R. E., Fretmd Y., Lee W. S., Bartlett P. Boosting the margin: a new explanation for the eectiveness of voting methods /./ Annals of Statistics. 1998. Vol.26, no.5. P. 1651-1686. http://citeseer.nj.nec.com/article/schapire98boosting.html 73. Schapire R. The boosting approach to machine learning: An overview. - 2001. http://citeseer.nj.nec.com/schapire02boosting.h 74. Shawe-Taylor J., Bartlett P. L. Structural risk minimization over data-dependent hierarchies // IEEE Trans, on Information Theory. 1998. Vol.44, no.5. P.1926-1940. http://citeseer.nj.nec.com/article/8hawe-taylor98stnictural.html 75. Sill J. The capacity of monotonic functions // Discrete Applied Mathematics (special issue on VC dimension). 1998. Vol.86. P.96-107. http://citeseer.nj.nec.com/49191.html 76. Skurichina M., Kuncheva L., Duin R. Bagging and boosting for the nearest mean classier: Eects of sample size on diversity and accuracy // Multiple Classier Systems Proc. Third International Workshop MCS, Cagliari, Italy / Ed. by J. K. F. Roli. Vol.2364. - Springer, Berlin, 2002. P.62-71. http://citeseer.nj.nec.com/539135.html 77. Smola A., Bartlett P., Scholkopf Â., Schuurmans D. Advances in large margin classiers. 2000. http://citeseer.nj.nec.com/articIe/smolaOOadvances.html. 78. Talagrand. M. Sharper bounds for gaussian and empirical processes // Annals of Probability. 1994. no.22. P.28-76. 79. Talagrand M. Concentration of measure and isoperimetric inequalities in product space. 1995. http://citeseer.nj.nec.com/talagrand95concentration.html 80. Vapnik V., Levin E., Cun Y. L. Measuring the VC-dimension of a learning machine // Neural Computation. 1994. Vol.6, no.5. P.851-876. http://citeseer.nj.nec.com/vapnik94measuring.html 81. Vayatis N., Azencott R. Distribution-dependent Vapnik-Chervonenkis bounds // Lecture Notes in Computer Science. 1999. Vol.1572. P.230-240. http://citeseer.nj.nec.com/vayatis99distributiondependent.html 82. Williamson R., Shawe-Taylor J., Scholkopf Â., Smola A. Sample based generalization bounds: Tech. Rep. NeuroCOLT Technical Report NC-TR-99-055: 1999. http://citeseer.nj. nec.com/williamson99sample. html. ¾Òàâðè÷åñêèé âåñòíèê èíôîðìàòèêè è ìàòåìàòèêè¿, 1 2004