68 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ ¹1 Ðîáàñòíàÿ ðåãðåññèÿ ñ ïðèìåíåíèåì t-ðàñïðåäåëåíèÿ è EM-àëãîðèòìà Øâåäîâ À.Ñ.  pàáîòå pàññìàòpèâàåòñÿ ëèíåéíàÿ påãpåññèîííàÿ ìîäåëü. EM-àëãîpèòì ïpåäñòàâëÿåò ñîáîé pàñïpîñòpàíåííûé ïîäõîä ê îöåíêå ïàpàìåòpîâ òàêèõ ìîäåëåé íà îñíîâå îáùåãî ïpèíöèïà ìàêñèìèçàöèè ïpàâäîïîäîáèÿ. Èçâåñòíî, ÷òî ýòîò ìåòîä îöåíêè ïàpàìåòpîâ ÿâëÿåòñÿ pîáàñòíûì, åñëè îøèáêè íåçàâèñèìû, îäèíàêîâî pàñïpåäåëåíû è èìåþò ìíîãîìåpíîå t-pàñïpåäåëåíèå.  ïpåäûäóùèõ pàáîòàõ òàêîé ïîäõîä ê îöåíêå ïàpàìåòpîâ påãpåññèîííûõ ìîäåëåé ïpèìåíÿëñÿ ëèøü ïpè óñëîâèè, ÷òî îøèáêè èìåþò ìíîãîìåpíîå t-pàñïpåäåëåíèå ñ ÷èñëîâûì ïàpàìåòpîì ñòåïåíåé ñâîáîäû.  íàñòîÿùåé pàáîòå pàññìàòpèâàåòñÿ áîëåå îáùàÿ ñèòóàöèÿ, êîãäà îøèáêè ìîãóò èìåòü ìíîãîìåpíîå t-pàñïpåäåëåíèå ñ âåêòîpíûì ïàpàìåòpîì ñòåïåíåé ñâîáîäû. Íåíàáëþäàåìûå âåëè÷èíû â EM-àëãîpèòìå ïpè ýòîì îêàçûâàþòñÿ ñëó÷àéíûìè ìàòpèöàìè. Íà ÷èñëåííûõ ïpèìåpàõ ïpè pàçëè÷íûõ pàñïpåäåëåíèÿõ îøèáîê èññëåäîâàíû ïpåèìóùåñòâà òàêîãî ïîäõîäà ïî ñpàâíåíèþ ñ ìåòîäîì íàèìåíüøèõ êâàäpàòîâ. Êëþ÷åâûå ñëîâà: ðîáàñòíàÿ ðåãðåññèÿ; ìíîãîìåðíîå t-ðàñïðåäåëåíèå; EM-àëãîðèòì. 1. Ââåäåíèå Ðåãpåññèîííûå ìîäåëè ÿâëÿþòñÿ îñíîâíûì èíñòðóìåíòîì äëÿ âûÿâëåíèÿ çàâèñèìîñòåé ìåæäó pàçëè÷íûìè ïîêàçàòåëÿìè ïpàêòè÷åñêè âî âñåõ îáëàñòÿõ ýêîíîìè÷åñêîé íàóêè. Îäíàêî êëàññè÷åñêèå è íàèáîëåå pàñïpîñòpàíåííûå ìåòîäû ïîñòpîåíèÿ påãpåññèîííûõ ìîäåëåé íå îáëàäàþò ñâîéñòâîì pîáàñòíîñòè, ÷òî, â pÿäå ñëó÷àåâ, ìîæåò ïpèâîäèòü ê íåâåpíûì påçóëüòàòàì. Ðîáàñòíûå ìåòîäû â ýêîíîìåòpèêå èçâåñòíû äîñòàòî÷íî äàâíî (ñì., íàïpèìåp, [11]). Íî âñå æå â íàñòîÿùåå âpåìÿ, ñêîpåå, ìîæíî ãîâîpèòü îá óñèëåíèè òåíäåíöèè ê ïpèìåíåíèþ pîáàñòíûõ ìåòîäîâ, à íå îá îáÿçàòåëüíîì òpåáîâàíèè èñïîëüçîâàíèÿ òàêèõ ìåòîäîâ õîòÿ áû íàpÿäó ñ êëàññè÷åñêèìè äëÿ êîíòpîëÿ êà÷åñòâà påçóëüòàòîâ. Èäåÿ èñïîëüçîâàòü påãpåññèîííûå ìîäåëè, ó êîòîpûõ îøèáêè èìåþò íå íîpìàëüíûå (ãàóññîâñêèå) pàñïpåäåëåíèÿ, à t-pàñïpåäåëåíèÿ, âîçíèêàåò, äàæå åñëè íå ñâÿçû____________________ Øâåäîâ À.Ñ. – ä. ôèç.-ìàò. í., ïðîôåññîð êàôåäðû ìàòåìàòè÷åñêîé ýêîíîìèêè è ýêîíîìåòðèêè ÍÈÓ «Âûñøåé øêîëû ýêîíîìèêè», e-mail: ashvedov@hse.ru Ñòàòüÿ ïîñòóïèëà â Ðåäàêöèþ â äåêàáðå 2010 ã. 2011 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ 69 âàòü ýòîò ïîäõîä ñ pîáàñòíîñòüþ ïpîöåäóp îöåíêè ïàpàìåòpîâ. Åùå â XIX â. ó÷åíûå çíàëè «îá îïàñíîñòÿõ, ïîpîæäàåìûõ äëèííûìè õâîñòàìè ôóíêöèé pàñïpåäåëåíèÿ îøèáîê» (ñì. [2, ñ. 7]). ( íàñòîÿùåå âpåìÿ ÷àùå èñïîëüçóåòñÿ òåpìèí íå «äëèííûå õâîñòû», à «òÿæåëûå õâîñòû».) Èçíà÷àëüíîå èñïîëüçîâàíèå ïpè àíàëèçå ïpåäïîëîæåíèÿ î íîpìàëüíîñòè îøèáîê âêëþ÷àåò è ïpåäïîëîæåíèå î ëåãêèõ õâîñòàõ ôóíêöèé pàñïpåäåëåíèÿ. Ýòî ìîæåò íå îòâå÷àòü ñóùåñòâó äåëà è ïpèâîäèòü ê èñêàæåíèÿì â âûâîäàõ. Îäíèì èç ñàìûõ pàñïpîñòpàíåííûõ ïîäõîäîâ ê ìîäåëèpîâàíèþ òÿæåëûõ õâîñòîâ ÿâëÿåòñÿ èñïîëüçîâàíèå t-pàñïpåäåëåíèÿ. Õîòÿ äëÿ ëèíåéíûõ påãpåññèîííûõ ìîäåëåé, ó êîòîpûõ îøèáêè èìåþò t-pàñïpåäåëåíèå, è íå ñóùåñòâóåò òàêîé çàìêíóòîé è êpàñèâîé òåîpèè, êàê äëÿ ëèíåéíûõ påãpåññèîííûõ ìîäåëåé, ó êîòîpûõ îøèáêè èìåþò íîpìàëüíîå pàñïpåäåëåíèå, ìîæíî ãîâîpèòü è î ïpåèìóùåñòâàõ ìîäåëåé ñ t-pàñïpåäåëåíèåì. Òàê, ôàêòè÷åñêè, påãpåññèîííûå ìîäåëè, ó êîòîðûõ îøèáêè èìåþò t-pàñïpåäåëåíèå, âêëþ÷àþò â ñåáÿ â êà÷åñòâå ÷àñòíîãî ñëó÷àÿ påãpåññèîííûå ìîäåëè, ó êîòîpûõ îøèáêè èìåþò íîðìàëüíîå pàñïpåäåëåíèå, ïîñêîëüêó ïpè ñòpåìëåíèè ÷èñëà ñòåïåíåé ñâîáîäû ê áåñêîíå÷íîñòè t-pàñïpåäåëåíèÿ ïåpåõîäÿò â íîpìàëüíîå pàñïpåäåëåíèå. È påçóëüòàòû â ïpåäïîëîæåíèè, ÷òî îøèáêè èìåþò t-pàñïpåäåëåíèå ñ äîñòàòî÷íî áîëüøèì ÷èñëîì ñòåïåíåé ñâîáîäû, è â ïpåäïîëîæåíèè, ÷òî îøèáêè èìåþò íîpìàëüíîå pàñïpåäåëåíèå, îêàçûâàþòñÿ ïðàêòè÷åñêè íåîòëè÷èìûìè. Íàêîíåö, ïpè îöåíêå ìåòîäîì ìàêñèìàëüíîãî ïpàâäîïîäîáèÿ ïàpàìåòpîâ påãpåññèîííûõ ìîäåëåé, ó êîòîpûõ îøèáêè èìåþò t-pàñïpåäåëåíèÿ, ìîæíî èñïîëüçîâàòü ïpîöåäópû, îáëàäàþùèå ñâîéñòâîì pîáàñòíîñòè. Íåpåäêî ñòàòèñòè÷åñêèå äàííûå, ïî êîòîpûì ñòpîèòñÿ påãpåññèîííàÿ ìîäåëü, ñîäåpæàò påçêî âûäåëÿþùèåñÿ íàáëþäåíèÿ (outliers). Ýòè íàáëþäåíèÿ ñóùåñòâåííî îòäåëåíû îò îñíîâíîé ÷àñòè è íå ïîä÷èíÿþòñÿ îáùåé ñòpóêòópå.  êàêèõ-òî ñëó÷àÿõ òàêèå âûápîñû ÿâëÿþòñÿ ïpîñòî ñëåäñòâèåì îøèáîê, äîïóùåííûõ ïpè ñáîpå èëè îáðàáîòêå èíôîpìàöèè, íî ìîãóò îòpàæàòü è påàëüíûå ýôôåêòû. Ïpè èñïîëüçîâàíèè ìíîãèõ îáùåïpèíÿòûõ ïpîöåäóp äëÿ îöåíêè ïàpàìåòpîâ äàæå îäíî påçêî âûäåëÿþùååñÿ íàáëþäåíèå ìîæåò îêàçàòü î÷åíü ñèëüíîå è ÷àñòî èñêàæàþùåå ïpàâèëüíóþ êàpòèíó äåéñòâèå. Ýòî ëåãêî ïîíÿòü íà ïpèìåpå âûáîpî÷íîãî ñpåäíåãî èëè âûáîpî÷íîé äèñïåpñèè. Òî æå îòíîñèòñÿ è ê ìåòîäó íàèìåíüøèõ êâàäðàòîâ ïpè îïpåäåëåíèè êîýôôèöèåíòîâ â ëèíåéíîé påãpåññèîííîé ìîäåëè. Ðîáàñòíûå ïpîöåäópû îöåíêè ïàpàìåòpîâ ïpåòåíäóþò íà òî, ÷òîáû äàâàòü õîðîøåå ñîîòâåòñòâèå îáùåé ñòpóêòópå è ïpè íàëè÷èè påçêî âûäåëÿþùèõñÿ íàáëþäåíèé, êàê è â ñëó÷àå, êîãäà påçêî âûäåëÿþùèåñÿ íàáëþäåíèÿ îòñóòñòâóþò. Âûÿâëåííàÿ òàêèì îápàçîì ñòpóêòópà, â ñâîþ î÷åpåäü, ìîæåò áûòü èñïîëüçîâàíà äëÿ îáíàðóæåíèÿ påçêî âûäåëÿþùèõñÿ íàáëþäåíèé äàæå ïpè pàáîòå ñ ìíîãîìåpíûìè ñòàòèñòè÷åñêèìè äàííûìè.  êàêîé ìåpå ìîæíî ãîâîpèòü, ÷òî ýòè ïpåòåíçèè ñîîòâåòñòâóþò äåéñòâèòåëüíîñòè? Ñóùåñòâóþò pàçëè÷íûå ïîäõîäû ê ïîñòpîåíèþ pîáàñòíûõ àëãîpèòìîâ. Èíîãäà påçêî âûäåëÿþùèåñÿ íàáëþäåíèÿ àâòîìàòè÷åñêè èãíîpèpóþòñÿ. Äëÿ òåõ ìåòîäîâ, êîòîðûå èçó÷àþòñÿ â íàñòîÿùåé pàáîòå, âêëàä òàêèõ íàáëþäåíèé òîëüêî óìåíüøàåòñÿ. Äëÿ êàæäîãî êëàññà àëãîpèòìîâ ñëîâà «õîpîøåå ñîîòâåòñòâèå îáùåé ñòpóêòópå è ïpè íàëè÷èè påçêî âûäåëÿþùèõñÿ íàáëþäåíèé» íàïîëíÿþòñÿ ñâîèì ñîäåpæàíèåì. Ñpåäè ïpåäøåñòâóþùèõ pàáîò, â êîòîpûõ èçó÷àþòñÿ àëãîpèòìû òîãî æå êëàññà, ÷òî è ó íàñ, íàçîâåì [7, 12, 19]. Ê ïåðå÷èñëåííûì ìîæíî áûëî áû äîáàâèòü è èíòåðåñíóþ pàáîòó [13], îäíàêî â [8, ñ. 165] óêàçûâàåòñÿ íà íåïpàâèëüíûå âûâîäû, èìåþùèåñÿ â ýòîé pàáîòå. Ïîäpîáíåå î «ïîäâîäíûõ êàìíÿõ», âîçíèêàþùèõ, åñëè âêëþ÷àòü â ñî- 70 ¹1 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ ñòàâ àpãóìåíòîâ ôóíêöèè ïpàâäîïîäîáèÿ ÷èñëî ñòåïåíåé ñâîáîäû t-pàñïpåäåëåíèÿ, ñì. [8, 14]. Ðîáàñòíûå àëãîpèòìû äpóãèõ êëàññîâ ïpåäñòàâëåíû, íàïpèìåp, â êíèãàõ [15, 18]. Ïðèìåíÿåòñÿ è áàéåñîâñêèé ïîäõîä (ñì., íàïpèìåp, [9]). Èç ðàáîò ïðèêëàäíîé íàïðàâëåííîñòè íàçîâåì [17, 22]. Ñîäåpæàíèå íàñòîÿùåé pàáîòû ñëåäóþùåå.  ïàpàãpàôå 2 íà ïpèìåpå ìíîæåñòâåííîé påãpåññèè (íàáëþäåíèÿ îäíîìåpíûå, îáúÿñíÿþùèõ ôàêòîpîâ íåñêîëüêî) îáñóæäàåòñÿ ñâÿçü M-îöåíîê è ìåòîäà íàèìåíüøèõ êâàäpàòîâ ñ èòåpàöèîííî ìîäèôèöèðóåìûìè âåñàìè.  ïàpàãpàôå 3 ïpèâîäèòñÿ îïèñàíèå EM-àëãîpèòìà, ñïåöèàëèçèðîâàííîãî ìåòîäà íàõîæäåíèÿ òî÷êè ìàêñèìóìà èìåííî ôóíêöèè ïpàâäîïîäîáèÿ.  ïàpàãpàôå 4 èçëàãàþòñÿ íåêîòîpûå påçóëüòàòû, îòíîñÿùèåñÿ ê îöåíêå ïàpàìåòpîâ ìíîæåñòâåííîé påãpåññèè ñ îøèáêàìè, èìåþùèìè îäíîìåpíîå t-pàñïpåäåëåíèå. Îáúÿñíÿåòñÿ, ïî÷åìó ïðèìåíåíèå EM-àëãîpèòìà â äàííîì ñëó÷àå äàåò pîáàñòíûé ìåòîä îöåíêè ïàpàìåòpîâ påãpåññèè. Òàêæå â ýòîì ïàpàãpàôå ïpèâîäÿòñÿ påçóëüòàòû ÷èñëåííîãî èññëåäîâàíèÿ ïî ìåòîäó Ìîíòå-Êàpëî.  ïàpàãpàôå 5 óñòàíàâëèâàþòñÿ äâå íîâûå òåîðåìû î ìàòpè÷íîì ãàììà-pàñïpåäåëåíèè. Çàòåì ýòè òåîpåìû èñïîëüçóþòñÿ â ïàpàãpàôå 6, ãäå påçóëüòàòû, èçëîæåííûå â ïàpàãpàôå 4, îáîáùàþòñÿ íà ñëó÷àé ìíîãîìåðíîé påãpåññèè (íàáëþäåíèÿ ìíîãîìåpíûå, îáúÿñíÿþùèõ ôàêòîpîâ íåñêîëüêî). Ïpè ýòîì îøèáêè èìåþò t-pàñïpåäåëåíèå ñ âåêòîpíûì ïàpàìåòpîì ñòåïåíåé ñâîáîäû (ââåäåííîå â [3, 4]). Ïpèåì, ïpèìåíÿåìûé â ïàpàãpàôå 6, êîãäà â EM-àëãîpèòìå â êà÷åñòâå íåíàáëþäàåìûõ ïåpåìåííûõ áåpóòñÿ ñëó÷àéíûå ìàòpèöû, âèäèìî, èñïîëüçóåòñÿ âïåðâûå. Òàêæå â ýòîì ïàpàãpàôå ïpèâîäÿòñÿ påçóëüòàòû îäíîãî pàñ÷åòà. 2. Ðîáàñòíîñòü M-îöåíîê Ðàññìîòðèì îáû÷íóþ ëèíåéíóþ ðåãðåññèþ q (1) yi = еx i ab a + ei , i = 1,..., n . a =1 Îáúÿñíÿþùèå ïåðåìåííûå xi a ñ÷èòàþòñÿ èçâåñòíûìè ÷èñëàìè. ×åðåç y1 ,..., yn îáîçíà÷àþòñÿ è îäíîìåðíûå íàáëþäåíèÿ, è ñëó÷àéíûå âåëè÷èíû, ïðåäñòàâëÿþùèå ñîáîé âåðîÿòíîñòíóþ ìîäåëü äëÿ ýòèõ íàáëþäåíèé. Ïðåäïîëàãàåòñÿ, ÷òî ñëó÷àéíûå âåëè÷èíû e1,..., en íåçàâèñèìû, îäèíàêîâî ðàñïðåäåëåíû, è êàæäàÿ èç íèõ èìååò ôóíêöèþ ïëîòíîñòè (2) 1 ж ei ц jзз чч , s иsш ãäå j( x ) – íåêîòîðàÿ èçâåñòíàÿ ôóíêöèÿ ïëîòíîñòè; s > 0 – ìàñøòàáèðóþùèé ìíîæèòåëü. (Êàê îáû÷íî, èñïîëüçóåòñÿ îäíî è òî æå îáîçíà÷åíèå ei è äëÿ ñëó÷àéíîé âåëè÷èíû, è äëÿ àðãóìåíòà ôóíêöèè ïëîòíîñòè.) Çàäà÷à ñîñòîèò â íàõîæäåíèè ïàðàìåòðîâ b1 ,...,b q è s . ( ) ( ) Åñëè ââåñòè â ðàññìîòðåíèå q -ìåðíûå âåêòîðà xi = x i1 ,..., xiq ў è b = b1 ,...,b q ў, øòðèõ îçíà÷àåò òðàíñïîíèðîâàíèå, òî ñóììó, âõîäÿùóþ â ïðàâóþ ÷àñòü (1), ìîæíî îáîçíà÷èòü xiўb . 2011 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ 71 Äëÿ îïðåäåëåíèÿ âåêòîðà b ìîæåò áûòü èñïîëüçîâàí ìåòîä íàèìåíüøèõ êâàäðàòîâ ñ âåñàìè, êîãäà îöåíêà âåêòîðà b ñòðîèòñÿ ïóòåì ìèíèìèçàöèè âûðàæåíèÿ n е w (y (3) i i - xiўb )2 , i =1 ãäå w1,..., wn – çàðàíåå âûáðàííûå ïîëîæèòåëüíûå ÷èñëà.  ÷àñòíîñòè, ïðè w1 = ... = wn = 1 äàííûé ìåòîä ÿâëÿåòñÿ îáû÷íûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ. (Ìû ñåé÷àñ íå êàñàåìñÿ òåîðåòè÷åñêèõ ñâîéñòâ ìåòîäà íàèìåíüøèõ êâàäðàòîâ ñ âåñàìè. Ïîä÷åðêíåì òîëüêî, ÷òî ðå÷ü íå èäåò îá îáîáùåííîì ìåòîäå íàèìåíüøèõ êâàäðàòîâ, ñì., íàïðèìåð, [1, ãë. 5], õîòÿ òàì è âîçíèêàþò ñõîäíûå óðàâíåíèÿ.) Ïðèðàâíèâàíèå ê íóëþ ÷àñòíûõ ïðîèçâîäíûõ ôóíêöèè (3) ïî b1 ,..., b q , ÷òî ÿâëÿåòñÿ íåîáõîäèìûì óñëîâèåì ìèíèìóìà, äàåò ñèñòåìó óðàâíåíèé n еx (4) i a wi ( yi - xiўb ) = 0 , a = 1,..., q . i =1 Ñ äðóãîé ñòîðîíû, îöåíêà ïàðàìåòðîâ b è s ìîæåò áûòü ïðîèçâåäåíà ìåòîäîì ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ, êîãäà èùåòñÿ ìàêñèìóì ôóíêöèè n (5) - n log s + ж y i - xiўb ц чч . s ш е log jззи i =1 Åñëè ââåñòè â ðàññìîòðåíèå ôóíêöèþ w( x ) = - (6) 1 jў( x ) , x j( x ) òî ïðèðàâíèâàíèå ê íóëþ ÷àñòíûõ ïðîèçâîäíûõ ôóíêöèè (5) ïî b1 ,...,b q äàåò ñèñòåìó óðàâíåíèé n еx (7) i =1 ж yi - xiўb ц чч( y i - xiўb ) = 0 , a = 1,..., q . и s ш i a wз з Óðàâíåíèÿ (7), õîòÿ è ïîõîæè íà óðàâíåíèÿ (4), îòëè÷àþòñÿ îò íèõ òåì, ÷òî âåñà çàâèñÿò îò èñêîìîãî ïàðàìåòðà b . Ââåäåì â ðàññìîòðåíèè n ґ q ìàòðèöó X , i -ÿ ñòðîêà êîòîðîé – ýòî xўi , è äèàãîíàëüíóþ n ґ n ìàòðèöó W , ó êîòîðîé i -é ýëåìåíò íà ãëàâíîé äèàãîíàëè – ýòî wi . Òîãäà óðàâíåíèÿ (4) ìîæíî çàïèñàòü â ôîðìå X ў W ( y - Xb ) = 0 , ãäå y = ( y ,..., y )ў . Îòñþäà 1 (8) n b = ( X ў WX ) -1 X ў W y , åñëè ìàòðèöà X ў WX íåâûðîæäåííàÿ. Ýòîò æå ïðèåì ìîæåò áûòü èñïîëüçîâàí è äëÿ ðåøåíèÿ óðàâíåíèé (7). 72 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ ¹1 Ïðåäïîëîæèì, ÷òî ôóíêöèÿ w ( x ) îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè. Âî-ïåðâûõ, îíà ïðèíèìàåò òîëüêî íåîòðèöàòåëüíûå çíà÷åíèÿ. Âî-âòîðûõ, ýòà ôóíêöèÿ ìîíîòîííî íå óáûâàåò ïðè x < 0 è ìîíîòîííî íå âîçðàñòàåò ïðè x > 0 . Â-òðåòüèõ, w( x ) ñòðåìèòñÿ ê íóëþ è ïðè x ® Ґ , è ïðè x ® -Ґ . Òîãäà ìîæíî ãîâîðèòü î ðîáàñòíîñòè îöåíîê ïàðàìåòðà b, ïîëó÷åííûõ ïðè ïîìîùè ñèñòåìû óðàâíåíèé (7), ïîñêîëüêó ðåçêî âûäåëÿþùèìñÿ íàáëþäåíèÿì yi , êàê ïðàâèëî, ñîîòâåòñòâóþò áîëüøèå ïî àáñîж y - xiўb ц чч . ëþòíîé âåëè÷èíå ðàçíîñòè yi - xiўb è, ñîîòâåòñòâåííî, ìàëûå âåñà wзз i и s ш 1 -x2 / 2 Íåòðóäíî óâèäåòü, ÷òî åñëè j( x ) = e – ôóíêöèÿ ïëîòíîñòè ñòàíäàðòíî2p ãî íîðìàëüíîãî ðàñïðåäåëåíèÿ, òî w( x ) є 1 . È â ýòîì ñëó÷àå ñèñòåìà óðàâíåíèé (7) íå ïðèâîäèò ê ðîáàñòíûì îöåíêàì ïàðàìåòðà b. Îòñþäà âîçíèêàåò èäåÿ ðàññìîòðåòü òàê íàçûâàåìûå Ì-îöåíêè, êîòîðûå âêëþ÷àþò â ñåáÿ â êà÷åñòâå ÷àñòíîãî ñëó÷àÿ îöåíêè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ (ñì., íàïðèìåð, [2, 6]).  ýòîì ñëó÷àå ôóíêöèÿ w( x ) , èñïîëüçóåìàÿ â ñèñòåìå óðàâíåíèé (7), íå îáÿçàòåëüíî ñâÿçàíà ñ ôóíêöèåé j( x ) ñîîòíîøåíèåì (6). Çàòî ìîæíî ïîòðåáîâàòü, ÷òîáû ôóíêöèÿ w ( x ) îáëàäàëà òðåìÿ ïåðå÷èñëåííûìè âûøå ñâîéñòâàìè. Èëè äàæå áîëåå ñèëüíûìè ñâîéñòâàìè, íàïðèìåð, îáðàùàëàñü â íîëü ïðè äîñòàòî÷íî áîëüøèõ ïî àáñîëþòíîé âåëè÷èíå x . Àðãóìåíòàöèÿ â ïîëüçó Ì-îöåíîê ìîæåò áûòü è òàêîé. Åñëè ôóíêöèÿ j( x ) íà ïðàêòèêå âñå ðàâíî íå èçâåñòíà, òî ïî÷åìó íóæíî íà÷èíàòü ñ âûáîðà ôóíêöèè j( x ), à íå ñ âûáîðà ôóíêöèè w ( x ) ? Ìîæåò áûòü, ïðàâèëüíåå íà÷èíàòü ñ âûáîðà ôóíêöèè w ( x ), à ôóíêöèþ j( x ) îïðåäåëÿòü èç óðàâíåíèÿ (6)? Íî ìû âñå æå íà÷íåì ñ âûáîðà ôóíêöèè j( x ), à íå ñ âûáîðà ôóíêöèè w ( x ). Ïðè ëþáîì a > 0 ìîæíî ðàññìîòðåòü ôóíêöèþ (9) j( x ) = G (a + 0,5) ж x 2 цч з1 + з ч 2pa G ( a ) и 2a ш 1 - a - 0 ,5 – ôóíêöèþ ïëîòíîñòè t -ðàñïðåäåëåíèÿ ñ 2a ñòåïåíÿìè ñâîáîäû. Èçâåñòíî, ÷òî ïðè a ® Ґ ôóíêöèÿ j( x ) ïåðåõîäèò â ôóíêöèþ ïëîòíîñòè ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ. Íåòðóäíî óâèäåòü, ÷òî åñëè ôóíêöèÿ j( x ) çàäàåòñÿ ôîðìóëîé (9), 2a + 1 òî îïðåäåëÿåìàÿ ñîîòíîøåíèåì (6) ôóíêöèÿ w ( x ) èìååò âèä w( x ) = . È â ýòîì 2a + x 2 ñëó÷àå ìîæíî îæèäàòü, ÷òî ïîëó÷åííàÿ ïóòåì ðåøåíèÿ ñèñòåìû óðàâíåíèé (7) îöåíêà ïàðàìåòðà b áóäåò îáëàäàòü ñâîéñòâîì ðîáàñòíîñòè (äàæå åñëè íå ïåðåõîäèòü îò îöåíîê ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ê áîëåå îáùèì Ì-îöåíêàì), ïîñêîëüêó w ( x ) ñòðåìèòñÿ ê íóëþ è ïðè x ® Ґ , è ïðè x ® -Ґ . Åñëè çàïèñàòü ñèñòåìó óðàâíåíèé (7) â âèäå (8), òî W – ýòî äèàãîíàëüíàÿ ж y - xiўb ц n ґ n ìàòðèöà, ó êîòîðîé i -é ýëåìåíò íà ãëàâíîé äèàãîíàëè ðàâåí wз i ч . Ðåи s ш 2011 73 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ øèòü óðàâíåíèå (8) ìîæíî ïîïûòàòüñÿ ìåòîäîì ïðîñòîé èòåðàöèè. Âûáðàâ íà÷àëüíîå ïðèáëèæåíèå b ( 0 ) , íàïðèìåð, ïðè ïîìîùè ìåòîäà íàèìåíüøèõ êâàäðàòîâ, ò.å. ðåøèâ óðàâíåíèå (8) ñ åäèíè÷íîé ìàòðèöåé W , çàòåì ïðèíèìàåì ( b ( r +1) = X ў W ( r ) X (10) ) -1 X ў W (r) y , ãäå W (r ) – ýòî äèàãîíàëüíàÿ n ґ n ìàòðèöà, ó êîòîðîé i -é ýëåìåíò íà ãëàâíîé äèàж y - xiўb ( r ) ц ч. ãîíàëè ðàâåí wзз i ч (r) и s ш Ïðèðàâíèâàíèå ê íóëþ ÷àñòíîé ïðîèçâîäíîé ôóíêöèè (5) ïî s äàåò âûðàæåíèå (11) s2 = n 1 е(y n i i =1 ж y - xiўb ц чч( y i - xiўb ) , - xiўb ) wзз i и s ш ÷òî ðàâíîñèëüíî ñîîòíîøåíèþ s2 = 1 ( y - Xb )ўW ( y - Xb ) . n Ïîñëåäíåå óðàâíåíèå ïîçâîëÿåò íàõîäèòü çíà÷åíèÿ s èòåðàöèÿìè: (12) 2 s( r +1) = 1 n (y - Xb )ўW (y - Xb ) . ( r +1) (r) ( r +1) 2 Äëÿ îïðåäåëåíèÿ s( 0 ) ìîæåò áûòü èñïîëüçîâàíà åäèíè÷íàÿ ìàòðèöà W . Õîðîøî èçâåñòíî, ÷òî ïîñëåäîâàòåëüíîñòü çíà÷åíèé, ïîëó÷àåìûõ ïðè ïîìîùè ìåòîäà ïðîñòîé èòåðàöèè, ìîæåò áûòü êàê ñõîäÿùåéñÿ, òàê è íå áûòü ñõîäÿùåéñÿ. Íà ïðàêòèêå ýòîò ìåòîä îáû÷íî ïðèìåíÿþò äëÿ íåáîëüøèõ ðàñ÷åòîâ, ðóêîâîäñòâóÿñü ïðèíöèïîì «ðàç ñîøëîñü, çíà÷èò, ðåøåíèå ïîëó÷åíî». Õîòÿ è ñóùåñòâóþò óñëîâèÿ, ãàðàíòèðóþùèå ñõîäèìîñòü ìåòîäà ïðîñòîé èòåðàöèè. Êðîìå òîãî, â ïðàâîé ÷àñòè (12) ñòîèò íå b (r ) , à b ( r +1) , ò.å. â äàííîì ñëó÷àå ïðîèçâîäèòñÿ íåêîòîðîå óñëîæíåíèå ìåòîäà ïðîñòîé èòåðàöèè.  ïàðàãðàôå 4 ïîêàçàíî, ÷òî äëÿ ìíîæåñòâåííîé ëèíåéíîé ðåãðåññèè, êîãäà îøèáêè èìåþò t -ðàñïðåäåëåíèå, ïðèìåíåíèå EM-àëãîðèòìà ïðèâîäèò ê òîìó æå 2 èòåðàöèîííîìó ïðîöåññó (10), (12) äëÿ îïðåäåëåíèÿ b ( r +1) , s ( r +1) . À òîãäà ïðèìåíèìû òåîðåìû î ñõîäèìîñòè èòåðàöèîííîãî ïðîöåññà, ïîñòðîåííîãî íà îñíîâå EMàëãîðèòìà.  ðàìêàõ EM-àëãîðèòìà òàêæå ìîæíî ïðîâåñòè îáîáùåíèå íà ñëó÷àé, êîãäà íàáëþäåíèÿ y1,..., y n íå îäíîìåðíûå, à m -ìåðíûå (ñì. ïàðàãðàô 6). Áîëåå ïîäðîáíî ñâÿçü ìåòîäà íàèìåíüøèõ êâàäðàòîâ ñ èòåðàöèîííî ìîäèôèöèðóåìûìè âåñàìè è ðîáàñòíûõ ïðîöåäóð îñâåùàåòñÿ, íàïðèìåð, â ðàáîòå [21]. 74 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ ¹1 3. EM-àëãîðèòì EM-àëãîðèòì ïðåäíàçíà÷åí äëÿ ïîèñêà òî÷êè, â êîòîðîé äîñòèãàåò ìàêñèìóìà ôóíêöèÿ ïðàâäîïîäîáèÿ, ïóòåì ïîñòðîåíèÿ íåêîòîðîãî èòåðàöèîííîãî ïðîöåññà. Êàæäûé øàã èòåðàöèîííîãî ïðîöåññà ñîñòîèò èç äâóõ ïîäøàãîâ. E-ïîäøàã çàêëþ÷àåòñÿ â íàõîæäåíèè îæèäàíèÿ (expectation) íåêîòîðîé ôóíêöèè îò ñëó÷àéíûõ âåëè÷èí. Ïðè ýòîì îæèäàíèå ñàìî îêàçûâàåòñÿ ôóíêöèåé èíòåðåñóþùåãî ïàðàìåòðà. M-ïîäøàã – ýòî ìàêñèìèçàöèÿ (maximization), îïðåäåëåíèå òîãî çíà÷åíèÿ ïàðàìåòðà, ïðè êîòîðîì äàííàÿ ôóíêöèÿ äîñòèãàåò ìàêñèìóìà. Ïåðâûå áóêâû ïðèâåäåííûõ àíãëèéñêèõ ñëîâ è äàþò íàçâàíèå àëãîðèòìà. Îáçîð ðàçëè÷íûõ çàäà÷, äëÿ ðåøåíèÿ êîòîðûõ ïðèìåíÿåòñÿ EM-àëãîðèòì, ìîæíî íàéòè, íàïðèìåð, â ðàáîòå [16]. Ïóñòü y = ( y1,..., yn ) – ýòî íàáîð íàáëþäåíèé, âîîáùå ãîâîðÿ, ìíîãîìåðíûõ. z = (z1 ,..., zn ) – íàáîð íåíàáëþäàåìûõ âåëè÷èí òàêæå, âîîáùå ãîâîðÿ, ìíîãîìåðíûõ. Ñ îäíîé ñòîðîíû, ïðåäïîëàãàåòñÿ, ÷òî íåíàáëþäàåìûå âåëè÷èíû çàìåòíî âëèÿþò íà íàáëþäàåìûå, è ïðèâëå÷åíèå èõ äëÿ àíàëèçà îòâå÷àåò ñóùåñòâó äåëà. Ñ äðóãîé ñòîðîíû, íàõîæäåíèå òî÷åê ìàêñèìóìà ôóíêöèé â ðàìêàõ EM-àëãîðèòìà ìîæåò îêàçàòüñÿ çíà÷èòåëüíî áîëåå ïðîñòîé è íàäåæíîé ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ ïðîöåäóðîé, ÷åì íåïîñðåäñòâåííîå íàõîæäåíèå òî÷êè ìàêñèìóìà èñõîäíîé ôóíêöèè ïðàâäîïîäîáèÿ.  êàêèõ-òî çàäà÷àõ íå âûçûâàåò ñîìíåíèé, ÷òî èìåííî ñëåäóåò âçÿòü â êà÷åñòâå íåíàáëþäàåìûõ âåëè÷èí.  äðóãèõ çàäà÷àõ îòâåò íà ýòîò âîïðîñ íå ñòîëü î÷åâèäåí. Îáîçíà÷èì ÷åðåç h ñîâìåñòíóþ ôóíêöèþ ïëîòíîñòè ñëó÷àéíûõ âåêòîðîâ y è z, ÷åðåç g – óñëîâíóþ ôóíêöèþ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà z ïðè çàäàííîì y , ÷åðåç f – ìàðãèíàëüíóþ ôóíêöèþ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà y. Âñå ýòè ôóíêöèè ïëîòíîñòè ñ÷èòàþòñÿ çàâèñÿùèìè îò íåêîòîðîãî ïàðàìåòðà q, âîîáùå ãîâîðÿ, ìíîãîìåðíîãî. Èìååò ìåñòî ñîîòíîøåíèå f ( y ; q) = h( y , z; q) . g ( z | y; q) Ïåðåõîäÿ ê ëîãàðèôìàì, ïîëó÷àåì ñîîòíîøåíèå äëÿ ëîãàðèôìè÷åñêèõ ôóíêöèé ïðàâäîïîäîáèÿ (13) l (q | y ) = l (q | y , z ) - log g ( z | y; q) . Çàäà÷à ñîñòîèò â íàõîæäåíèè òî÷êè q, â êîòîðîé äîñòèãàåò ìàêñèìóìà ôóíêöèÿ l (q | y ) . Ïóñòü q(r ) – çíà÷åíèå ïàðàìåòðà q, íàéäåííîå ïðè r -é èòåðàöèè. Óìíîæèì ëåâóþ è ïðàâóþ ÷àñòè (13) íà g ( z | y; q( r ) ) è ïðîèíòåãðèðóåì ïî z. Ââåäåì îáîçíà÷åíèÿ U (q | y; q( r ) ) = l (q | y , z ) g ( z | y; q( r ) ) dz , т r(q | y; q( r ) ) = log g ( z | y; q) g ( z | y; q( r ) ) dz . т Òîãäà (14) l (q | y ) = U (q | y; q(r ) ) - r(q | y; q(r ) ) . 2011 75 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ Çàìåòèì, ÷òî т log g ( z | y ; q( r ) ) g ( z | y; q( r ) ) dz g ( z | y ; q) – ýòî ðàññòîÿíèå Êóëüáàêà – Ëåéáëåðà ìåæäó ôóíêöèÿìè ïëîòíîñòè g ( z | y; q( r ) ) è g ( z | y; q) , êîòîðîå, êàê èçâåñòíî, âñåãäà íåîòðèöàòåëüíî. Ïîýòîìó ïðè ëþáîì q (15) r(q | y; q(r ) ) Ј r(q( r ) | y; q( r ) ) . E-ïîäøàã ñîñòîèò â íàõîæäåíèè îæèäàåìîãî ëîãàðèôìè÷åñêîãî ïðàâäîïîäîáèÿ U (q | y; q(r ) ) . M-ïîäøàã ñîñòîèò â íàõîæäåíèè òî÷êè q(r +1) = arg max U (q | y; q(r ) ) . q Èç (14), (15) è ñïîñîáà îïðåäåëåíèÿ òî÷êè q( r +1) ñëåäóåò, ÷òî (16) l (q( r +1) | y ) і l (q( r ) | y ) . Ñîîòíîøåíèÿ (16) ïîêàçûâàþò, ÷òî äâèæåíèå èäåò «â ïðàâèëüíîì íàïðàâëåíèè», íî åùå íå ãàðàíòèðóþò, ÷òî ïîñëåäîâàòåëüíîñòü q(r ) ñõîäèòñÿ. Óñëîâèÿ îáùåãî õàðàêòåðà, èç êîòîðûõ ñëåäóåò ñõîäèìîñòü ýòîé ïîñëåäîâàòåëüíîñòè ê òî÷êå ìàêñèìóìà ôóíêöèè l (q | y ), äàþòñÿ â ðàáîòå [20] òåîðåìàìè 1 è 4. 4. Ìíîæåñòâåííàÿ ëèíåéíàÿ ðåãðåññèÿ  ýòîì ïàðàãðàôå ðàññìàòðèâàåòñÿ íàáîð îäíîìåðíûõ íàáëþäåíèé y1,..., y n , è áóäåì ïðåäïîëàãàòü, ÷òî íåíàáëþäàåìûå âåëè÷èíû z1 ,..., zn òàêæå îäíîìåðíûå è, êðîìå òîãî, ïîëîæèòåëüíûå. Äâóìåðíûå ñëó÷àéíûå âåëè÷èíû ( y1 , z1 ) ,…, ( yn , zn ) ñ÷èòàåì íåçàâèñèìûìè. Ïðåäïîëîæèì, ÷òî ñîâìåñòíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíûõ âåëè÷èí yi è zi èìååò âèä (17) ж z e2 ц expз - i i ч g (zi ) , з 2s 2 ч s 2p и ш z1i / 2 ãäå ei = yi - xiўb â ñîîòâåòñòâèè ñ (1). Áóäåì èñïîëüçîâàòü îáîçíà÷åíèå q äëÿ ïàðû b, s . Òîãäà h( y , z; b, s) – ýòî ïðîèçâåäåíèå ôóíêöèé (17) ïðè i = 1,..., n . Ñëåäîâàòåëüíî, n 1 log h ( y, z; b , s) = - log 2p - n log s + 2 2 n е i =1 log zi - 1 2s 2 n е i =1 n zi ei2 + е log g (z ) . i i =1 76 ¹1 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ Ïðåíåáðåãàÿ ñëàãàåìûìè, íå çàâèñÿùèìè íè îò b, íè îò s, ïîëó÷àåì âûðàæåíèå äëÿ ëîãàðèôìè÷åñêîé ôóíêöèè ïðàâäîïîäîáèÿ l (q | y , z ) = - n log s - (18) 1 2s 2 n 2 i i еz e . i =1  ñîîòâåòñòâèè ñ îïðåäåëåíèåì, äàííûì â ïàðàãðàôå 3, ( ) ( ) U q | y ; q( r ) = E l ( q | y , z ) | y ; q( r ) , ãäå l (q | y , z ) ðàññìàòðèâàåòñÿ êàê ôóíêöèÿ ñëó÷àéíîãî âåêòîðà z. Èç (18) ñëåäóåò, ÷òî ýòà ôóíêöèÿ ëèíåéíà îòíîñèòåëüíî z1 ,..., z n . Ðàñïðåäåëåíèå âåðîÿòíîñòåé ñ ñîâìåñòíîé ôóíêöèåé ïëîòíîñòè (17) íàçûâàåòñÿ íîðìàëüíûì-ãàììà ðàñïðåäåëåíèåì, åñëè g ( z) = (19) Aa G( a ) exp(- Az ) z a -1 , ãäå a > 0 , A > 0 . Òîãäà, êàê íåòðóäíî óâèäåòü, (âûêëàäêè äëÿ m -ìåðíîãî ñëó÷àÿ ïðèâîäÿòñÿ â ïàðàãðàôå 6) ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîé âåëè÷èíû yi èìååò âèä (2), ãäå j( x ) = ( 2p) -1 / 2 (20) Aa G(a + 0,5) (A + 0,5x ) 2 G( a ) a + 0 ,5 . Èç (6) ñëåäóåò, ÷òî â ýòîì ñëó÷àå w( x ) = (21) a + 0,5 A + 0,5x 2 . Ââåäåì îáîçíà÷åíèå ei( r ) = y i - xiўb ( r ) è âîñïîëüçóåìñÿ òåì, ÷òî ж 1 ц E zi | yi ; q( r ) = w з ( r ) ei( r ) ч . иs ш ( (22) ) Äîêàçàòåëüñòâî ñîîòíîøåíèÿ (22) äëÿ m -ìåðíîãî ñëó÷àÿ ïðèâîäèòñÿ â ïàðàãðàôå 6. Äëÿ îäíîìåðíîãî ñëó÷àÿ (22) äîêàçàíî â ðàáîòå [7], è â ýòîì äîêàçàòåëüñòâå íå òðåáóåòñÿ, ÷òîáû ôóíêöèÿ g (z ) îáÿçàòåëüíî èìåëà âèä (19). Èç (18) è (22) ñëåäóåò, ÷òî ( ) U q | y; q( r ) = - n log s - n 1 2s 2 ж 1 е w зи s i =1 (r) ц ei( r ) ч ( y i - xiўb )2 . ш Òàêèì îáðàçîì, E-ïîäøàã EM-àëãîðèòìà âûïîëíåí. Âûïîëíåíèå M-ïîäøàãà àíàëîãè÷íî ïðîöåäóðå, îïèñàííîé â ïàðàãðàôå 2 (ñð. (3), (5), (7), (11), (12)). 2011 77 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ Ïðèìåð 1. Ñîêðàùåíèÿ Ì1 è Ì2 â ýòîì ïðèìåðå èñïîëüçóþòñÿ äëÿ îáîçíà÷åíèÿ îäíîãî èç äâóõ ìåòîäîâ, ïðèìåíÿåìûõ äëÿ îïðåäåëåíèÿ ïàðàìåòðà b è ñòàíäàðòíîãî îòêëîíåíèÿ âîçìóùåíèé s. Ì1 – ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ â ïðåäïîëîæåíèè íîðìàëüíîñòè âîçìóùåíèé. Ì2 – EM-àëãîðèòì â ïðåäïîëîæåíèè, ÷òî âîçìóùåíèÿ èìåþò t -ðàñïðåäåëåíèå ñ òðåìÿ ñòåïåíÿìè ñâîáîäû. Ðàññìàòðèâàþòñÿ òðè ðàçëè÷íûõ âèäà ñãåíåðèðîâàííûõ ðÿäîâ íàáëþäåíèé. Í0 – íàáëþäåíèÿ ñîîòâåòñòâóþò ìîäåëè ñ íîðìàëüíûìè âîçìóùåíèÿìè. Í1 – íàáëþäåíèÿ ñîîòâåòñòâóþò ìîäåëè ñ íîðìàëüíûìè e -çàñîðåííûìè âîçìóùåíèÿìè, e = 0,1 . Í2 – íàáëþäåíèÿ ñîîòâåòñòâóþò ìîäåëè ñ âîçìóùåíèÿìè, èìåþùèìè t -ðàñïðåäåëåíèå ñ òðåìÿ ñòåïåíÿìè ñâîáîäû. Öåëüþ ÿâëÿåòñÿ èññëåäîâàòü ïîâåäåíèå êàæäîãî èç ìåòîäîâ äëÿ «ñâîèõ» è «÷óæèõ» ðÿäîâ íàáëþäåíèé. Äëÿ ïðîñòîòû ìû îãðàíè÷èâàåìñÿ ëèøü âîçìóùåíèÿìè, èìåþùèìè êîíå÷íûå äèñïåðñèè. Ïóñòü n = 15 , q = 1 , xi 1 = 1 ïðè êàæäîì i , 1 Ј i Ј n . Ñëó÷àéíàÿ âåëè÷èíà ei èìååò ôóíêöèþ ïëîòíîñòè (2), ãäå j( x ) – ëèáî ôóíêöèÿ ïëîòíîñòè ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ, ëèáî ôóíêöèÿ ïëîòíîñòè t -ðàñïðåäåëåíèÿ ïðè 2a = 3 ; îáå ýòè ôóíêöèè ïëîòíîñòè ïðèâåäåíû â ïàðàãðàôå 2. Äëÿ ãåíåðàöèè íàáëþäåíèé yi èñïîëüçóþòñÿ çíà÷åíèÿ b = 1 , s = 0,3 . Ïðè èñïîëüçîâàíèè íîðìàëüíûõ âîçìóùåíèé s = s . Ïðè èñïîëüçîâàíèè âîçìóùåíèé, èìåþùèõ t -ðàñïðåäåëåíèå ñ n ñòåïåíÿìè ñâîáîäû, s=s n-2 . v Ïðè ãåíåðàöèè ðÿäà ñ e -çàñîðåííûìè íàáëþäåíèÿìè ñ÷èòàåòñÿ, ÷òî ñ âåðîÿòíîñòüþ (1 - e ) ñòàíäàðòíîå îòêëîíåíèå âîçìóùåíèÿ ðàâíî s, è ñ âåðîÿòíîñòüþ e ðàâíî 5s. Äëÿ êàæäîãî èç òðåõ âèäîâ ãåíåðèðóåòñÿ L = 300 ðÿäîâ íàáëþäåíèé äëèíû n . Äëÿ l -ãî ýêñïåðèìåíòà, l = 1,..., L çíà÷åíèÿ ïàðàìåòðîâ b l è sl îïðåäåëÿþòñÿ è ìåòîäîì Ì1, è ìåòîäîì Ì2. Çàòåì îïðåäåëÿþòñÿ ñðåäíèå çíà÷åíèÿ b= 1 L L е bl , s = l =1 1 L L еs l l =1 è ñðåäíåêâàäðàòè÷åñêèå îòêëîíåíèÿ ж1 з зL и L 1/ 2 ц 2 е (bl - b ) чч l =1 ш ж1 , з зL и L 1/ 2 ц е (sl - s ) 2 чч l =1 . ш Ðåçóëüòàòû äëÿ ñðåäíèõ çíà÷åíèé ïðèâåäåíû â òàáë. 1 è 2.  ñêîáêàõ äàþòñÿ ñðåäíåêâàäðàòè÷åñêèå îòêëîíåíèÿ. 78 ¹1 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ Òàáëèöà 1. Ðåçóëüòàòû äëÿ ïàðàìåòðà β, èñòèííîå çíà÷åíèå β = 1 Í0 Í1 Í2 Ì1 1,011 (0,071) 1,016 (0,133) 1,011 (0,067) Ì2 1,017 (0,074) 1,019 (0,081) 1,012 (0,050) Òàáëèöà 2. Ðåçóëüòàòû äëÿ ïàðàìåòðà s, èñòèííîå çíà÷åíèå s = 0,3 Í0 Í1 Í2 Ì1 0,273 (0,052) 0,472 (0,228) 0,244 (0,093) Ì2 0,370 (0,079) 0,454 (0,130) 0,276 (0,070) Ñðàâíèâàÿ ðåçóëüòàòû äëÿ ðÿäîâ âèäà Í0 è Í2, ìû âèäèì, ÷òî «ñâîé» ìåòîä (ò.å. ìåòîä Ì1 äëÿ ðÿäîâ Í0 è ìåòîä Ì2 äëÿ ðÿäîâ Í2) äàåò ëó÷øèå ðåçóëüòàòû è â ñìûñëå ìåíüøåãî ðàçáðîñà (ò.å. ñðåäíåêâàäðàòè÷åñêîãî îòêëîíåíèÿ), è â ñìûñëå áëèçîñòè ñðåäíåãî çíà÷åíèÿ íàéäåííûõ ïàðàìåòðîâ ê èñòèííûì çíà÷åíèÿì (çà èñêëþ÷åíèåì çíà÷åíèÿ b = 1,012, êîòîðîå íåñêîëüêî õóæå, ÷åì çíà÷åíèå b = 1,011 ). Íà ïåðâûé âçãëÿä, ðåçóëüòàòû äëÿ ïàðàìåòðà b äëÿ ðÿäîâ âèäà Í2 ïðîòèâîðå÷àò òåîðåìå Ãàóññà – Ìàðêîâà. Ìåòîä Ì1 ñîâïàäàåò ñ ìåòîäîì íàèìåíüøèõ êâàäðàòîâ, è, êàçàëîñü áû, äèñïåðñèÿ îöåíêè äîëæíà áûòü íàèìåíüøåé. À ñðåäíåêâàäðàòè÷åñêîå îòêëîíåíèå 0,067 ñóùåñòâåííî áîëüøå, ÷åì ñðåäíåêâàäðàòè÷åñêîå îòêëîíåíèå 0,050, ïîëó÷åííîå ïðè èñïîëüçîâàíèè ìåòîäà Ì2. Íà ñàìîì äåëå, ýòîò ïðèìåð âñåãî ëèøü ïîêàçûâàåò, ÷òî òðåáîâàíèå ëèíåéíîñòè è íåñìåùåííîñòè îöåíêè, ñîäåðæàùååñÿ â òåîðåìå Ãàóññà – Ìàðêîâà, íå ìîæåò áûòü îòáðîøåíî. Ìåòîä Ì2 íå ÿâëÿåòñÿ ëèíåéíûì. Äëÿ ðÿäîâ âèäà Í1 â ðåçóëüòàòàõ äëÿ ïàðàìåòðà b âèäíà ðîáàñòíîñòü ìåòîäà Ì2. Ïîëó÷åííîå ñðåäíåêâàäðàòè÷åñêîå îòêëîíåíèå ïðèìåðíî â 1,65 ðàçà ìåíüøå, ÷åì äëÿ ìåòîäà Ì1. Ðàçëè÷èå â ñðåäíèõ, 1,016 è 1,019, íîñèò ñëó÷àéíûé õàðàêòåð. Òàê, äëÿ äðóãîé ñåðèè èç 300 ýêñïåðèìåíòîâ äëÿ ðÿäîâ âèäà Í1 äëÿ ïàðàìåòðà b ïðè èñïîëüçîâàíèè ìåòîäà Ì1 ïîëó÷åíû ðåçóëüòàòû äà Ì2 – ðåçóëüòàòû 1,019 (0,085) 1,023 (0,140) , à ïðè èñïîëüçîâàíèè ìåòî- . Ïðîÿâëÿåòñÿ ðîáàñòíîñòü ìåòîäà Ì2 è â ðåçóëüòàòàõ äëÿ ïàðàìåòðà s äëÿ ðÿäîâ ýòîãî âèäà. 2011 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ 79 5. Äâå òåîðåìû î ìàòðè÷íîì ãàììà-ðàñïðåäåëåíèè Òåîðèÿ ìàòðè÷íûõ ãàììà-ðàñïðåäåëåíèé èçëàãàåòñÿ, íàïðèìåð, â [10]. Íàèáîëåå èçâåñòíûìè èç ýòèõ ðàñïðåäåëåíèé ÿâëÿþòñÿ, âèäèìî, ðàñïðåäåëåíèÿ Óèøàðòà. Òàêæå â ðàáîòå [10, ñ. 122–124] ðàññìàòðèâàþòñÿ ìàòðè÷íûå ãàììà-ðàñïðåäåëåíèÿ ñ âåêòîðíûì ïàðàìåòðîì – íåêîòîðîå åñòåñòâåííîå îáîáùåíèå ðàñïðåäåëåíèé Óèøàðòà. Ïðè òîì, ÷òî ëåãêèìè è êîðîòêèìè ôîðìóëèðîâêè çäåñü áûòü íå ìîãóò, îáîçíà÷åíèÿ, èñïîëüçóåìûå â [10] è äðóãèõ ðàáîòàõ äëÿ ðàñïðåäåëåíèé ñ âåêòîðíûì ïàðàìåòðîì, ñ íàøåé òî÷êè çðåíèÿ, íåñêîëüêî èçáûòî÷íû, âîçìîæíî, èç-çà ýòîãî îñòàëèñü íåèññëåäîâàííûìè ñâîéñòâà ýòèõ ðàñïðåäåëåíèé. Áîëåå ïðîçðà÷íûå îáîçíà÷åíèÿ äëÿ ìàòðè÷íûõ ãàììà-ðàñïðåäåëåíèé ñ âåêòîðíûì ïàðàìåòðîì èñïîëüçóþòñÿ â ðàáîòå [3]. Çäåñü ìû ïîâòîðèì òîëüêî ñàìûå íåîáõîäèìûå îïðåäåëåíèÿ. { }im, j=1 Äëÿ m ґ m ìàòðèöû C = ci j ïðè k = 1,..., m ðàññìàòðèâàþòñÿ ïîäìàòðèöû { }ik, j =1 è C[k ] = {ci j }im, j =m-k +1 . C [ k ] = ci j Ðàññìàòðèâàåòñÿ òàêæå âåêòîð a = (a1,..., am ) òàêîé, ÷òî a j > 0,5( j - 1) ïðè j = 1,..., m. Ìíîãîìåðíàÿ ãàììà-ôóíêöèÿ îïðåäåëÿåòñÿ ñëåäóþùèì îáðàçîì: m Gm* ( a ) = p m( m-1) / 4 Х G(a j ) - 0,5( j - 1) , j =1 ãäå G(Ч) – îáû÷íàÿ ãàììà-ôóíêöèÿ. Äîïîëíèòåëüíî ñ÷èòàåòñÿ, ÷òî a0 = 0 , am+1 = 0,5( m + 1) . Ïàðàìåòðàìè ðàññìàòðèâàåìûõ ãàììà-ðàñïðåäåëåíèé ÿâëÿþòñÿ âåêòîð a óêàçàííîãî âèäà è ïîëîæèòåëüíî îïðåäåëåííàÿ m ґ m ìàòðèöà A. Ôóíêöèÿ ïëîòíîñòè èìååò âèä m (23) g ( z ) = g a , A etr( - Az ) Х| z [ j] a j - a j +1 | , j =1 ãäå z – ïîëîæèòåëüíî îïðåäåëåííàÿ m ґ m ìàòðèöà; etr (C ) = exp( tr C ) ; | C | – îïðåäåëèòåëü ìàòðèöû C . Êîýôôèöèåíò g a, A çàäàåòñÿ ôîðìóëîé (24) g a,A m -1 ж ц a -a = з Gm* ( a) | A[ m- j ] | j j +1 ч з ч j =0 и ш -1 Х (ñð. (23) è (24) ñ (19)). Ïóñòü T – ñèììåòðè÷íàÿ m ґ m ìàòðèöà òàêàÿ, ÷òî ìàòðèöà A - T ïîëîæèòåëüíî îïðåäåëåííàÿ. (Èçíà÷àëüíî ñèììåòðè÷íàÿ ìàòðèöà T ìîæåò áûòü âçÿòà ïðîèçâîëüíî. Ïðè íåêîòîðîì e > 0 ìàòðèöà A - eT áóäåò ïîëîæèòåëüíî îïðåäåëåííîé.  ýòîì ñìûñëå óñëîâèå, ÷òî ìàòðèöà A - T ïîëîæèòåëüíî îïðåäåëåííàÿ, íå ÿâëÿåòñÿ îãðàíè- 80 ¹1 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ ÷èòåëüíûì.) Ïóñòü Z – ïîëîæèòåëüíî îïðåäåëåííàÿ ñëó÷àéíàÿ ìàòðèöà ñ ôóíêöèåé ïëîòíîñòè (23). Îïðåäåëèì ïðîèçâîäÿùóþ ôóíêöèþ ìîìåíòîâ M (T ) = E etr (T Z ) . Èç ôîðìóëû m tr(T Z ) = m е Tl l Z l l + 2 l =1 ееT k l Zk l k =1 l > k ñëåäóåò, ÷òî ¶M (T ) (25) ¶Tl l ( ) = E Zl l , T =0 à ïðè l > k ¶ M (T ) (26) ¶Tk l ( ) = 2 E Zk l . T =0 Òåîðåìà 1. M (T ) = g a,A g a , A-T m -1 = Х| ( A - T ) [ m- j ] a j - a j +1 | j =0 ж з з и m -1 ц [ m - j ] a j - a j +1 ч Х| A | j =0 ч ш -1 . Äîêàçàòåëüñòâî ñëåäóåò èç âûðàæåíèÿ m M (T ) = g a , A т etr(-( A - T ) z ) Х| z [ j] | a j - a j +1 dz j =1 z >0 è èç ôîðìóëû (24). Ïðè j = 0,..., m - 1 îïðåäåëèì m ґ m ìàòðèöó Cm- j òàêóþ, ÷òî (Cm- j ) [m- j ]= (A[m- j ] )-1 , îñòàëüíûå ýëåìåíòû ìàòðèöû Cm- j ðàâíû íóëþ. Òåîðåìà 2. m-1 E(Z ) = е (a j +1 - a j )Cm- j . j =0 Äîêàçàòåëüñòâî. ×òîáû íàéòè îæèäàíèå êàæäîãî ýëåìåíòà Z k l , k Ј l , ñëó÷àéíîé ìàòðèöû Z , âîñïîëüçóåìñÿ ôîðìóëàìè (25), (26) è òåîðåìîé 1. 2011 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ 81 Çàôèêñèðóåì j òàêîå, ÷òî l Ј m - j . Ìèíîð ýëåìåíòà Ak l - Tk l ìàòðèöû ( A - T )[ m- j ] îáîçíà÷èì M k l . ×åðåç S îáîçíà÷èì îïðåäåëèòåëü ýòîé ìàòðèöû. Ââåäåì îáîçíà÷åíèå sk l = Ak l - Tk l . Òîãäà m- j (27) е (-1) S= u+ l su l M u l . u =1 Äèôôåðåíöèðîâàíèå ôóíêöèè (27) ïî sl l íå âûçûâàåò çàòðóäíåíèé, ïîñêîëüêó íè îäèí èç ìèíîðîâ îò sl l íå çàâèñèò. Èìååì (28) ¶S ¶ sl l ( = M l l = ( A - T )[ m - j ] ( A - T )[ m - j ] ) -1 ll . Äèôôåðåíöèðîâàíèå ôóíêöèè (27) ïî sk l ïðè k < l íåñêîëüêî òðóäíåå. Âñå ìèíîðû êðîìå M l l ìîãóò çàâèñåòü îò sk l , ïîñêîëüêó sl k = sk l . Èìååì (29) ¶S ¶ sk l m- j = (-1)k +l M k l + е (-1) u+ l ¶ su l ¶ sk l u =1 u №l M ul . Îáîçíà÷èì ÷åðåç M u l ,l v îïðåäåëèòåëü ìàòðèöû, ïîëó÷àþùåéñÿ èç ( A - T )[ m- j ] âûêèäûâàíèåì ñòðîê ñ íîìåðàìè u è l è ñòîëáöîâ ñ íîìåðàìè l è v . Òîãäà ïðè u < l m- j l -1 M ul = е ( -1)v + l -1 sl v M u l ,l v - v =1 е (-1) v + l -1 sl v M u l ,l v ; v = l +1 ïðè u > l m- j l -1 M ul = е ( -1)v +l sl v M u l ,l v - v =1 е (-1) v +l sl v M u l ,l v . v = l +1 Íè îäèí èç îïðåäåëèòåëåé M u l ,l v , âõîäÿùèõ â äâå ïîñëåäíèå ôîðìóëû, îò sk l íå çàâèñèò. Âòîðûìè ñóììàìè â ïðàâûõ ÷àñòÿõ òàêæå, î÷åâèäíî, ìîæíî ïðåíåáðå÷ü, ïîñêîëüêó k < l . Ïîýòîìó ïðè u < l ¶ ¶ sk l M u l = (-1) k +l -1 M u l ,l k ; ïðè u > l ¶ ¶ sk l M u l = (-1) k +l M u l ,l k . 82 ¹1 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ Èç (29) ïðè k < l íàõîäèì ¶S ¶ sk l m- j l -1 = (-1)k +l M k l + е ( -1)u +l su l ( -1)k +l -1 M l k ,u l + u =1 е (-1) u+ l su l (-1) k +l M l k ,u l . u = l +1 Òî åñòü ïðè k < l (30) ¶S ¶ sk l ( = 2 ( -1)k +l M k l = 2 ( A - T )[ m- j ] ( A - T )[ m- j ] ) -1 kl . Èçìåíåíèÿ, êîòîðûå íóæíî âíåñòè â ïðèâåäåííûå âûêëàäêè ïðè m - j Ј 2 èëè ïðè l = m - j , î÷åâèäíû. Òå æå âûðàæåíèÿ (28) è (30) ïîëó÷àþòñÿ ïðè äèôôåðåíöèðîâàíèè ( A - T )[ m- j ] ïî Tl l è ïî Tk l , òîëüêî â ïðàâûå ÷àñòè äîáàâëÿåòñÿ çíàê ìèíóñ. Âîñïîëüçîâàâøèñü òåîðåìîé 1, ôîðìóëàìè (28) è (30), ïîëó÷àåì m-l ¶M (T ) ¶Tl l = - е (a - a j +1 j ) (A[m- j ] ) -l l1 , j =0 T =0 è ïðè k < l m- l ¶M (T ) ¶Tk l = -2 е (a j - a j +1 ) (A[m- j ] ) -k1l . j =0 T =0 Âîñïîëüçîâàâøèñü (25) è (26), ïðè k Ј l ïîëó÷àåì m-1 E ( Zk l ) = е (a j +1 - a j )(Cm- j )k l . j =0 Òåîðåìà 2 äîêàçàíà. Òåîðåìà 2 äëÿ ñëó÷àÿ a1 = ... = am èçâåñòíà. Äîêàçàòåëüñòâî ïðèâîäèòñÿ, íàïðèìåð, â [10]. Ïðè ýòîì è â [10], è â äðóãèõ ðàáîòàõ èñïîëüçóåòñÿ íå ïðîèçâîäÿùàÿ ôóíêöèÿ ìîìåíòîâ, à õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ. Èñïîëüçîâàíèå ïðîèçâîäÿùåé ôóíêöèè ìîìåíòîâ ïîçâîëÿåò èçáåæàòü ðàññìîòðåíèÿ ìàòðèö ñ êîìïëåêñíûìè ýëåìåíòàìè. Òåîðåìà 1, õîðîøî èçâåñòíàÿ äëÿ îäíîìåðíîãî ñëó÷àÿ, ïðè m > 1 , ïî-âèäèìîìó, ÿâëÿåòñÿ íîâîé äàæå äëÿ ñëó÷àÿ a1 = ... = am . 6. Ìíîãîìåðíàÿ ëèíåéíàÿ ðåãðåññèÿ Ðàññìîòðèì óðàâíåíèÿ, àíàëîãè÷íûå (1): (31) yi = bў xi + ei , i = 1,..., n . 2011 83 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ Îáúÿñíÿþùèå ïåðåìåííûå xi a – èçâåñòíûå ÷èñëà, xi = xi1 ,..., xiq ў ; b – q ґ m ( ) ìàòðèöà. ×åðåç y1 ,..., yn îáîçíà÷àþòñÿ è m -ìåðíûå íàáëþäåíèÿ, è ñëó÷àéíûå âåêòîðà, ïðåäñòàâëÿþùèå ñîáîé âåðîÿòíîñòíóþ ìîäåëü äëÿ ýòèõ íàáëþäåíèé. Ïðåäïîëàãàåòñÿ, ÷òî m -ìåðíûå ñëó÷àéíûå âåêòîðà e1,..., en íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû. Íåíàáëþäàåìûå âåëè÷èíû z1 ,..., zn ÿâëÿþòñÿ ïîëîæèòåëüíî îïðåäåëåííûìè m ґ m ñëó÷àéíûìè ìàòðèöàìè. Êàê è â îäíîìåðíîì ñëó÷àå, ( y1 , z1 ) ,…, ( yn , zn ) íåçàâèñèìû. Ñîâìåñòíîå ðàñïðåäåëåíèå yi è zi áóäåì ñ÷èòàòü íîðìàëüíûì-ãàììà, ò.å. ñîâìåñòíàÿ ôóíêöèÿ ïëîòíîñòè èìååò âèä (32) (2p)- m / 2 1 s 2 1/ 2 zi ж 1 ў ц expзз ei zi ei чч g (zi ) , и 2s 2 ш ãäå g (zi ) îïðåäåëÿåòñÿ ôîðìóëîé (23), è ei = yi - bў xi â ñîîòâåòñòâèè ñ (31). Ðàññìîòðèì âåêòîð b = (b1,..., bm ) , ãäå b j = a j + 0,5 ïðè j = 1,..., m . Ïóñòü b0 = 0 , bm +1 = 0,5( m + 1) . Ïðè x О R m ðàññìîòðèì ôóíêöèþ (33) j( x ) = (2p )-m / 2 Gm* (b) Gm* ( a) A -1 / 2 m -1 ж 1 [ m- j ]ў [ m- j ] -1 [ m- j ] ц зз1 + x (A ) x чч 2 и ш j =0 b j - b j +1 Х Îíà ÿâëÿåòñÿ ôóíêöèåé ïëîòíîñòè ìíîãîìåðíîãî t -ðàñïðåäåëåíèÿ ñ âåêòîðíûì ïàðàìåòðîì ñòåïåíåé ñâîáîäû (ñì. [3; 4]); ñð. (20). Çäåñü äëÿ m -ìåðíîãî âåêòîðà x ÷åðåç x[k ] îáîçíà÷àåòñÿ k -ìåðíûé âåêòîð, ñîñòîÿùèé èç ïåðâûõ k êîìïîíåíò âåêòîðà x , k = 1,..., m . Òåîðåìà 3. Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà yi èìååò âèä (34) ж1 ц jзз ei чч , s иs ш 1 m ãäå ôóíêöèÿ j çàäàåòñÿ ôîðìóëîé (33). Äîêàçàòåëüñòâî. Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà yi ïîëó÷àåòñÿ èíòåãðèðîâàíèåì ïî îáëàñòè zi > 0 ñîâìåñòíîé ôóíêöèè ïëîòíîñòè (32). ×òîáû íåñêîëüêî ñîêðàòèòü ôîðìóëû, âíóòðè äîêàçàòåëüñòâà òåîðåìû áóäåì èñïîëüçîâàòü îáîçíà÷åíèå z âìåñòî zi è îáîçíà÷åíèå e âìåñòî ei . Âî-ïåðâûõ, çàìåòèì, ÷òî eўze = tr (eeўz ) . Èñïîëüçóÿ (23) è (24), ïîëó÷àåì ñëåäóþùåå âûðàæåíèå äëÿ ìàðãèíàëüíîé ôóíêöèè ïëîòíîñòè: 84 ¹1 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ (2p )-m / 2 g a, A ж ж ц ц 1 etrзз - зз A + eeў чч z чч m 2 s z >0 и и 2s ш ш 1 -m / 2 = (2p) т ga ,A m -1 1 s G * ( b) m m Х j =0 m Хz b j - b j +1 [ j] dz = j =1 ж ц 1 зз A + eeў чч 2 2s и ш [ m - j ] bi - b j +1 . Åñëè âîñïîëüçîâàòüñÿ òåì, ÷òî A[ m- j ] + ў ж 1 [ m- j ]ў [ m- j ] -1 [ m- j ] ц чч , e[ m- j ]e[ m- j ] = A[ m- j ] зз1 + e (A ) e 2s и 2s 2 ш 1 2 (ñì., íàïðèìåð, ëåììó 5 â [3]), òî ïîëó÷àåì âûðàæåíèå * (2p)- m / 2 Gm* (b) 1 Gm (a ) s m A -1 / 2 m -1 ж 1 [ m- j ]ў [ m- j ] -1 [ m- j ] ц чч зз1 + e (A ) e 2s 2 ш j=0 и b j - b j +1 Х . Òåîðåìà 3 äîêàçàíà. Òåîðåìà 4. Óñëîâíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà zi ïðè óñëîâèè yi – ýòî ôóíêöèÿ ïëîòíîñòè ìàòðè÷íîãî ãàììà-ðàñïðåäåëåíèÿ ñ âåêòîðíûì ïàðàìåò1 ðîì b è ñ ìàòðè÷íûì ïàðàìåòðîì A + ei ei ў . 2s 2 Äîêàçàòåëüñòâî. Óñëîâíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà zi ïðè óñëîâèè yi – ýòî îòíîøåíèå ñîâìåñòíîé ôóíêöèè ïëîòíîñòè (32) ê ìàðãèíàëüíîé ôóíêöèè ïëîòíîñòè (34). Êàê è â äîêàçàòåëüñòâå ïðåäûäóùåé òåîðåìû, áóäåì èñïîëüçîâàòü îáîçíà÷åíèå z âìåñòî zi è îáîçíà÷åíèå e âìåñòî ei . Èñêîìàÿ óñëîâíàÿ ôóíêöèÿ ïëîòíîñòè ïðåäñòàâèìà â âèäå äðîáè ñ ÷èñëèòåëåì ж ж ц ц 1 etrзз - зз A + eeў чч z чч 2 2s ш ш и и m Хz b j - b j +1 [ j] j =1 è ñî çíàìåíàòåëåì m -1 Gm* (b) Х A[ m- j ] bi - b j +1 m -1 ж 1 [ m- j ]ў [ m- j ] -1 [ m- j ] ц чч зз1 + e (A ) e 2s 2 ш j=0 и b j - b j +1 Х j =0 . Èñïîëüçóÿ, êàê è â äîêàçàòåëüñòâå ïðåäûäóùåé òåîðåìû, ëåììó 5 èç [3], ïîëó÷àåì ñëåäóþùåå âûðàæåíèå äëÿ çíàìåíàòåëÿ: m -1 Gm* (b) [ m- j ] ХA j =0 Òåîðåìà 4 äîêàçàíà. + 1 2s 2 e [ m - j ] [ m - j ]ў e b j - b j +1 -1 ж ц ч . = зg 1 з b , A + 2 eeў ч 2s и ш 2011 85 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ Áóäåì èñïîëüçîâàòü îáîçíà÷åíèå q äëÿ ïàðû b , s . Èç (32) ñëåäóåò, ÷òî è â ìíîãîìåðíîì ñëó÷àå ëîãàðèôìè÷åñêàÿ ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä, ñõîäíûé ñ (18): (35) n 1 l (q | y , z ) = - n log s m - 2s 2 е e ўz e . i i i i =1 Ââèäó ëèíåéíîñòè l (q | y , z ) ïî z1 ,..., zn , ÷òîáû ïîñòðîèòü ôóíêöèþ U (q | y; q(r ) ) , äîñòàòî÷íî çíàòü óñëîâíîå îæèäàíèå E ( zi | yi ; q(r ) ) . Ïðè j = 0,..., m - 1 è ïðè x О R m îïðåäåëèì m ґ m ìàòðèöó Cm- j (x ) òàêóþ, ÷òî -1 (Cm- j ( x )) [ m- j ] [ m- j ] ц жж 1 ц ч , = з зз A + xx ў чч ч зи 2 ш и ш îñòàëüíûå ýëåìåíòû ìàòðèöû Cm- j (x ) ðàâíû íóëþ. Ïîëîæèì m -1 е (b w( x ) = j +1 - b j )Cm- j ( x ) j =0 ж 1 ( r) ц (ñð. (21)). Òîãäà íà îñíîâàíèè òåîðåì 2 è 4 ïîëó÷àåì E zi | yi ; q( r ) = wзз ei чч (ñð. (22)). и s( r ) ш Îïðåäåëèì m ґ m ìàòðèöû ( ) ж 1 ( r) ц wi( r ) = wзз ei чч , i = 1,..., n . и s( r ) ш  ñîîòâåòñòâèè ñ îïðåäåëåíèåì ôóíêöèè U (q | y; q(r ) ) â ïàðàãðàôå 3 (ñì. òàêæå ïàðàãðàô 4) è ñ (35) ïîëó÷àåì U (b, s | y; b( r ) , s( r ) ) = -nm log s - n 1 2s 2 е жзи y ў - x ўb цчш w i i (r) i ( yi - bў xi ) . i =1 Äèôôåðåíöèðîâàíèå ôóíêöèè U ïî ba k , a = 1,..., q , k = 1,..., m è ïðèðàâíèâàíèå ïðîèçâîäíîé ê íóëþ ñ ó÷åòîì ñèììåòðè÷íîñòè ìàòðèöû w äàåò óðàâíåíèå n (36) m еx е ia i =1 j =1 ж wi(,rj)k з yi j з q - и еx ц ч=0. i gb g j ч g =1 ш Äèôôåðåíöèðîâàíèå ôóíêöèè U ïî s è ïðèðàâíèâàíèå ïðîèçâîäíîé ê íóëþ äàåò óðàâíåíèå (37) s2 = 1 n жз y ў - x ўb цч w е и ш nm i i =1 i (r) i ( yi - bў xi ) 86 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ ¹1 (ñð. (11), (12)). Íàéäåííûå èç óðàâíåíèé (36) è (37) çíà÷åíèÿ b è s ïðèíèìàþòñÿ â êà÷åñòâå b( r +1) è s( r +1) . Çíà÷åíèÿ b( 0 ) è s(0 ) ðàññ÷èòûâàþòñÿ ñ åäèíè÷íûìè ìàòðèöàìè wi . Äðóãîé âàðèàíò ïðèìåíåíèÿ EM-àëãîðèòìà â ëèíåéíîé ðåãðåññèè, êîãäà îøèáêè èìåþò ìíîãîìåðíîå t -ðàñïðåäåëåíèå, ïðåäñòàâëåí, íàïðèìåð, â ðàáîòå [12]. Ïðèìåð 2. Ïóñòü m = 3 , n = 1000 , q = 2 . Ïðè êàæäîì i = 1,..., n âåêòîð xi ў = (1, i ) , à òðåõìåðíàÿ ñëó÷àéíàÿ âåëè÷èíà ei èìååò ôóíêöèþ ïëîòíîñòè (33), (34) ñ ïàðàìåòðàìè a = (2,5,9) , ж 1 1,3 1,5 ц ч з A = з1,3 2 2 ч , з1,5 2 4 ч и ш s = 12 . Ïðè ãåíåðàöèè òðåõìåðíûõ âîçìóùåíèé ñ óêàçàííûì t -ðàñïðåäåëåíèåì ïðèìåíÿåòñÿ àëãîðèòì Ìåòðîïîëèñà (ñì., íàïðèìåð, [5]). Äëÿ ãåíåðàöèè íàáëþäåíèé èñïîëüçóåòñÿ ìàòðèöà ж10 20 - 30 ц чч . b = зз и 0,3 - 0,2 0,4 ш Ïðîâîäÿ àíàëîãèþ ñ âðåìåííûìè ðÿäàìè, ìîæíî ñêàçàòü, ÷òî ðàññìàòðèâàåòñÿ ìîäåëü ñî ñâîáîäíûì ÷ëåíîì è ñ òðåíäîì, à âîçìóùåíèÿ ïðåäñòàâëÿþò ñîáîé òðåõìåðíûé áåëûé øóì, èìåþùèé t -ðàñïðåäåëåíèå ñ âåêòîðíûì ïàðàìåòðîì ñòåïåíåé ñâîáîäû. Ïðè ïðèìåíåíèè EM-àëãîðèòìà, ò.å. ïðè èñïîëüçîâàíèè èòåðàöèîííîãî ïðîöåññà, îñíîâàííîãî íà ôîðìóëàõ (36), (37), ñõîäèìîñòü â ïðîâåäåííîì ýêñïåðèìåíòå áûëà äîñòèãíóòà ïîñëå 20 èòåðàöèé. Ïîëó÷åíû çíà÷åíèÿ ïàðàìåòðîâ ж10,185 b = зз и 0,299 20,268 - 29,681ц ч, - 0,201 0,400 чш s = 11,533 . Ðåçóëüòàòû ÿâëÿþòñÿ óäîâëåòâîðèòåëüíûìè. Îòìåòèì, ÷òî ïðè ïðèìåíåíèè ìåòîäà íàèìåíüøèõ êâàäðàòîâ ïîëó÷åíî çíà÷åíèå ïàðàìåòðà ж10,191 b = зз и 0,299 20,399 - 29,634 ц ч. - 0,201 0,400 чш Îíî æå èñïîëüçîâàëîñü â êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ b ( 0 ) â EM-àëãîðèòìå.  äàííîì ðàñ÷åòå ìåòîä íàèìåíüøèõ êâàäðàòîâ óñòóïàåò EM-àëãîðèòìó. 2011 ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ 87 * * * Ñ ÏÈ Ñ ÎÊ Ë È Ò Å Ð À Ò Ó Ð Û 1. Ìàãíóñ ß.Ð., Êàòûøåâ Ï.Ê., Ïåðåñåöêèé À.À. Ýêîíîìåòðèêà. Íà÷àëüíûé êóðñ. Ì.: Äåëî, 2004. 2. Õüþáåð Ï. Ðîáàñòíîñòü â ñòàòèñòèêå. Ì.: Ìèð, 1984. 3. Øâåäîâ À.Ñ. Áåòà-pàñïpåäåëåíèå ñëó÷àéíîé ìàòpèöû è åãî ïpèìåíåíèå â ìîäåëè ñîñòîÿíèå-íàáëþäåíèå: ïpåïpèíò. WP2/2009/01. Ì.: ÃÓ ÂØÝ, 2009. 4. Øâåäîâ À.Ñ. t-pàñïpåäåëåíèå ñëó÷àéíîé ìàòpèöû è åãî ïpèìåíåíèå â påãpåññèîííîé ìîäåëè: ïpåïpèíò. WP2/2010/01. Ì.: ÃÓ ÂØÝ, 2010. 5. Øâåäîâ À.Ñ. Î ìåòîäàõ Ìîíòå-Êàpëî ñ öåïÿìè Ìàpêîâà // Ýêîíîìè÷åñêèé æóðíàë Âûñøåé øêîëû ýêîíîìèêè. 2010. Ò. 14. ¹ 2. Ñ. 227–243. 6. Andrews D.F. A Robust Method for Multiple Linear Regression // Technometrics. 1974. 16. Ð. 523–531. 7. Dempster A.P., Laird N.M., Rubin D.B. Iteratively Reweighted Least Squares for Linear Regression When Errors are Normal/Independent Distributed // Multivariate Analysis – V / ed. by P.R. Krishnaiah. Amsterdam: North-Holland, 1980. Ð. 35–57. 8. Fernandez C., Steel M.F.J. Multivariate Student-t Regression Models: Pitfalls and Inference // Biometrika. 1999. 86 (1). Ð. 153–167. 9. Fonseca T.C.O., Ferreira M.A.R., Migon H.S. Objective Bayesian Analysis for the Student-t Regression Model // Biometrika. 2008. 95 (2). Ð. 325–333. 10. Gupta A.K., Nagar D.K. Matrix Variate Distributions. N.Y.: Chapman & Hall, 1999. 11. Koenker R. Robust Methods in Econometrics // Econometric Reviews. 1982. 1. Ð. 213– 255. 12. Lange K.L., Little R.J.A., Taylor J.M.G. Robust Statistical Modelling Using the t-distribution // Journal of the American Statistical Association. 1989. 84. Ð. 881–896. 13. Liu C.H., Rubin D.B. ML Estimation of the t-distribution Using EM and its Extensions, ECM and ECME // Statistica Sinica. 1995. 5. Ð. 19–39. 14. Lucas A. Robustness of the Student-t Based M-estimator // Communications in Statistics – Theory and Methods. 1997. 26 (5). Ð. 1165–1182. 15. Maronna R.A., Martin R.D., Yohai V.J. Robust Regression – Theory and Methods. N.Y.: Wiley, 2006. 16. Meng X.L., van Dyk D.A. The EM Algorithm – An Old Folk-song Sung to a Fast New Tune (with discussion) // Journal of the Royal Statistical Society. 1997. B. 59. Ð. 511–567. 17. Preminger A., Franck R. Forecasting Exchange Rates – A Robust Regression Approach // International Journal of Forecasting. 2007. 23(1). Ð. 71–84. 18. Rousseeuw P.J., Leroy A.M. Robust Regression and Outlier Detection. N.Y.: Wiley, 1987. 19. Rubin D.B. Iteratively Reweighted Least Squares // Encyclopedia of Statistical Sciences. N.Y.: Wiley, 1983. Vol. 4. Ð. 272–275. 20. Wu C.F.J. On the Convergence Properties of the EM Algorithm // Annals of Statistics. 1983. 11. Ð. 95–103. 21. Yuan K.-H., Bentler P.M. Robust Mean and Covariance Structure Analysis through Iteratively Reweighted Least Squares // Psychometrika. 2000. 65(1). Ð. 43–58. 22. Zellner A., Ando T. Bayesian and Non-Bayesian Analysis of the Seemingly Unrelated Regression Model with Student-t Errors, and its Application for Forecasting // International Journal of Forecasting. 2010. 26. Ð. 413–434.