Распознавание жестов - Молодежный научно

!"#$%%&'(
)*+,-./*0*/12$32+4-0
!"#" $%&'()* +,-'./,
!"##$%&'()*))*&'+,'-"#./0&'-123'$4,'5,6,'7084090&
.0:;<=0'«>="+=0449";'"?;#@;A;9$;'6B-'$'$9:"=40C$"99D;'E;F9"G"+$$»
508A9DH'=8."/"<$E;GIJ'K,B,'!"+"L$9&'.,E,9,&'<"C;9E
!"##$%&'()*))*&'+,'-"#./0&'-123'$4,'5,6,'7084090&
.0:;<=0'«>="+=0449";'"?;#@;A;9$;'6B-'$'$9:"=40C$"99D;'E;F9"G"+$$»
irudakov@bmstu.ru
!"#$#%&#
'()*+#,-."/-&,)$#012"&3.4#+)"#5-.1.5),6782#(), "12-#2.6#(#$.(-/(-*)24&5-,&.1.
1-,)9). /-():$#%&3. &%;)(,-<&)%%=>. 2#>%)+)9&0. & 6)3"+#%&3. 6#("=>. ?!@A. B$%&,. &/
1-,=>. 6)6C+3(%=>. 1(#$12" "/-&,)$#012"&3 3"+3#213. "1#,. &/"#12%-3. D,=E7FA. G-.
$#132&+#2&3. 6()9(#11-. )%-. 1&+7%). 6),#%3+-17H. +-/#(=. 1,#%&+&. ,#>-%&4#15&#.
5),6)%#%2=, ,-%&6C+32)(. 12-+. *#16()")$%=,A. @%)9)#. C1)"#(E#%12")"-+)17I. %).
5)%<#6<&3.)12-+-17.6(#:%#0I.2-5.:#.5-5.&.%#$)12-25&I.%-6(&,#(I.1+):%)12&.6(&.(-*)2# ".
2(#>.&/,#(#%&3> & )*3/-2#+7%)# %-+&4&#.6)"#(>%)12&I.%-.5)2)()0.(-*)2-#2.,=E7A
!. 6)1+#$%##. "(#,3. 6)3"&+-17. %)"-3. 2#>%)+)9&3. (#-+&/-<&&. &%2#(;#01)". –
(-16)/%-"-%&#. :#12)"A. B1%)"%-3. &$#3. J2)0. 2#>%)+)9&&. /-5+84-#213. ". 2),I. 42)*=.
,-51&,-+7%). 6(&*+&/&27. "/-&,)$#012"&#. 4#+)"#5-. &. 5),6782#(-. 5. #12#12"#%%),C.
"/-&,)$#012"&8.,#:$C.+8$7,&A
K2).2-5)#.:#12?
L#12. – J2). ;)(,-. %#"#(*-+7%)9). )*M#%&3I. 6(&. 5)2)()0. %#5)2)()#. $#012"&#. &+&.
$"&:#%&#.4#+)"#4#15)9).2#+-.&+&.#9).4-12&.6#(#$-#2.&%;)(,-<&8A L#12.,):#2 1)$#(:-27.
$"&:#%&#.5-5.)$%)0I.2-5.&.%#15)+75&>.4-12#0.2#+-.&.%#12&.J,)<&)%-+7%C8.%-9(C/5CI.42).
$#+-#2.#9) )4#%7.&%;)(,-2&"%=, 1(#$12"),.)*M#%&3.&."/-&,)$#012"&3A
N+-11&;&5-<&3.:#12)"
O-11,)2(&, 5+-11&;&5-<&8.:#12)":
!
P&6 :#12-
http://sntbul.bmstu.ru/doc/568859.html
o
'()12=#.:#12=
o
N),6+#51%=#.:#12=
!
R6)1)*.)*(-*)25&
o
B*(-*)25-.6)1+#."")$-
o
B*(-*)25-.".6()<#11#."")$-
!
T+&2#+7%)127
o
R2-2&4#15&#.:#12=
o
T&%-,&4#15&#.:#12=
B1%)"%)0. &$##0. 5+-11&;&5-<&&. 2&6-. :#12)". 3"+3#213. 2)2. ;-52I. 42). :#12. ,):#2.
*=27.6(#$12-"+#%.(-/+&4%=,&.16)1)*-,&A.R(#$&.6()12=>.4-12).&16)+7/C8213.6-+7<#"=#.
:#12=. UC12()012"-. 1. 1#%1)(%=,&. J5(-%-,&VI. :#12=. (C5-,&. UKinect, MYOVA. '(&,#(),.
5),6+#51%=> :#12)".3"+38213.$"&:#%&3I.5)2)(=#./-$#012"C82.%#15)+75).4-12#0.2#+-.&+&.
1)12)32.&/.%#15)+75&>.6()12=> (Wii, Kinect).
N+-11&;&5-<&3.:#12)".6).16)1)*C.)*(-*)25&.(-/$#+3#2.&>.%-.W.5-2#9)(&&H.:#12=I..
)*(-*-2="-#,=#. 6)1+#. "")$-. &. :#12=I. )*(-*-2="-#,=#. ". 6()<#11#. "")$-A. '(&,#(. :#12-.
"2)()0.5-2#9)(&&.– C"#+&4#%&#/C,#%7E#%&#.;)2)9(-;&&.".C12()012"->.;&(,=.XApple”.
T+&2#+7%)127. :#12-. 6)5-/="-#2I. &/,#%3#213. +&. )%. 1). "(#,#%#,A. R+#$)"-2#+7%)I.
:#12=. ,)9C2. *=27. (-/$#+#%=. %-. 12-2&4#15&#. &. $&%-,&4#15&#A. R2-2&4#15&#. :#12=.
6(#$12-"+38213. ". "&$# )$%)9). &/)*(-:#%&3I. ". 2). "(#,3. 5-5. $&%-,&4#15&#. :#12=. – J2).
6)1+#$)"-2#+7%)127.&/)*(-:#%&0 +&*)."&$#);(-9,#%2.
R&12#,-.(-16)/%-"-%&3.:#12)"A
Y6()M#%%-3. 12(C52C(-. 1&12#,=. (-16)/%-"-%&3. :#12)". 6(&"#$#%-. %-. 1>#,#. ZA. B%-.
1)12)&2.&/.[.*+)5)"H
!
Y12()012")."")$-
!
\+)5.(-16)/%-"-%&3
!
O#-9&(C8M&0.*+)5
R>#,-.ZA.R2(C52C(-.1&12#,= (-16)/%-"-%&3.:#12)"
Y12()012"). "")$-. 3"+3#213. 2)45)0. ">)$-. ". 1&12#,CA. B%). 6(#)*(-/)"="-#2. :#12. ".
<&;()"C8.;)(,C.&.6#(#$-#2.#9).".*+)5.(-16)/%-"-%&3I.5)2)(=0.1(-"%&"-#2.6)12C6&"EC8.
&%;)(,-<&8. 1. E-*+)%-,&I. >(-%3M&,&13. ". *-/#. $-%%=>, &. ". 5-4#12"#. (#/C+72-2-.
@)+)$#:%=0.%-C4%)-2#>%&4#15&0."#12%&5.QRSS-51038
")/"(-M-#2. (-16)/%-%%=0. :#12A. !. &2)9#. (#-9&(C8M&0. *+)5. "=6)+%3#2. %#5)2)(=#.
;C%5<&&.".1))2"#212"&&.1.(-16)/%-%%=,&.:#12-,&A
')6C+3(%=#.,#2)$=
'). ,#(#. (-/"&2&3. 2#>%)+)9&&. (-16)/%-"-%&3. :#12)". )6(#$#+&+&17. %-&*)+##.
6)6C+3(%=#.,#2)$=:
•
R5#+#2%=0 ,#2)$
•
3D-(-16)/%-"-%&#
•
2D-(-16)/%-"-%&#
R5#+#2%=0 ,#2)$. &16)+7/C#2. ,-2#,-2&4#15C8. ,)$#+7. 4#+)"#4#15)0. (C5&A.
'(#&,CM#12"),. J2)9). ,#2)$-. 3"+3#213. 15)()127. (-*)2=I. 2-5. 5-5. )%. &16)+7/C#2 "=1)5).
$#2-+&/&()"-%%C8. ,)$#+7I. 5)2)(-3. )6&1-%-. 1. 6),)M78. $+&%. 1#9,#%2)". &. C9+)". ,#:$C.
%&,&A '(&,#(=.15#+#2-.4#+)"#4#15)0.+-$)%&.6(&"#$#%=.%-.(&1C%5->.Z.&.W1A
O&1A.ZA.R5#+#2.+-$)%&.][^
R+#$C8M&0. ,#2)$. &16)+7/C#2. [D-,)$#+7. $+3. &$#%2&;&5-<&&. :#12- U(&1A. W-I. Wb).
P-5&#. ,)$#+&. ,)9C2. *=27. 6(#$12-"+#%=. ". "&$#. 1+):%=>. 2(#>,#(%=>. 6)"#(>%)12#0 &.
5+-11&;&<&()"-2713.1.6),)M78.%#0()%%=>.1#2#0A _#$)12-25),.J2)9).,#2)$-.3"+3#213.#9).
(#1C(1)#,5)127A.')12()#%&#.,)$#+&I.)*C4#%&#.%#0()%%)0.1#2&.&.##.&16)+7/)"-%&#.,)9C2.
6)2(#*)"-27./%-4&2#+7%=>.(#1C(1)"A
@#2)$.WD-(-16)/%-"-%&3.1>):.1.6(#$=$CM&,.,#2)$),I.%).)6#(&(C#2.$"C,#(%=,&.
&/)*(-:#%&3,&. ",#12). )*`#,%=>. ,)$#+#0 U(&1A. Wd, 2e).
N-5. 1+#$12"&#, 1%&:-#213.
"=4&1+&2#+7%-3. 1+):%)127. &. )26-$-#2. %#)*>)$&,)127. ". 16#<&-+7%),. )*)(C$)"-%&&I. 2-5.
5-5.$+3.6)+C4#%&3.&/)*(-:#%&0.,):#2.*=27.&16)+7/)"-%-.)*=4%-3."#*-5-,#(-A B1%)"%=,.
%#$)12-25),.J2)9).,#2)$-.3"+3#213.%&/5-3.2)4%)127A
http://sntbul.bmstu.ru/doc/568859.html
O&1. WA.!-(&-%2=.6(#$12-"+#%&3.+-$)%& [2]
R2)&2.)2,#2&27I.42).%#5)2)(=#.&12)4%&5&.$#+32.-+9)(&2,=.%-.W.5-2#9)(&&H
!
a16)+7/C8M&#.3D-,)$#+7.
!
a16)+7/C8M&#."%#E%##.6)$)*&#
b+9)(&2,=I. )1%)"-%%=#. %-. [D-,)$#+&()"-%&&. :#12)"I. &16)+7/C82. E-(%&(%C8.
,)$#+7. 4#+)"#4#15)0. (C5&. $+3. )6(#$#+#%&3. 5+84#"=>. 6-(-,#2()"A. _-. )1%)"#. J2&>.
6-(-,#2()". /-2#,. 6()&/")$&213. 5+-11&;&5-<&3. :#12)"A. b+9)(&2,=I. &16)+7/C8M&#.
"%#E%##. 6)$)*&#I. %-6(3,C8. 1))2%)132. )*(-/. (C5&I. +-$)%&. &. &>. $"&:#%&3. 1.
)6(#$#+#%%=,&. :#12-,&. ]W^A. B1%)"="-317. %-. J2&>. )6(#$#+#%&3>I. ,):%). 1$#+-27. "=")$I.
42). 6#("-3. 5-2#9)(&3. -+9)(&2,)". 1))2"#212"C#2. 15#+#2%),C. ,#2)$CI. -. "2)(-3. 5-2#9)(&3.
)*`#$&%3#2.,#2)$= 2D- &.[D-(-16)/%-"-%&3.&/.6#(")0.5+-11&;&5-<&&A
Y12()012"-."")$!1#. "=E#)6&1-%%=#. ,#2)$=. &16)+7/C82. (-/+&4%=#. C12()012"-. "")$-A. B%&. ,)9C2.
*=27.(-/$#+#%=.%-.W.9(C66=A.'#("-3.9(C66-.C12()012".U"/-&,)$#012"C8M&#V."5+84-#2:
!
'#(4-25&.1.$-24&5-,&c
!
R6#<&-+7%=#.5)%2()++#(=;
B2+&4&2#+7%)0.)1)*#%%)1278.J2&>.C12()012"./-5+84-#213.".2),I.42).6)+7/)"-2#+7.
%-6(3,C8. "/-&,)$#012"C#2. 1. %&,&I. &. :#12=. "=6)+%38213. 6)+7/)"-2#+#,. &. C12()012"),.
1)",#12%)A. B1%)"%=,. %#$)12-25),. J2)0. 9(C66=. 3"+3#213. %#5)2)(-3. %#C5+8:#127. 2-5&>.
:#12)"A.?2).)*`31%3#213.2#,I.42).4#+)"#5C.%#C$)*%).&16)+7/)"-27.C12()012"--6)1(#$%&5&.
$+3. :#12)")9). )*M#%&3A. ?2C. %#+)"5)127. ,):%). 6(#)$)+#27. 1. 6),)M78. %#5)%2-52%=>.
6)$>)$)"I. )1%)"-%%=>. %-. "&$#)A. B%&. 6)$(-/C,#"-82. &16)+7/)"-%&#. %#15)+75&>.
"&$#)5-,#(.&.-+9)(&2,)".5),6782#(%)9)./(#%&3.$+3 &%2#(6(#2-<&&.:#12)" [2]. ')J2),C.
"2)(-3.9(C66-.U%-*+8$-8M&#.C12()012"-V.- J2):
!
N-,#(=.1.")/,):%)1278.)6(#$#+#%&3.9+C*&%=.&/)*(-:#%&3;
!
R2#(#)5-,#(=;
!
B*=4%-3.5-,#(-;
@)+)$#:%=0.%-C4%)-2#>%&4#15&0."#12%&5.QRSS-51038
P-5:#. $)6C12&,=. 5),*&%-<&&. J2&>. 9(C66A. _-6(&,#(I. 1&12#,-I. (-/(-*)2-%%-3.
O)*#(2),. !-%9),. &. d)"-%),. ')6)"&4#,. URobert Y. Wang and Jovan PopovieVI. &16)+7/C#2.
<"#2%C8.6#(4-25C.&."&$#)5-,#(C.]Z^.U1,A.(&1C%)5.[VA
O&1. [A.N),*&%-<&3.6#(4-25&.&.5-,#(=
'(&,#%#%&#.2#>%)+)9&&
R&12#,=I. )1%)"-%%=#. %-. (-16)/%-"-%&&. :#12)"I. ,)9C2. *=27. &16)+7/)"-%=. ").
,%)9&>. )*+-123>. $#32#+7%)12&I. 2-5&>. 5-5H. 5),6782#(%=#. &9(=I. -%$()&$=I. C6(-"+#%&#. 1.
6),)M78."=(-:#%&3.+&<-I.-+72#(%-2&"%=#."-(&-%2=.&%2#(;#01)".&.2A$A
!. %-12)3M##. "(#,3. ,%)9&#. 1&12#,=. C:#. &16)+7/C82. 6(#&,CM#12"-. 2#>%)+)9&&.
(-16)/%-"-%&3.:#12)". _-&*)+##.&/"#12%=,&.6(&,#(-,&.3"+38213 Kinect, Nintendo Wii &
MYO. Kinect & Wii &16)+7/C82. (-16)/%-"-%&#. :#12)". $+3. 1)/$-%&3. %)"=>. &9()"=>.
)MCM#%&0I. ". 2). "(#,3. 5-5 MYO $#,)%12(&(C#2. %)"=0. C()"#%7. "/-&,)$#012"&3. 1.
(-/+&4%=,&.C12()012"-,&.)2.2#+#"&/)(-.$).5"-$()5)62#(-.
G-5+84#%&#
O-16)/%-"-%&#. :#12)". 3"+3#213. )4#%7. ,)M%=,. &%12(C,#%2),. $+3. 1)/$-%&3.
&%2#(;#01)". &. "=")$&2. 4#+)"#5)-,-E&%%)#. "/-&,)$#012"&#. %-. %)"=0. C()"#%7A. ')J2),C.
$-%%-3.2#>%)+)9&3.6(#$12-"+3#213.)4#%7.6#(16#52&"%)0.".6+-%#.(-/"&2&3A
5,1+-6$71428*498:
1.
Robert Y. Wang and fghij. kglghmeI. UWnnoVI. XReal-Time Hand-Tracking with a Color
Glove”, ACM Transactions on Graphics,Vol. 28(3).
2.
Pavlovic, V., Sharma, R. & Huang, T. (1997), "Visual interpretation of hand gestures for
human-computer interaction: A review", IEEE Trans. Pattern Analysis and Machine
Intelligence., July, 1997. Vol. 19(7), pp. 677 -695.
3.
A Erol, G Bebis, M Nicolescu, RD Boyle, X Twombly, "Vision-based hand pose
estimation: A review", Computer Vision and Image Understanding Volume 108, Issues 1-
http://sntbul.bmstu.ru/doc/568859.html
2, October–November 2007, Pages 52-73 Special Issue on Vision for Human-Computer
Interaction, doi:10.1016/j.cviu.2006.10.012.
@)+)$#:%=0.%-C4%)-2#>%&4#15&0."#12%&5.QRSS-51038