Определение углов наклонов головы человека на

2Н
УДК 004.932
К.М. Нюнькин
Институт проблем искусственного интеллекта, г. Донецк, Украина
Определение углов наклонов
головы человека на изображениях
Рассматривается задача автоматического определения углов наклонов головы на изображениях,
содержащих лицо человека. Найдены закономерности взаимного расположения характерных
деталей лица при изменении позы головы.
Введение
Распознавание человека по изображению его лица в конечном счете сводится
к сравнению поступающих изображений с изображениями известных людей,
содержащимися в базе данных системы распознавания. Это сравнение может быть
непосредственным либо опосредованным с использованием различных параметров, вычисляемых по изображениям лиц. Изображения лица одного человека,
полученные при разных положениях головы, существенно отличаются, что
требует либо введения в базу данных изображений лица каждого человека,
полученных в нескольких ракурсах, либо возможности определения и учета позы
головы на входном изображении.
Анализ литературных источников показывает, что существуют и активно
используются различные подходы к оценке ракурса головы человека на
изображении. Для этого используются конфигурация области, имеющей цвет кожи
[1-3], геометрические соотношения между положениями деталей лица [3-5],
информация, получаемая из стереоизображений [6], нейронные сети [7], [8],
«собственные лица» [9] и другие методы. В некоторых случаях, таких, как [2],
поза головы оценивается весьма приблизительно, другие позволяют определять
углы наклонов и поворота головы довольно точно [4], [7]. Так, например, точность
определения углов в работе [4] составляла 1.6 градуса, а в [7] даже 0.64.
Естественно, точность определяется не только применяемым методом, но и
качеством изображений.
Боковые наклоны
Это наиболее простая ситуация. Лицо человека имеет ярко выраженную
осевую симметрию, причем ось симметрии вертикальна. Кроме этой оси, имеются
еще три хорошо выраженные горизонтальные линии, соединяющие глаза (зрачки
либо наружные углы) и края рта. Для определения бокового наклона головы
можно использовать либо одну из этих линий, либо все линии вместе, получая
результат взвешенным средним. Вероятно, наибольшего доверия заслуживает
вертикальная ось симметрии и горизонтальная линия, соединяющая наружные
«Штучний інтелект» 1’2004
243
Нюнькин К.М.
2Н
углы глаз. Линия рта часто оказывается не горизонтальной и, кроме того, может
быть плохо видна (при разговоре или при наличии бороды и усов).
Рассмотрим определение оси симметрии. Ее можно проводить через
середины отрезков, соединяющих наружные углы глаз и края рта, либо через
середины отрезков, соединяющих наружные углы глаз и подносовую точку.
Однако это работает только в том случае, когда голова не повернута. При
повороте головы проведенная таким образом линия оказывается не вертикальной.
Собственно говоря, в этом случае изображение лица не является симметричным.
С целью определения согласованности углов наклонов двух оценок
вертикальной оси симметрии и горизонтальных линий, соединяющих наружные
углы глаз, центры зрачков и края рта, на изображениях базы данных FERET были
проведены измерения указанных углов. Было обработано 255 фронтальных
изображений 57 человек различного пола и расовой принадлежности. Углы
бокового наклона головы, определенные по линии, соединяющей наружные края
глаз, варьировались от –12.3 до 10.3 градусов. Отрицательные углы соответствуют
наклону влево, положительные – вправо.
Введем следующие обозначения характерных точек лица: 1, 2 – наружные
углы глаз, 3, 4 – зрачки, 5 – переносица (центр линии, соединяющей наружные
края глаз), 6 – подносовая точка, 7, 8 – края рта, 9 – центр линии, соединяющей
края рта.
Рассмотрим горизонтальные линии, соединяющие точки 1 – 2, 3 – 4, 7 – 8, и
вертикальные, соединяющие точки 5 – 6, 5 – 9. В табл. 1 представлены
минимальные и максимальные значения углов наклона указанных линий.
Таблица 1 – Минимальные и максимальные значения углов наклона линий
Линия
1–2
3–4
7–8
5–6
5–9
Min
– 12.3
– 12.4
– 15.6
90 – 15.4
90 – 14.2
Max
10.3
12.2
15.7
90 + 10.1
90 + 10.5
Разброс
22.6
24.6
31.1
25.5
24.7
Наименьший диапазон углов наклона имеют горизонтальная линия 1 – 2,
соединяющая наружные углы глаз, и вертикальная 5 – 9, соединяющая переносицу
и центр рта. Наибольший – линия 7 – 8, соединяющая края рта. Разброс углов
наклона линий связан, во-первых, с наклонами головы на изображениях, вовторых, с вариативностью положения этих линий у различных людей, и в третьих,
с возможными погрешностями в определении положения образующих их точек.
Первый из этих факторов одинаков для всех линий, отмечаемых на одном
изображении. Остальные два характеризуют надежность определения наклона
данной линии. То есть чем больше разброс измеренных углов, тем менее надежны
получаемые для данной линии значения угла наклона. Полученные результаты
показывают, что наибольшего доверия заслуживают оценки углов наклона,
сделанные по горизонтальной линии, соединяющей наружные углы глаз, и по
вертикальной, соединяющей переносицу с центром рта.
244
«Искусственный интеллект» 1’2004
Определение углов наклонов головы человека на изображениях
2Н
В табл. 2 представлена корреляционная матрица углов наклонов рассматриваемых линий. Естественно, наиболее коррелированы наклоны линий,
соединяющих наружные края и зрачки глаз. Затем следуют корреляции углов
наклона этих двух линий с третьей горизонтальной линией, соединяющей края
рта. Еще меньше корреляции вертикальной оси, проведенной через центры линий,
соединяющих наружные края глаз и рта (5 – 9), со всеми горизонтальными
линиями. А вот вертикальная «ось», проведенная через центр линий, соединяющих наружные края глаз и подносовую точку (5 – 6), плохо коррелирует со
всеми остальными линиями.
Таблица 2 – Корреляционная матрица углов наклонов линий
Линии
5–9
1–2
3–4
7–8
5–6 5–9 1–2 3–4
0.789
–
–
–
0.548 0.788
–
–
0.539 0.788 0.909
–
0.551 0.781 0.798 0.831
Прямые наклоны
Вообще говоря, для определения прямых наклонов головы точек на лице
недостаточно, нужны точки сбоку головы. Обычно используют надкозелковые
точки и линию, которая на профильном снимке соединяет такую точку с
наружным углом глаза. С некоторым приближением можно использовать
фронтальный снимок и определять отношение вертикальной проекции этой линии
(разность у-координат надкозелковой точки и угла глаза) к расстоянию между
наружными углами глаз, которое используется в качестве масштаба.
Однако обнаружение надкозелковых точек на фронтальном снимке редко
возможно. Часто они закрыты прической, и даже при незначительных поворотах
головы одна из них закрывается. Отсюда следует необходимость использования
при определении угла прямого наклона головы только характерных точек
собственно лица.
Понятно, что, поскольку расстояние от камеры до объекта неизвестно и его
определение представляет собой отдельную задачу, необходимо использовать не
абсолютные значения измеряемых расстояний между точками, а относительные. В
качестве масштаба было выбрано расстояние между наружными углами глаз как
определяемое с наибольшей надежностью.
Для оценки разбросов значений относительных расстояний между зрачками
глаз, между надкозелковыми точками, между углами рта, между переносицей
(средней точкой между наружными краями глаз) и подносовой точкой, между
переносицей и центром рта (средней точкой между углами рта) было обработано
255 фронтальных изображений 57 человек из базы данных FERET.
Статистические характеристики отношений указанных расстояний к расстоянию
между наружными краями глаз приведены в табл. 3. Там же приведен критерий 
и наибольший уровень значимости гипотезы о том, что результаты данных
измерений имеют нормальное распределение, рассчитанные по гистограммам с
шагом 0.2.
«Штучний інтелект» 1’2004
245
Нюнькин К.М.
2Н
Таблица 3 – Статистические характеристики относительных расстояний
между характерными точками фронтального изображения лица человека
Расстояние
Между
зрачками
Среднее
Минимум
Максимум
Станд. откл.
Асимметрия
Эксцесс
Относит. откл.

Уров. знач.
0.687
0.573
0.787
0.030
– 0.266
1.003
0.044
38.472
0.002
Между
надкозелковыми
точками
1.540
1.306
1.778
0.087
0.122
0.471
0.057
45.342
0.059
Углы
рта
Переносица –
подносовая
точка
Переносица –
центр рта
0.584
0.427
0.824
0.059
0.331
0.453
0.102
212.22
0.00
0.480
0.324
0.589
0.050
– 0.178
– 0.349
0.105
12.596
0.559
0.710
0.538
0.878
0.061
– 0.008
– 0.002
0.086
13.045
0.733
Как следует из этих результатов, распределение, наиболее близкое к
нормальному, имеет относительное расстояние между переносицей и центром рта
(рис. 1). Именно оно и выбрано для определения угла прямого наклона головы.
Рисунок 1 – Гистограмма распределения относительного расстояния
между переносицей и центром рта. Пунктиром показано
нормальное распределение с параметрами из табл. 3
Зависимость относительного расстояния между
переносицей и ртом от угла прямого наклона головы
К сожалению, база данных FERET не содержит снимков лиц с различными
углами прямых наклонов. Поэтому были проведены эксперименты по
определению зависимости отношения расстояния между переносицей и ртом к
расстоянию между углами глаз от угла наклона головы. В экспериментах,
246
«Искусственный интеллект» 1’2004
Определение углов наклонов головы человека на изображениях
2Н
результаты которых приведены на рис. 2, участвовало 8 человек. Причем для
некоторых из них измерения проводились дважды и трижды. На рис. 2a
пунктиром проведены две кривые, аппроксимирующие результаты измерений:
парабола, уравнение которой имеет вид
r  r0 * (1 – 0.25* – 0.53* 2), r0  0.74,
и косинус
r  r0
cos(   0 )
,
cos( 0 )
 0   0.24 .
Здесь r – рассматриваемое отношение, r0 – его значение при вертикальном
положении головы,  – угол прямого наклона головы в радианах (отрицательные
значения соответствуют наклону вперед). Согласно этим выражениям,
максимальное значение (близкое к 0.76 – 0.77) отношение r принимает при наклоне
головы вперед на угол 0, приблизительно равный 14 градусам (0.24 радиана)
а)
б)
Рисунок 2 – Зависимость отношения расстояния между переносицей
и ртом к расстоянию между углами глаз от угла наклона головы:
a) измерения; b) нормированная на физическое отношение
Точное определение угла наклона головы по величине относительного
расстояния между переносицей и ртом осложняется тем, что эта величина даже в
случае вертикального положения головы индивидуальна (табл. 3) и меняется в
диапазоне от 0.53 до 0.89 (на уровне 3*СКО). Меньшее из этих значений, согласно
аппроксимирующим выражениям, соответствует наклону назад на угол более 30
градусов, а большее превышает максимально возможное значение примерно на 16 %.
«Штучний інтелект» 1’2004
247
Нюнькин К.М.
2Н
Поэтому при занесении данных нового человека в базу данных индивидуальное
значение этого отношения при вертикальном положении головы следует измерять
и сохранять в базе данных наряду с прочими параметрами для использования на
этапе распознавания.
Прогиб линии рта
Поскольку зависимость отношения r от угла наклона головы параболична,
любому его значению (кроме максимального) соответствуют два значения угла
наклона головы. Для определения того, какому из этих двух возможных углов
соответствует изображение, нужно использовать дополнительные параметры,
такие, как, например, относительное расстояние от глаз до бровей, форма нижнего
края носа (в том числе видимость ноздрей) или видимая форма рта.
Все эти параметры имеют свои недостатки. Так, расстояние от глаз до
бровей сильно варьируется у разных людей, а женщины часто изменяют форму и
положение бровей по своему усмотрению. У некоторых людей бровей на
изображении практически не видно. Кроме того, брови могут быть закрыты
прической или очками, либо оправа очков может быть воспринята как брови.
Форма нижнего края носа также в значительной степени индивидуальна.
Это же касается и видимости ноздрей: у одних людей ноздри видны уже при
вертикальном положении головы, у других голова должна быть заметно откинута
назад. К тому же следует учесть, что неоднозначность в связи отношения
расстояния между переносицей и ртом к расстоянию между углами глаз с углом
наклона головы имеет место уже при наклоне головы вперед, когда ноздри не
видны. Тем не менее видимость ноздрей может быть использована как
дополнительный параметр при определении наклонов головы назад.
Что касается видимой формы рта, точнее, прогиба линии смыкания губ, то
этот параметр выглядит наиболее подходящим. При вертикальном положении
головы прогиб отсутствует. При наклоне вперед края рта выше его центра, при
наклоне назад – ниже. Конечно, в случае открытого рта использование данного
параметра сопряжено с определенными трудностями, но альтернативы ему,
похоже, нет.
Рассмотрим подробнее, как связан прогиб рта (линия смыкания губ) с
прямым наклоном головы. Для решения этого вопроса были использованы
изображения, полученные в описанных в предыдущем пункте экспериментах. Как
видно по результатам, приведенным на рис. 3, зависимость отношения разницы
вертикальных координат углов рта и его центра y к ширине рта x от угла
наклона головы  может быть аппроксимирована линейной функцией:
y
 0.24    0.013 .
x
Здесь положительное значение y соответствует прогибу линии рта вверх,
отрицательное – вниз.
248
«Искусственный интеллект» 1’2004
Определение углов наклонов головы человека на изображениях
2Н
Рисунок 3 – Зависимость отношения разницы вертикальных координат
углов рта и его центра к ширине рта от угла наклона головы
Выводы
Таким образом, углы бокового и прямого наклонов головы человека можно
определить, используя одно фронтальное изображение его лица.
Наиболее перспективной для определения угла бокового наклона головы
следует считать линию, соединяющую наружные края глаз. Из вертикальных
линий для этой цели можно использовать линию, соединяющую переносицу и
центр рта. Для большей надежности следует использовать обе эти линии и брать
среднее (или средневзвешенное) значение угла наклона.
Для определения угла прямого наклона головы (не превышающего по
модулю 40 градусов) по фронтальному снимку можно использовать отношение
расстояния между переносицей и ртом к расстоянию между углами глаз. Для
устранения неоднозначности можно использовать величину и направление относительного прогиба линии рта.
Литература
1.
2.
Chen Q., Wu H., Fukumoto T., Yachida M. 3d head pose estimation without feature tracking // Int.
Conf. on Automatic Face- and Gesture-Recognition.  Nara (Japan), April 14-16.  1998. – P. 88-93.
Schiele B., Waibel A. Gaze tracking based on face-color // Int. Workshop on Automatic Face- and
Gesture-Recognition.  FG, Zurich (Switzerland), June 26-28.  1995.  P. 344-349.
«Штучний інтелект» 1’2004
249
Нюнькин К.М.
2Н
3.
4.
Kammerer P., Sablatnig R., Zolda E. Head Pose Estimation in Painted Portraits used for Comparison //
Computer Vision, Computer Graphics and Photogrammetry – a Common Viewpoint: Proc. of the
25th Workshop of the Austrian Association for Pattern Recognition (OEAGM), Schriftenreihe der
OCG.  Oldenburg, Wien, Muenchen.  2001.  Vol. 147. – P. 127-134.
Gee A., Cipolla R. Determining the gaze of faces in images // Image and Vision Computing.  1994. –
№ 12(10).  P. 639-647.
Yang T.J., Wu F.C., Ouhyoung M. Real-Time 3-D Head Motion Estimation in Facial Image Coding //
Proc. of Multimedia Modeling'98.  Lausanne (Switzerland), Oct. 12-15.  1998. – P. 50-51.
Xu M., Akatsuka T. Detecting head pose from stereo image sequences for active face recognition //
Int. Conf. on Automatic Face- and Gesture-Recognition.  Nara (Japan), April 14-16.  1998. – P. 8287.
Bruske J., Abraham-Mumm E., Pauli J., Sommer G. Head-pose estimation from facial images with
subspace neural networks // Proc. of Int. Neural Network and Brain Conference.  Beijing (China). 
1998. – P. 528-531.
Stiefelhagen R., Yang J., Waibel A. Modeling Focus of Attention for Meeting Indexing Based on
Multiple Cues // IEEE Transactions jn Neural Networks.  2002.  Vol. 13, №. 4. – P. 928-938.
Srinivasan S. and Boyer K.L. Head Pose Estimation Using View Based Eigenspaces // Int. Conf. on
Pattern Recognition.  Quebec.  2002.
5.
6.
7.
8.
9.
К.М. Нюнькін
Визначення кутів нахилів голови людини на зображеннях
Розглядається задача автоматичного визначення кутів нахилів голови на зображеннях, що містять
обличчя людини. Знайдені закономірності взаємного положення характерних деталей обличчя при
зміні пози голови.
K.M. Nyunkin
Determination of the Person’s Head Tilt Angles in the Images
The problem of determination of the head tilt angles in the human face images is considered. Regularity of
the relative position of the facial features to the change of head pose are discovered.
Статья поступила в редакцию 30.01.04.
250
«Искусственный интеллект» 1’2004