6.6. Поиск сопряженных точек

Центральной проблемой компьютерного стереозрения является поиск сопряженных точек. Задача автоматизированного поиска сопряженных точек состоит в следующем: на одном из изображений выбрана точка , являющаяся проекцией некоторой точки  трехмерного пространства, необходимо на втором изображении найти точку   – проекцию той же точки. Достаточно очевидно, что фактически при решении этой задачи речь идет об отождествлении не отдельных точек, а фрагментов изображений, лежащих в окрестностях этих точек. Здесь возникает два вопроса. Первый – если на одном изображении указана точка, где на втором изображении искать сопряженную? Второй – что является критерием «похожести» фрагментов?

Оказывается, на первый вопрос можно дать достаточно строгий ответ. Обратимся к соотношению (6.21). Известно [6.8, Приложение], что векторное произведение  можно представить как , где матрица  имеет вид:

.

Тогда (6.21) можно представить как

                               (6.24)

или

,

где

.                        (6.25)

С другой стороны, любая прямая линия на плоскости может быть задана уравнением  или, в векторном виде,  , где , . Сравнивая уравнение прямой с (6.24) и с (6.25) приходим к выводу, что (6.24) задает в плоскости изображения первой камеры прямую

                       (6.26)

с вектором коэффициентов ,  а в плоскости изображения второй камеры - прямую

                              (6.27)

с вектором коэффициентов .

Это значит, что если в плоскости изображения первой камеры указана точка с вектором внутренних координат , то сопряженная точка в плоскости изображения второй камеры может лежать только на прямой, заданной уравнением (6.26). Аналогичное правило справедливо и для точек, заданных в плоскости изображения второй камеры.

Этот результат имеет наглядную геометрическую иллюстрацию (рис.6.6).

Рис. 6.6. Эпиполярные линии

Оптические центры камер  и   и наблюдаемая точка образуют плоскость , которая пересекает плоскости изображения камер по прямым  и , где точка  является изображением оптического центра  второй камеры в плоскости первой, а  - изображением центра  в плоскости второй. С другой стороны, если задана точка , то точка   трехмерного пространства может лежать только на прямой, проходящей через  и оптический центр . Следовательно, ее проекция в плоскости изображения второй камеры должна лежать в плоскости , лежащей на этой прямой и оптическом  центре ,  а значит, на линии пересечения плоскости  и плоскости изображения второй камеры. Линии пересечения плоскости  с плоскостями  изображений камер называются эпиполярными линиями.

Практическая ценность полученного результата заключается в том, что его использование при поиске сопряженных точек позволяет существенно сократить размер зоны поиска, выполняя поиск не на всем изображении, а только вдоль эпиполярной линии, и тем самым снизить вероятность ложной идентификации фрагментов.

В отличие от рассмотренных ранее вопросов,  сопоставление окрестностей сопряженных точек не поддается строгой  формализации, поскольку в его  основе лежит проблема идентификации по изображениям фрагментов реального трехмерного мира, которые с трудом поддаются адекватному формальному  описанию. Возникающие при съемке и зависящие от ракурса проективные и яркостные искажения приводят к тому, что в изображениях одних и тех же участков сцены, снятых под разными ракурсами, могут появиться значительные отличия. Принципиально важно то, что эти отличия зависят не только от геометрии съемки, но и от геометрических и физических характеристик самой сцены. Расположение источника света по отношению к поверхности сцены влияет на распределение освещенности. Положение элементов сцены, их отражательные и рассеивающие свойства определяют количество энергии, попадающей в объективы камер, а следовательно, и локальные отличия в яркости сопряженных фрагментов изображений.

На рис.6.7 схематично показаны некоторые причины возникновения различий в изображениях.  Пунктиром показаны индикатрисы излучения (рассеяния) в точках  и  наблюдаемой поверхности.

Видно, что интенсивность излучения из точки   в направлении левой камеры (с оптическим центром ) больше, чем в направлении правой камеры (с оптическим центром ).  Точка , наоборот, излучает в камеру  слабее, чем в камеру .  Жирными столбиками показана интенсивность сигнала в изображениях этих точек в левой (и ) и правой (и ) камерах. Более того, точка  вообще не видна в левой камере, поскольку ее загораживает участок поверхности .

Величина различий зависит от разницы в ракурсах съемки. Как правило, чем больше эта разница (в частности, чем больше база), тем менее похожими становятся изображения. Поэтому все методы отождествления окрестностей сопряженных точек в большей или меньшей степени опираются не на формальный подход, а на здравый смысл.

Рис.6.7. Проективные и яркостные искажения

Одним из наиболее распространенных методов идентификации является корреляционный. Детальное описание корреляционного метода приведено в гл.6. При незначительных отличиях в ракурсах съемки и на достаточно гладких поверхностях от него можно ожидать хороших результатов. На рис.6.8 (а и б)  приведена пара вертолетных снимков района озера Карымское (Камчатка), на которые нанесена прореженная сетка сопряженных точек, найденных корреляционным методом, а на рис.6.8.в показана поверхность, «натянутая» на трехмерные точки, координаты которых вычислены методом, изложенным в п.6.2. Следует заметить, что построение поверхности, лежащей на заданном множестве трехмерных точек, представляет собой самостоятельную нетривиальную задачу, рассмотрение которой выходит за рамки темы, обсуждаемой в этой главе.

На снимках есть области, где сопряженные точки не удалось найти. Причин этому несколько. Часть сцены, видимая в правой части правого снимка, просто не попала в поле зрения левой камеры. Кроме этого, на снимках есть участки с мало изменяющейся яркостью. На таких участках корреляционный критерий не дает хорошо выраженного максимума, поэтому здесь координаты сопряженных точек определяются с большими погрешностями. Более того, здесь велика вероятность ложных отождествлений. Пространственное представление о таких участках получить без привлечения дополнительной информации невозможно. Если размеры этих участков малы, а по косвенным признакам можно предположить, что поверхность сцены изменяется плавно, можно интерполировать трехмерную структуру участков с их границ внутрь, как это сделано для участков  и .

Если их размеры велики, или сопряженные точки на границах не определены, восстановить трехмерную структуру участка не удается (участки  и ).

Для того, чтобы восстановить мелкую структуру сцены, необходимо, чтобы сопряженные точки лежали достаточно часто. В приведенном примере для построения рельефа  найдено более 7000 точек.

Сложность применения корреляционного метода заключается в том, чтобы подобрать такие размеры сопоставляемых фрагментов, при которых отличия в тождественных фрагментах еще невелики (для этого нужно уменьшать размеры), а оценка коэффициента корреляции остается достоверной (для этого размеры надо увеличивать). Но самым серьезным его недостатком является чувствительность к масштабным искажениям, присутствующим в отождествляемых фрагментах. Простейший способ  уменьшения масштабных различий в сопряженных фрагментах  состоит в использовании предварительной аффинной подстройки изображений. Этот способ, однако, оказывается недейственным при вариациях высот в сцене, сравнимых с расстоянием от сцены до системы камер, поскольку в этом случае появляются значительные локальные масштабные искажения.

Влияние яркостных искажений можно попытаться устранить, отказавшись от сопоставления фрагментов исходных изображений, и перейдя к сопоставлению фрагментов контурных изображений, где выделены края, т.е. переходы между областями с постоянной яркостью. На таких переходах, как известно,  градиент яркости имеет максимум, а лапласиан обращается в нуль. Это обстоятельство и используется для выделения краев [6.10, п.17.4]. Существенным моментом является то, что контуры на изображениях непрерывных поверхностей должны располагаться в одинаковом порядке, как это видно на рис. 6.9 (изображения точек ,  и ). Это ограничение позволяет в некоторой степени ослабить влияние масштабных искажений. Однако и здесь, как и в корреляционном методе, существует проблема ложного отождествления. Связана она, в частности, с тем, что видимая часть поверхности зависит от ракурса наблюдения (поэтому, например, на рис.6.9 изображение точки  в правой камере отсутствует), и на разных изображениях могут пропадать разные края. Кроме того, сама задача выделения краев только на первый взгляд кажется такой простой. В действительности неизбежное присутствие шумов в изображениях может привести к частичному исчезновению контуров или появлению ложных. Идея поиска сопряженных точек с помощью отождествления краев была особенно популярна у биологов и психологов, исследовавших механизмы зрения [6.11], но, как нам кажется, в таком идеальном виде практического применения не нашла.

Еще один подход к поиску сопряженных точек опирается на предварительный раздельный анализ изображений, позволяющий выделить на них некоторые характерные объекты или особенности. Так на аэроснимках городских территорий можно попытаться выделить перекрестки, отдельные дома или их фрагменты, деревья и т.п., а затем  выполнить их отождествление между снимками.

По-видимому, наиболее удачных результатов можно ожидать от комбинированного использования всех этих методов и применения итеративной схемы, когда по найденным сопряженным точкам строится оценка поверхности, с учетом которой изображения подвергаются   масштабной коррекции и выполняется поиск новых сопряженных точек.

Рис.6.9. Упорядочение сопряженных точек в случае непрерывных поверхностей