ToF и технологии машинного зрения

Time-of-Flight технология — это не единственно доступная сегодня технология машинного зрения. Сегодня я сравню Time-of-Flight с традиционной 2D-технологией, а также 3D-технологиями машинного зрения. Помимо этого, приведу приложения, в которых используется ToF.

2D машинное зрение

Большинство систем машинного зрения, используемых сегодня, являются двухмерными визуальными системами. Это низкобюджетное решение в случае, если освещение можно контролировать. Они хорошо подходят для наблюдения и контроля, где дефекты обнаруживаются применением хорошо известных методов обработки изображений, такие как обнаружение края, совпадения с шаблоном и структур открыто/закрыто. Эти алгоритмы извлекают критические параметры объектов, которые сравниваются с базой данных для тестирования на прошел/не прошел. Для выявления дефектов вдоль оси z, зачастую применяется дополнительный 1D-датчик или же 3D-технология.

2D машинное зрение может использоваться в неструктурированной окружающей среде. Применение передовых алгоритмов обработки изображений, позволяет обойти проблемы, вызванные различным уровнем освещенности и условиями затенения. На рисунке приведены изображения одного и того же лица, но под очень разным углом освещения. Различия в затенении может сделать распознавание лица проблематичным даже для человека.

Одно и то же лицо, но с различным затенением

В отличие от этого, компьютерное распознавание облака точек данных, полученных с ToF-сенсора сильно не зависит от затенения, так как освещение обеспечивается самим датчиком Time-of-Flight, и измерение глубины производится путем измерения фазы, а не интенсивности изображения.

3D машинное зрение

Робастное 3D машинное зрение позволяет преодолеть многие проблемы 2D зрения, так как измерение глубины может быть легко использовано для отделения переднего плана от заднего. Это особенно полезно для представления сцены, где первым шагом является отделение интересующего предмета (на переднем плане) от других частей изображения (фона).

Распознавание жестов, например, включает в себя представление сцены. Используя расстояние для выделения объектов, сенсор Time-of-Flight позволяет отделить лицо, руки и пальцы от остальной части изображения, поэтому распознавание жеста может быть произведено с высокой степенью достоверности.

Стереовидение в сравнении с ToF

Стереовидение обычно использует две камеры, разнесенные на некоторое расстояние, подобно глазам человека. В случае точечного объекта в пространстве, разделение камер приводит к измерению разницы в позициях объектов на изображениях, полученных с двух камер. Используя простую точечную модель камеры, можно вычислить положение объекта на каждом из изображений. Мы представим их углами $\alpha$ и $\beta$ . Зная эти углы, мы можем вычислить глубину $z$ :

$z = \frac{x}{\frac{1}{\tan{\alpha}}+\frac{1}{\tan{\beta}}}$

Стереоскопическая глубина через разницу в измерениях

Одной из основных задач в стереовидении является проблема соответствия: для данной точки на одном изображении, как найти ту же точку на снимке с другой камеры? До того, пока соответствие не установлено, разница и, следовательно, глубина, не могут быть точно определены. Решение задачи нахождения соответствия включает сложные, затратные по вычислениям алгоритмы выделения элементов и их сопоставления. Выделение элементов и их сопоставление также требует достаточной интенсивности и изменчивости цвета на изображении для устойчивой корреляции. Это требование делает стерео зрение менее эффективным, если предметы не обладают такой изменчивостью. Например, при измерении расстояния до равномерно окрашенной стены. ToF -измерения не имеют этих ограничений, потому что они не зависят от цвета и текстуры, при измерении расстояния.

В стереовидении, ошибка глубины резкости является квадратичной функцией от расстояния. Для сравнения, датчик Time-of-Flight, который работает с отраженным светом, также чувствителен к расстоянию. Однако, разница в том, что, для ToF этот недостаток, при необходимости, устраняется за счет увеличения энергии освещенности. Информация об интенсивности используется ToF как «доверительная» метрика для повышения точности с использованием методов подобных фильтру Калмана.

Стереовидение имеет несколько преимуществ:

Низкая стоимость реализации. Можно использовать большинство общедоступных камер.
Человекоподобная физическая конфигурация делает стереовидение отлично подходящим для захвата изображений, интуитивно понятным для человека, так как и люди и машины видят одни и те же изображения.

Структурированный свет в сравнении с ToF

О структурированном свете можно почитать здесь. В этой технологии проецируются известные шаблоны на объект и затем проверяется искажения шаблона. Для того, чтобы извлечь один кадр глубины, часто требуются кодированные последовательные проекции или шаблоны, сдвинутые по фазе, что приводит к более низкой частоте кадров. Низкая частота кадров означает, что объект должен оставаться относительно неподвижным во время последовательности проекций, чтобы избежать размытия. Отраженный шаблон чувствителен к оптической интерференции в окружающей среде. Поэтому, структурированный свет, как правило, лучше подходят для использования внутри помещений. Основным преимуществом структурированного света является то, что он может достичь относительно высокого пространственного ( $XY$ ) разрешения с помощью широко доступных DLP-проекторов и цветных HD-камер.

Для сравнения, ToF менее чувствительна к механической юстировке и условиям окружающей освещенности, а также является более компактным устройством. Современная технология ToF имеет меньшее разрешение, чем структурированный свет, но она быстро улучшается.

Сравнение Time-of-Flight камеры со стереовидением и структурированным светом представлены в таблице ниже.

Параметр	Стереовидение	Структурированный свет	Time-of-Flight
Сложность ПО	Высокая	Средняя	Низкая
Материальные затраты	Низкие	Высокие	Средние
Компактность	Низкая	Высокая	Низкая
Время отклика	Среднее	Большое	Малое
Точность глубины	Низкая	Высокая	Средняя
Результат при низкой освещенности	Слабый	Хороший	Хороший
Результат при ярком свете	Хороший	Слабый	Хороший
Энергопотребление	Низкое	Среднее	Переменное
Диапазон	Ограничен	Переменный	Переменный
Приложения
Игры		x	x
3D-фильмы	x
3D-сканирование		x	x
Управление интерфейсом пользователя			x
Дополненная реальность	x		x

Основной вывод таков, что ToF является экономически эффективным, компактным решением для отображения глубины, не зависящим от изменения внешнего освещения и значительно упрощает разделение фигура-фон, которое обычно требуется в представлении сцены. Это мощное сочетание делает сенсоры Time-of-Flight хорошо подходящими для широкого спектра приложений.

Приложения

Технология Time-of-Flight может использоваться в приложениях, начиная от промышленной автоматики до здравоохранения, в смарт-рекламе, играх и развлечениях. Сенсор ToF также может служить отличным устройством ввода как в стационарных, так и в портативных вычислительных устройствах. В автомобилестроении, датчики Time-of-Flight делают возможным автономное вождение и увеличивают осведомленность об окружающей обстановке в целях повышения безопасности. В промышленном сегменте, датчики ToF можно использовать в качестве человеко-машинного интерфейса, и для соблюдения безопасности в автоматических камерах, где людям и роботам, возможно, придется работать в непосредственной близости. В смарт-рекламе, с помощью датчиков Time-of-Flight в качестве вводного устройства, управляемого жестами и распознавания людей, можно представлять целевой медиа-контент для конкретной аудитории. В здравоохранении, распознавание жестов предлагает бесконтактные человеко-машинные взаимодействия, способствуя большей санитарии при хирургических вмешательствах. Возможность управления жестами особенно хорошо подходит для бытовой электроники, особенно для игр, портативных компьютеров и домашних развлечений. Естественный интерфейс сенсоров ToF обеспечивает в видеоиграх интуитивный игровой интерфейс. Это же самый интерфейс может заменить пульты дистанционного управления, мыши и сенсорные экраны. Вообще говоря, Time-of-Flight приложения можно разделить на использующие жесты и не использующие жесты. Приложения, использующие жесты делают акцент на взаимодействии с человеком и скорость. Приложения не использующие жесты, делают упор на точность измерений.

Использующие жесты приложения

Использующие жесты приложения переводят человеческие движения (лица, рук, пальцев или всего тела) в символические директивы для управления игровыми консолями, смарт-телевизорами, или портативными компьютерами. Например, переключать каналы можно взмахами рук, а презентации можно прокручивать с помощью легких движений пальцев. Эти приложения обычно требуют малого времени отклика, небольшую и среднюю дальность, точность порядка сантиметра и энергозатратны.

Приложения, не использующие жесты

Сенсоры Time-of-Flight также могут применяться в приложениях, не использующих жесты. Например, в автомобилях, ToF камера может повысить безопасность, предупреждая водителя, при обнаружении людей и объектов в непосредственной близости от автомобиля и при вождении с компьютерной помощью. В робототехнике и автоматизации, сенсоры Time-of-Flight могут помочь обнаружить скрытые дефекты и использоваться для безопасности, при работе людей и роботов в непосредственной близости. 3D печать быстро становится популярной и доступной, камеры ToF могут быть использованы для выполнения 3D сканирования, чтобы использовать возможность 3D-копирования. Во всех этих приложениях важна пространственная точность.

Источник: Texas Instruments

[add_ratings]