Улучшение датчиков изображения для машинного зрения

Датчики изображения измеряют интенсивность света, но угол, спектр и другие аспекты света также должны быть извлечены, чтобы значительно улучшить машинное зрение.


В Письма по прикладной физикеопубликованный AIP Publishing, исследователи из Университета Висконсин-Мэдисон, Вашингтонского университета в Сент-Луисе и OmniVision Technologies выделяют новейшие наноструктурные компоненты, интегрированные в чипы ов изображения, которые, скорее всего, окажут наибольшее влияние на мультимодальную визуализацию.

Разработки могут позволить автономным транспортным средствам видеть за углом, а не только прямую линию, биомедицинские изображения для обнаружения аномалий на различной глубине тканей и телескопы для наблюдения сквозь межзвездную пыль.

«Датчики изображения постепенно станут идеальными искусственными глазами машин», — сказал соавтор Юруи Цюй из Университета Висконсин-Мэдисон. «Эволюция, использующая замечательные достижения существующих датчиков изображения, вероятно, приведет к более немедленным последствиям».

Датчики изображения, преобразующие свет в электрические сигналы, состоят из миллионов пикселей на одном чипе. Задача состоит в том, как объединить и миниатюризировать многофункциональные компоненты в составе датчика.

В своей работе исследователи подробно описали многообещающий подход к обнаружению многополосных спектров путем изготовления встроенного спектрометра. Они разместили фотонно-кристаллические фильтры, состоящие из кремния, непосредственно поверх пикселей, чтобы создать сложные взаимодействия между падающим светом и датчиком.

Пиксели под пленками записывают распределение энергии света, из которого можно вывести спектральную информацию света. Устройство размером менее одной сотой квадратного дюйма можно запрограммировать на различные динамические диапазоны, уровни разрешения и почти любой спектральный режим от видимого до инфракрасного.

Исследователи создали компонент, который обнаруживает угловую информацию для измерения глубины и построения трехмерных форм в субклеточном масштабе. Их работа была вдохновлена ​​датчиками направленного слуха, обнаруженными у животных, таких как гекконы, чьи головы слишком малы, чтобы определять, откуда исходит звук, так же, как люди и другие животные. Вместо этого они используют связанные барабанные перепонки для измерения направления звука в пределах размера, который на несколько порядков меньше, чем соответствующая акустическая длина волны.

Точно так же пары кремниевых нанопроволок были сконструированы как резонаторы для поддержки оптического резонанса. Оптическая энергия, хранящаяся в двух резонаторах, чувствительна к углу падения. Ближайший к свету провод посылает самый сильный ток. Сравнивая самый сильный и самый слабый токи обоих проводов, можно определить угол падающих световых волн.