Преодолев пределы масштабирования аналоговых вычислений

По мере того, как модели машинного обучения становятся больше и сложнее, им требуется более быстрое и энергоэффективное оборудование для выполнения вычислений. Обычные цифровые компьютеры изо всех сил стараются не отставать.


Аналоговая оптическая нейронная сеть могла бы выполнять те же задачи, что и цифровая, например, классифицировать изображения или распознавать речь, но поскольку вычисления выполняются с использованием света, а не электрических сигналов, оптические нейронные сети могут работать во много раз быстрее, потребляя при этом меньше энергии.

Однако эти аналоговые устройства подвержены аппаратным ошибкам, которые могут сделать вычисления менее точными. Одной из причин этих ошибок являются микроскопические дефекты аппаратных компонентов. В оптической нейронной сети, имеющей множество связанных компонентов, могут быстро накапливаться ошибки.

Даже при использовании методов исправления ошибок из-за фундаментальных свойств устройств, составляющих оптическую нейронную сеть, некоторая часть ошибок неизбежна. Сеть, которая достаточно велика, чтобы ее можно было реализовать в реальном мире, была бы слишком неточной, чтобы быть эффективной.

Исследователи Массачусетского технологического института преодолели это препятствие и нашли способ эффективного масштабирования оптической нейронной сети. Добавляя крошечный аппаратный компонент к оптическим переключателям, формирующим архитектуру сети, они могут уменьшить даже количество неисправимых ошибок, которые в противном случае накапливались бы в устройстве.

Их работа может позволить создать сверхбыструю, энергоэффективную аналоговую нейронную сеть, которая может функционировать с той же точностью, что и цифровая. При использовании этого метода по мере того, как оптическая схема становится больше, количество ошибок в ее вычислениях фактически уменьшается.

«Это примечательно, поскольку противоречит интуитивным представлениям об аналоговых системах, где предполагается, что более крупные схемы имеют более высокие ошибки, так что ошибки устанавливают предел масштабируемости. Настоящая статья позволяет нам рассмотреть вопрос масштабируемости этих систем с однозначное «да», — говорит ведущий автор Райан Хамерли, приглашенный научный сотрудник Исследовательской лаборатории электроники Массачусетского технологического института (RLE) и лаборатории квантовой фотоники и старший научный сотрудник NTT Research.

Соавторами Хамерли являются аспирант Саумил Бандйопадхьяй и старший автор Дирк Инглунд, доцент кафедры электротехники и информатики Массачусетского технологического института (EECS), руководитель лаборатории квантовой фотоники и член RLE. Исследование опубликовано в Связь с природой.

Умножение со светом