Команда оптимизирует нейронные сети, чтобы они могли более эффективно обрабатывать зашифрованные данные


На этой неделе, на 38-й Международной конференции по машинному обучению (ICML 21), исследователи из Центра кибербезопасности Нью-Йоркского университета в Тандонской инженерной школе Нью-Йоркского университета раскрывают новые взгляды на основные функции, которые определяют способность нейронных сетей делать выводы о зашифрованные данные.

В статье «DeepReDuce: ReLU Reduction for Fast Private Inference» команда фокусируется на линейных и нелинейных операторах, ключевых особенностях фреймворков нейронных сетей, которые, в зависимости от операции, требуют больших затрат времени и вычислительных ресурсов. Когда нейронные сети вычисляют зашифрованные данные, многие из этих затрат возникают из-за выпрямленной линейной функции активации (ReLU), нелинейной операции.

Брэндон Риген, профессор компьютерных наук и инженерии, а также электротехнической и компьютерной инженерии, и группа сотрудников, включая Нандана Кумара Джа, доктора философии. студент и Захра Годси, бывший докторант под руководством Сиддхарта Гарга, разработали фреймворк под названием DeepReDuce. Он предлагает решение за счет перегруппировки и сокращения ReLU в нейронных сетях.

Рейджен объяснил, что этот сдвиг требует фундаментальной переоценки того, где и сколько компонентов распределено в системах нейронных сетей.


«То, что мы пытаемся сделать, — это переосмыслить, как изначально разрабатываются нейронные сети», — пояснил он. «Вы можете пропустить многие эти дорогостоящие по времени и вычислительным ресурсам операции ReLU и при этом получить высокопроизводительные сети с ускорением времени выполнения в 2–4 раза».

Команда обнаружила, что по сравнению с современными решениями для частного вывода DeepReDuce повысила точность и уменьшила количество ReLU до 3,5% и 3,5 раза соответственно.

Исследование носит не чисто академический характер. Поскольку использование растет вместе с опасениями по поводу безопасности личных, корпоративных и государственных данных, нейронные сети все чаще выполняют вычисления с зашифрованными данными. В таких сценариях с участием нейронных сетей, генерирующих частные выводы (PI) по скрытым данным без раскрытия входных данных, именно нелинейные функции вызывают наибольшие «затраты» во времени и мощности. Поскольку эти затраты увеличивают сложность и время, необходимое для обучения машин выполнению PI, исследователи изо всех сил пытались облегчить нагрузку, которую ReLU оказывает на такие вычисления.

Работа команды построена на инновационной технологии CryptoNAS. Описано в более ранней статье, авторами которой являются Годси и третий доктор философии. студент, Акшадж Велданда, CryptoNAS оптимизирует использование ReLU, поскольку можно изменить расположение камней в потоке для оптимизации потока воды: он перебалансирует распределение ReLUS в сети и удаляет избыточные ReLU.

DeepReDuce расширяет возможности CryptoNAS, дополнительно оптимизируя процесс. Он включает в себя набор оптимизаций для разумного удаления ReLU после функций реорганизации CryptoNAS. Исследователи протестировали DeepReDuce, используя его для удаления ReLU из классических сетей, и обнаружили, что они смогли значительно уменьшить задержку вывода при сохранении высокой точности.