Deep Vision, новый стартап в области искусственного интеллекта, который создает микросхему логического вывода ИИ для решений периферийных вычислений, сегодня выходит из невидимости. Новые процессоры ARA-1 компании шестилетней давности обещают найти правильный баланс между низкой задержкой, энергоэффективностью и вычислительной мощностью для использования во всем, от датчиков до камер и полноценных периферийных серверов.
Благодаря своей силе в области анализа видео в реальном времени, компания нацелена на разработку решений для интеллектуальной розничной торговли, включая магазины без кассиров, умные города и Индустрию 4.0 / робототехнику. Компания также работает с поставщиками автомобильной промышленности, но не столько в области автономного вождения, сколько в области мониторинга активности в салоне, чтобы водители обращали внимание на дорогу, не отвлекались и не хотели спать.
Кредиты изображений: Глубокое зрение
Компанию основал технический директор Рехан Хамид и его главный архитектор Ваджахат Кадир, нанявшие Рави Аннавааджхала, ранее работавшего в Intel и SanDisk, в качестве гендиректора компании. Хамид и Кадир разработали архитектуру Deep Vision в рамках докторской диссертации. диссертация в Стэнфорде.
«Они разработали очень привлекательную архитектуру для ИИ, которая сводит к минимуму перемещение данных внутри чипа», – пояснил Аннаваджджхала. «Это дает вам исключительную эффективность – как с точки зрения производительности на доллар, так и с точки зрения производительности на ватт – при рассмотрении рабочих нагрузок AI».
Однако задолго до того, как у команды появилось работающее оборудование, компания сосредоточилась на создании своего компилятора, чтобы гарантировать, что ее решение действительно удовлетворяет потребности клиентов. Только после этого они доработали дизайн микросхемы.
Кредиты изображений: Глубокое зрение
Как сказал мне Хамид, Deep Vision всегда фокусировался на сокращении задержки. В то время как ее конкуренты часто делают упор на пропускную способность, команда считает, что для периферийных решений задержка является более важным показателем. Хотя архитектуры, ориентированные на пропускную способность, имеют смысл в центре обработки данных, технический директор Deep Vision Хамид утверждает, что это не обязательно делает их подходящими для периферии.
«[Throughput architectures] требует одновременной обработки большого количества потоков ускорителем для полного использования оборудования, будь то пакетное или конвейерное выполнение », – пояснил он. «Это единственный способ для них увеличить пропускную способность. Результатом, конечно же, является высокая задержка для отдельных задач, что, по нашему мнению, плохо подходит для пограничного варианта использования, где производительность в реальном времени является ключевым фактором ».
Чтобы обеспечить такую производительность – а Deep Vision утверждает, что ее процессор обеспечивает гораздо меньшую задержку, чем, например, TPU Google Edge и MyriadX от Movidius – команда использует архитектуру, которая сводит к минимуму перемещение данных на чипе. Кроме того, его программное обеспечение оптимизирует общий поток данных внутри архитектуры в зависимости от конкретной рабочей нагрузки.
Кредиты изображений: Глубокое зрение
«В нашем дизайне, вместо того, чтобы запекать конкретную стратегию ускорения в аппаратном обеспечении, мы вместо этого встроили правильные программируемые примитивы в наш собственный процессор, что позволяет программному обеспечению отображать любой тип потока данных или любой поток выполнения, который вы можете найти в – граф нейронной сети, эффективный поверх того же набора базовых примитивов », – сказал Хамид.
После этого компилятор может посмотреть на модель и выяснить, как лучше всего сопоставить ее с оборудованием, чтобы оптимизировать поток данных и минимизировать перемещение данных. Благодаря этому процессор и компилятор также могут поддерживать практически любую структуру нейронной сети и оптимизировать свои модели, при этом разработчикам не нужно думать о конкретных аппаратных ограничениях, которые часто затрудняют работу с другими чипами.
«Каждый аспект нашего аппаратного / программного стека был разработан с учетом одних и тех же двух высокоуровневых целей», – сказал Хамид. «Один из них – минимизировать перемещение данных для повышения эффективности. А также чтобы каждая часть дизайна оставалась гибкой, чтобы можно было использовать правильный план выполнения для любого типа проблемы ».
С момента основания компания собрала около 19 миллионов $ и зарегистрировала девять патентов. Проба нового чипа ведется уже некоторое время, и хотя у компании уже есть несколько клиентов, она до сих пор предпочитает оставаться незамеченной. Компания явно надеется, что ее уникальная архитектура даст ей преимущество на этом рынке, который становится все более конкурентным. Помимо подобных Intel Микросхемы Movidius (и пользовательские микросхемы от Google и AWS для собственных облаков), в этой сфере также есть множество стартапов, в том числе такие, как Hailo, который ранее в этом году собрал раунд Series B на 60 миллионов $ и недавно выпустил свои новые чипы, слишком.