Что будет дальше, помимо звонков в Zoom и FaceTime? Как насчет того, чтобы транслировать себя с одного устройства на другое в режиме реального времени с помощью дополненной реальности? Это предпосылка для стартапа под названием Beem, который сегодня объявляет о своем первом потребительском приложении, начальном финансировании в размере 4 млн. долл. и своем долгосрочном плане стать коммуникационной технологией для очков AR будущего.
Сегодня потребители знакомятся с технологией дополненной реальности благодаря взаимодействию с линзами Snapchat и эффектами TikTok, через мобильные игры, такие как Pokémon Go, и визуализируя продукты, которые они рассматривают для покупки, например, мебель, которую они расставляют в своей комнате, или макияж, который они виртуально примеряют с помощью фильтра дополненной реальности. . Но использование AR для телеприсутствия, как предполагает Бим, не является распространенным вариантом использования.
Удивительно, но идея стартапа исходит от основателя, который вырос без особого доступа к технологиям. Генеральный директор Beem Янош Амштутц описывает своих родителей как «хиппи», живших в маленьком австралийском прибрежном городке Байрон-Бей, где они разводили коров и кур, использовали солнечную энергию, собирали дождевую воду и даже не имели телефона — всего два-три часа. путь радио, что сообщество будет делиться.
«Мы уделяем очень большое внимание личному общению», — объясняет он отсутствие современных технологий в альтернативной детской среде.
Между тем средства связи продолжали развиваться от домашних телефонов к мобильным телефонам и Skype. «Но потом мы как бы остановились», — говорит Амстутц. «Предпосылка Beem заключается в том, что неизбежным будет следующий шаг в том, как люди общаются в цифровом формате, что является более достоверным и более захватывающим, чем видеозвонки».
Первоначально Амштутц восстал против своего воспитания, работая в сфере торговли физическими товарами в сталелитейной промышленности. Но он не находил эту работу удовлетворительной. В конце концов он понял, что хочет заниматься чем-то другим — и, в частности, он хотел решить проблему развития современной коммуникации.
Основатель собрал команду компьютерных ученых и исследователей для работы над концепцией, в которую сегодня входят руководитель отдела продуктов Дамиан Хики, ранее возглавлявший продукт пионера дополненной реальности Blippar; и Денис Исламов, соучредитель и технический директор, имеющий опыт работы в области прикладной математики и физики.
В течение этого времени технология Beem использовалась для потоковой передачи музыки артиста в AR, проведения живых конференций в домах пользователей в AR, для создания «виртуальных подиумов» и создания других видов AR для своих клиентов.
Этот опыт позволил Beem остаться на плаву, тестируя и продвигая свою технологию, но компания никогда не собиралась быть студией разработки, говорит Амштутц — она хотела предоставить потребителям опыт.
С мобильным приложением Beem, которое было запущено в последней итерации в прошлом месяце, цель состоит в том, чтобы передать этот вид живого AR — или 3D-подобного опыта, если хотите, — в руки потребителей.
Для работы пользователи загружают приложение Beem для iOS или Android и позиционируют себя в видоискателе камеры, либо устанавливая телефон, чтобы захватить свой полный кадр, либо попросив друга записать их. Beem снимает видео, отделяет человека на видео от фона, используя собственные алгоритмы компьютерного зрения и облачную инфраструктуру, обрабатывает актив в режиме реального времени и упаковывает его для зрителя.
Получатель получает ссылку, которую он открывает в своем мобильном браузере, где он перенаправляется на микросайт, который запускается для каждого взаимодействия в стиле AR в Интернете, а затем снова запускается, когда общение завершено. Здесь Beem получает доступ к акселерометру телефона, который позволяет вычислениям на сервере искажать и трансформировать видеопоток отправителя в вашем собственном пространстве, чтобы создать иллюзию трехмерности.
Получатель держит свой телефон и помещает человека с «живым лучом» в свое собственное пространство, нажав точку на полу — так же, как вы делаете с другими инструментами AR.
Конечным результатом является своего рода голограмма человека в вашей комнате, который разговаривает с вами в режиме реального времени. Вы можете сжимать и масштабировать человека и перемещать его, но вы не можете просматривать его со всех сторон, так как это не было заснято в оригинальном видео. Качество не такое хорошее, как, скажем, у того симпатичного AR-«зеленого парня», который сейчас популярен в TikTok или у AR-животных Google Search, но это умно, потому что оно живое.
«Нам не нужно быть супертехничным… Нам нужно, чтобы разум зрителя поверил, что он видит настоящего человека, и этого достаточно», — говорит Амштутц.
Пользователи Beem могут использовать приложение для проведения «конференций», таких как звонки AR Zoom, где они транслируют голографическую версию себя до 25 человек с двусторонней аудиосвязью. Они также могут запускать односторонние прямые трансляции для более широкой аудитории или отправлять предварительно записанные видеосообщения.
Beem подала заявку на патенты на инфраструктуру своего движка и конкретные патенты на различные части своей технологии, такие как сегментация видео, собственный веб-интерфейс и метод создания 3D-подобного опыта без того, чтобы он «на самом деле» был 3D. Два, пока, были предоставлены.
На сегодняшний день приложение было принято несколькими пользователями TikToker, включая Льва Кэмерона, Джейка Джозефа Эверетт-Роуза и Майкла Фэллона, для создания контента. В Великобритании Beem также сотрудничает с ассоциацией подготовительных школ, которые опробовали технологию для общения между учителями и учениками с планами внедрения на 750 000 учащихся. За День святого Валентина пользователи Beem отправили более 1500 AR-сообщений.
По словам компании, сейчас Beem отправляет около 500 сообщений в день и за последние шесть недель набрал около 14,2 миллиона просмотров «beems».
Реальность, однако, такова, что потребительский вариант использования Beem все еще несколько громоздкий — вам нужно подключить телефон или попросить кого-то держать его, записать себя, а при записи сообщения была задержка в пару минут, пока оно обрабатывается. прежде чем вашей ссылкой можно будет поделиться.
Тем не менее, Амштутц говорит, что идеальным вариантом использования Бима будет не мобильный телефон.
«Идеальное условие для двустороннего телеприсутствия — носить очки дополненной реальности и просто иметь в своей комнате веб-камеру слежения», — объясняет он. «Таким образом, вы могли бы, по сути, управлять очками голосом… и тогда веб-камера слежения узнает, что пришло время отслеживать и записывать меня, отправлять меня к вам, и я буду видеть вас в своем пространстве в то же время и наоборот».
Основатель говорит, что у Beem есть прототип очков дополненной реальности, над которым он работает для набора очков дополненной реальности, разработанного неназванной компанией FAANG и крупным поставщиком чипов. Но в конечном итоге Beem хочет внедрить эту систему в любые очки дополненной реальности в будущем.
Наряду с запуском потребительского приложения Beem объявляет о начальном финансировании в размере 4 млн. долл. от 5 Lion, Ascension Ventures, Grouport Ventures, Inertia Ventures, Lior Messika и других стратегических бизнес-ангелов. Средства будут направлены на рост команды и дальнейшее развитие продукта, чтобы подготовить очки дополненной реальности на потребительских рынках.
«Инновации в дополненной реальности открывают огромные возможности для множества различных рынков, и потенциал влияния дополненной реальности огромен», — сказал инвестор Beem Лиор Мессика. «Технология Beem создает инфраструктуру, благодаря которой дополненная реальность может стать по-настоящему доступной и вирусной. Глобальный переход к цифровым технологиям происходит быстро, и Beem находится в авангарде», — добавил он.