Представьте, что вы могли бы уладить / разжечь домашние споры, спросив свою умную колонку, когда в последний раз убирали комнату или были ли уже вынуты мусорные ведра?
Или — для более здорового варианта использования — что, если бы вы могли попросить говорящего вести счет повторений, когда вы делаете приседания и жимы лежа? Или переключитесь в полноценный режим «личного тренера» — выкрикивайте приказы, чтобы ускорить движение, пока вы крутите велосипеды на пыльном старом велотренажере (кому нужен Peloton!).
А что, если динамик был достаточно умен, чтобы просто знаю вы ужинаете и позаботились о том, чтобы включить музыку для настроения?
А теперь представьте, если бы все эти умные устройства для отслеживания активности были задействованы без каких-либо подключенных камер внутри вашего дома.
Аеще несколько интересных исследований, проведенных учеными из Университета Карнеги-Меллона. Future Interfaces Group открывает такого рода возможности — демонстрируя новый подход к отслеживанию активности, который не полагается на камеры в качестве инструмента обнаружения.
Установка подключенных камер в вашем доме, конечно же, представляет собой серьезный риск для конфиденциальности. Вот почему исследователи CMU приступили к исследованию возможности использования доплеровского радара миллиметрового диапазона (миллиметрового диапазона) в качестве среды для обнаружения различных типов человеческой деятельности.
Задача, которую им нужно было преодолеть, заключается в том, что, хотя mmWave предлагает «богатство сигнала, приближающееся к уровню микрофонов и камер», как они выражаются, данные для обучения моделей искусственного интеллекта распознавать различные виды деятельности человека, поскольку радиочастотный шум недостаточен.
Чтобы их не отпугнуть, они приступили к синтезу допплеровских данных для использования в модели отслеживания активности человека — разработали программный конвейер для обучения моделей ИИ, отслеживающих активность, сохраняющих конфиденциальность.
Результаты можно увидеть в этом видео, где показана модель, которая правильно определяет ряд различных действий, включая езда на велосипеде, хлопки в ладоши, размахивание руками и приседания. Исключительно из-за его способности интерпретировать сигнал mmWave, генерируемого движениями, и исключительно благодаря обучению на общедоступных видеоданных.
«Мы показываем, как этот кросс-доменный перевод может быть успешным, с помощью серии экспериментальных результатов», — пишут они. «В целом, мы считаем, что наш подход является важной ступенькой на пути к значительному снижению нагрузки на обучение, такое как системы распознавания человека, и может помочь в начальной загрузке взаимодействия человека с компьютером».
Исследователь Крис Харрисон подтверждает Измерение на основе доплеровского радара mmWave не работает для «очень тонких вещей» (например, для определения различных выражений лица). Но он говорит, что он достаточно чувствителен, чтобы определять менее активную деятельность — например, есть или читать книгу.
Способность доплеровского радара к обнаружению движения также ограничена необходимостью обеспечения прямой видимости между объектом и оборудованием. (Также известное как: «Он пока не может обходить углы». Что для тех, кого беспокоят будущие возможности роботов по обнаружению человека, наверняка прозвучит немного обнадеживающе.)
Конечно, для обнаружения требуется специальное сенсорное оборудование. Но на этом фронте дела уже идут: Google уже вмешивается в проект через проект Соли — добавление радарный датчик к Например, Pixel 4.
Google Nest Hub также интегрирует тот же радарный датчик для отслеживания качества сна.
«Одна из причин, по которой мы не наблюдаем более широкого внедрения радарных датчиков в телефонах, — это отсутствие убедительных примеров использования (своего рода проблема с курицей и яйцом)», — сказал Харрис TechCrunch. «Наши исследования в области обнаружения активности на основе радара помогают открыть больше приложений (например, более умные Siris, которые знают, когда вы едите, или готовите ужин, или убираетесь, или занимаетесь спортом и т. Д.)».
На вопрос, видит ли он больший потенциал в мобильных или фиксированных приложениях, Харрис считает, что для обоих есть интересные варианты использования.
«Я вижу варианты использования как мобильных, так и немобильных устройств», — говорит он. «Возвращаясь к Nest Hub… датчик уже находится в комнате, так почему бы не использовать его для запуска более продвинутых функций в умном динамике Google (например, подсчет повторений для ваших упражнений).
«В здании уже используется множество радарных датчиков для определения присутствия людей (но теперь они могут определять, например, когда в последний раз убирали комнату)».
«В целом, стоимость этих датчиков очень скоро упадет до нескольких долларов (некоторые на eBay уже стоят около 1 доллара), так что вы можете включать их во все», — добавляет он. «И, как показывает Google с продуктом, который идет в вашу спальню, угроза« общества наблюдения »вызывает гораздо меньшее беспокойство — отчасти, чем с датчиками камеры».
Такие стартапы, как VergeSense, уже используют сенсорное оборудование и технологию компьютерного зрения для обеспечения аналитики внутреннего пространства и активности в реальном времени для рынка b2b (например, измерения занятости офиса).
Но даже при локальной обработке данных изображения с низким разрешением все еще может существовать ощущение риска для конфиденциальности, связанного с использованием видеодатчиков — конечно, в потребительских средах.
Radar предлагает альтернативу такому визуальному наблюдению, которая может лучше подходить для устройств, подключенных к потребителю, которые создают угрозу конфиденциальности, например, «умных зеркал».
«Если бы это производилось на месте, поставили бы вы камеру в своей спальне? Ванная? Возможно, я ханжа, но лично я бы не стал », — говорит Харрис.
Он также указывает на более ранние исследования, которые, по его словам, подчеркивают ценность включения большего количества типов сенсорного оборудования: «Чем больше датчиков, тем длиннее хвост интересных приложений, которые вы можете поддерживать. Камеры не могут запечатлеть все и не работают в темноте ».
«Камеры в наши дни довольно дешевы, поэтому там сложно конкурировать, даже если радары немного дешевле. Я действительно считаю, что самым сильным преимуществом является сохранение конфиденциальности », — добавляет он.
Конечно, наличие какого-либо сенсорного оборудования — визуального или иного — создает потенциальные проблемы с конфиденциальностью.
Датчик, который сообщает вам, когда спальня ребенка занята, может быть хорошим или плохим, например, в зависимости от того, у кого есть доступ к данным. И все виды человеческой деятельности могут генерировать конфиденциальную информацию, в зависимости от того, что происходит. (Я имею в виду, вы действительно хотите, чтобы ваш умный динамик знал, когда вы занимаетесь сексом?)
Таким образом, хотя слежение на основе радара может быть менее инвазивным, чем некоторые другие типы датчиков, это не означает, что нет никаких потенциальных проблем с конфиденциальностью.
Как всегда, это зависит от того, где и как используется сенсорное оборудование. Хотя трудно утверждать, что генерируемые радаром данные, вероятно, будут менее чувствительны, чем эквивалентные визуальные данные, если они будут обнаружены в результате взлома.
«Любой датчик, естественно, должен поднимать вопрос о конфиденциальности — это скорее спектр, чем вопрос« да / нет », — соглашается Харрис. «Радиолокационные датчики обычно богаты деталями, но очень анонимны, в отличие от камер. Если данные вашего доплеровского радара просочились в сеть, было бы трудно смущаться по этому поводу. Никто вас не узнает. Если камеры из вашего дома просочились в Интернет, что ж … «
Как насчет вычислительных затрат на синтез обучающих данных, учитывая отсутствие немедленно доступных данных доплеровского сигнала?
«Это не под ключ, но есть много больших корпусов видео, из которых можно извлечь (включая такие вещи, как Youtube-8M)», — говорит он. «Загрузить видеоданные и создать синтетические данные радара на порядки быстрее, чем набирать людей, которые приходили в вашу лабораторию для сбора данных о движении.
«По сути, один час затрачивается на час качественных данных. В то время как в наши дни вы можете довольно легко загрузить сотни часов отснятого материала из многих отлично отобранных баз данных видео. На обработку каждого часа видео уходит около 2 часов, но это только на одном настольном компьютере, который есть у нас здесь, в лаборатории. Ключ в том, что вы можете распараллелить это, используя Amazon AWS или аналог, и обрабатывать 100 видео одновременно, поэтому пропускная способность может быть чрезвычайно высокой ».
И хотя РЧ-сигнал действительно отражается от разных поверхностей (он же «многолучевые помехи»), причем в разной степени, Харрис говорит, что сигнал, отраженный пользователем, «безусловно, является доминирующим сигналом». Это означает, что им не нужно было моделировать другие отражения, чтобы их демонстрационная модель заработала. (Хотя он отмечает, что это можно сделать для дальнейшего оттачивания способностей, «выделив большие поверхности, такие как стены / потолок / пол / мебель, с помощью компьютерного зрения и добавив это на стадию синтеза».)
«В [doppler] сигнал на самом деле очень высокоуровневый и абстрактный, поэтому его нетрудно обрабатывать в реальном времени (гораздо меньше «пикселей», чем камера) ». он добавляет. «Встроенные процессоры в автомобилях используют данные радара для таких вещей, как предотвращение столкновений и мониторинг слепых зон, и это процессоры низкого уровня (без глубокого обучения или чего-то еще)».
Исследование представлено на конференции ACM CHI вместе с другим групповым проектом под названием Pose-on-the-Go, в котором используются датчики смартфонов для приблизительного определения позы всего тела пользователя без необходимости использования носимых датчиков.
Исследователи CMU из Группы также ранее демонстрировали дешевый метод внутреннего зондирования «умного дома» (также без необходимости в камерах), а также — в прошлом году — показывая, как камеры смартфонов можно использовать для получения информации на устройстве. AI помощник более контекстуальный. В последние годы они также исследовали использование лазерной виброметрии и электромагнитного шума, чтобы повысить осведомленность интеллектуальных устройств об окружающей среде и контекстную функциональность.
Другое интересное исследование группы включает использование проводящей аэрозольной краски для превращения чего-либо в сенсорный экран. И различные методы расширения интерактивного потенциала носимых устройств — например, использование лазеров для проецирования виртуальных кнопок на руку пользователя устройства или включение другого носимого устройства (кольца) в микс.
Будущее взаимодействия человека с компьютером, несомненно, будет намного более разумным с точки зрения контекста — даже если «умные» устройства текущего поколения все еще могут наткнуться на основы и казаться более чем немного глупыми.