Новый метод использует камеры устройства для измерения пульса, частоты дыхания и может помочь телездравоохранению

Телездравоохранение стало для врачей важнейшим способом оказания медицинской помощи, сводя к минимуму личные контакты во время . Но с назначениями по телефону или врачам сложнее получить важные показатели жизнедеятельности пациента, такие как его пульс или частота дыхания, в режиме реального времени.


Команда Вашингтонского университета разработала метод, в котором на смартфоне или компьютере человека снимает его пульс и дыхательный сигнал с видеозаписи его лица в реальном времени. Исследователи представили эту новейшую систему в декабре на конференции Neural Information Processing Systems.

Теперь команда предлагает лучшую систему для измерения этих физиологических сигналов. Меньше того, что эта система будет отключена из-за различных камер, условий освещения или черт лица, таких как цвет кожи. Исследователи представят эти результаты 8 апреля на конференции ACM по вопросам здоровья, вмешательства и обучения.

«Машинное обучение довольно хорошо классифицирует изображения. Если вы дадите ему серию фотографий кошек, а затем скажете ему, чтобы он нашел кошек на других изображениях, он сможет это сделать. Но для того, чтобы машинное обучение было полезным при дистанционном зондировании здоровья, нам необходимо система, которая может идентифицировать интересующую область на видео, которая содержит самый сильный источник физиологической информации — например, пульс, — а затем измерять ее с течением времени », — сказал ведущий автор Синь Лю, докторант UW в Paul G. Школа компьютерных наук и инженерии Аллена.

«Все люди разные, — сказал Лю. «Таким образом, эта система должна иметь возможность быстро адаптироваться к уникальной физиологической характеристике каждого человека и отделять ее от других вариаций, таких как то, как они выглядят и в какой среде они находятся».

Система команды сохраняет конфиденциальность — она ​​работает на устройстве, а не в облаке — и использует машинное обучение, чтобы фиксировать тонкие изменения в том, как свет отражается от лица человека, что коррелирует с изменением кровотока. Затем он преобразует эти изменения как в пульс, так и в частоту дыхания.

Первая версия этой системы была обучена с использованием набора данных, который содержал как видеозаписи лиц людей, так и «правдивую» информацию: пульс и частоту дыхания каждого человека, измеренные стандартными полевыми приборами. Затем система использовала пространственную и временную информацию из видео для расчета обоих показателей жизнедеятельности. Он превзошел аналогичные системы машинного обучения на видеороликах, в которых испытуемые двигались и разговаривали.

Но хотя система хорошо работала с некоторыми наборами данных, она все еще боролась с другими, которые содержали разных людей, фоны и . По словам команды, это распространенная проблема, известная как «переоснащение».

Исследователи улучшили систему, создав индивидуальную модель машинного обучения для каждого человека. В частности, это помогает искать важные области в кадре видео, которые, вероятно, содержат физиологические особенности, связанные с изменением кровотока на лице в различных контекстах, таких как разные оттенки кожи, условия освещения и окружающая . Оттуда он может сфокусироваться на этой области и измерить пульс и частоту дыхания.

0 Комментарий
Inline Feedbacks
View all comments