Из многих расстройства из-за серьезного двигательного нарушения, трудности общения, безусловно, должны быть одними из самых тяжелых. Мир технологий не оказал особой помощи тем, кто страдает от таких вещей, как синдром запертости, БАС и тяжелые инсульты, но стартап Cognixion стремится к новой форме мониторинга мозга, которая в сочетании с современным интерфейсом может помочь в разговоре и взаимодействии. намного проще и быстрее.
Гарнитура One компании внимательно отслеживает мозговую активность таким образом, что пользователь может направлять курсор – отраженный на козырьке, например, на дисплее, – в нескольких направлениях или выбирать из различных меню и параметров. Никакого физического движения не требуется, а с помощью современных голосовых интерфейсов, таких как Alexa, пользователь может не только эффективно общаться, но и свободно получать доступ ко всем видам информации и контенту, которые большинство людей воспринимает как должное.
Но это не чудо-машина и не серебряная пуля. Вот как это началось.
Пересмотр устаревших технологий мозга
Каждый человек с двигательной недостаточностью имеет разные потребности и возможности, и существует множество вспомогательных технологий, которые удовлетворяют многие из этих потребностей. Но многим из этих технологий и интерфейсов исполнились годы или десятилетия – медицинское оборудование, которое не обновлялось для эпохи смартфонов и высокоскоростной мобильной связи.
К сожалению, одни из самых устаревших интерфейсов используются людьми с самыми серьезными ограничениями: теми, чьи движения ограничены головой, лицами, глазами – или даже одним веком, как Жан-Доминик Боби, знаменитый автор книги « Водолазный колокол и бабочка ».
Одним из инструментов в наборе инструментов является электроэнцефалограмма или ЭЭГ, которая включает в себя обнаружение активности в головном мозге с помощью участков на коже черепа, которые регистрируют электрические сигналы. Но несмотря на то, что они полезны в медицине и исследованиях во многих отношениях, ЭЭГ шумны и неточны – больше для определения того, какие области мозга активны, чем, скажем, какая суб-область сенсорной коры или тому подобное. И, конечно же, вы должны носить шапочку для душа с электродами (часто жирными от токопроводящего геля) – это не то, чем кто-то захочет заниматься больше часа, не говоря уже о том, что весь день каждый день.
Тем не менее, даже у людей с самыми серьезными физическими недостатками когнитивные способности часто не нарушаются, что действительно помогло продемонстрировать исследования ЭЭГ. Это заставило Андреаса Форсланда, соучредителя и генерального директора Cognixion, заинтересоваться дальнейшими возможностями этой известной технологии: «Может ли интерфейс мозг-компьютер с использованием ЭЭГ быть жизнеспособной системой связи?»
Впервые он использовал ЭЭГ для вспомогательных целей в исследовательском исследовании около пяти лет назад. Они изучали альтернативные методы, позволяющие человеку управлять курсором на экране, в том числе акселерометр для определения движений головы, и пытались интегрировать показания ЭЭГ в качестве другого сигнала. Но до прорыва было далеко.
Современная лаборатория с колпачком ЭЭГ, подключенным к приемнику и ноутбуку – это пример того, как обычно используется ЭЭГ.
Он рассказал о трудностях: «С системой только для чтения то, как сегодня используется ЭЭГ, никуда не годится; другие гарнитуры имеют низкую частоту дискретизации и недостаточно точны для интерфейса в реальном времени. Лучшие BCI находятся в лаборатории, подключены к мокрым электродам – это беспорядок, это действительно не пусковой механизм. Так как же воспроизвести это с помощью сухих пассивных электродов? Здесь мы пытаемся решить некоторые очень сложные инженерные задачи ».
Ограничения, как обнаружили Форсланд и его коллеги, были связаны не столько с самой ЭЭГ, сколько с тем, как она проводилась. Этот тип мониторинга мозга предназначен для диагностики и изучения, а не для обратной связи в реальном времени. Это все равно что сесть на трактор на дрэг-рейсинг. Мало того, что ЭЭГ часто работают с медленной и тщательной проверкой нескольких областей мозга, которая может длиться несколько секунд, но и сигнал, который она производит, анализируется с помощью устаревших статистических методов. Итак, Cognixion начал с того, что поставил под сомнение обе практики.
Повысить скорость сканирования сложнее, чем разогнать датчики или что-то в этом роде. Об активности мозга необходимо судить путем сбора определенного количества данных. Но эти данные собираются пассивно, поэтому Форсланд попытался внести в них активный элемент: ритмическую электрическую стимуляцию, которая некоторым образом отражается областью мозга, но слегка изменяется в зависимости от ее состояния – почти как эхолокация.
Гарнитура Cognixion One с видимыми сухими терминалами ЭЭГ.
Они обнаруживают эти сигналы с помощью специального набора из шести каналов ЭЭГ в области зрительной коры (вверху и вокруг вашего затылка) и используют модель машинного обучения для интерпретации входящих данных. Запуск сверточной нейронной сети локально на iPhone – что было невозможно пару лет назад – система может не только извлекать сигнал в короткие сроки, но и делать точные прогнозы, обеспечивая более быстрое и плавное взаимодействие.
Результатом является задержка менее секунды с точностью 95–100% в беспроводной гарнитуре с питанием от мобильного телефона. «Скорость, точность и надежность достигают коммерческого уровня – мы можем соответствовать лучшим в своем классе современной парадигме ЭЭГ», – сказал Форсланд.
Доктор Уильям Голди, клинический невролог, который десятилетиями использовал и изучал ЭЭГ и другие методы мониторинга мозга (и который добровольно помогал Cognixion в разработке и тестировании гарнитуры), дал положительную оценку технологии.
«Есть абсолютно доказательства того, что активность мозговых волн предсказуемо реагирует на модели мышления», – отметил он. Этот тип стимуляции и реакции был изучен много лет назад. «Это было захватывающе, но тогда это было что-то вроде загадочного волшебного мира. Теперь он возрождается с помощью этих специальных техник и компьютеризации, которые есть у нас в наши дни. Для меня это область, которая открывается таким образом, что, как я думаю, клинически может быть чрезвычайно эффективным ».
BCI, встречайте UI
Первое, что сказал мне Форсленд, было: «Мы – компания, занимающаяся пользовательским интерфейсом». И действительно, даже такой шаг вперед в области нейроинтерфейсов, который он описал позже, мало что значит, если его нельзя применить к актуальной проблеме: помогать людям с серьезными двигательными нарушениями быстро и легко выражать свои мысли.
К сожалению, нетрудно представить себе улучшение «конкуренции», таких как трубки и переключатели, которые позволяют пользователям с трудом перемещать курсор вправо, немного вправо, вверх, еще немного вверх, а затем щелкнуть: письмо! Обнаружение взгляда, конечно, является большим улучшением по сравнению с этим, но это не всегда вариант (глаза не всегда работают так, как хотелось бы), и лучшие решения для отслеживания взгляда (например, планшет Tobii Dynavox) не переносимы.
Почему бы этим интерфейсам не быть такими же современными и гибкими, как любые другие? Команда приступила к созданию пользовательского интерфейса с учетом этого и возможностей своей ЭЭГ следующего поколения.
Кредиты изображений: Познание
Их решение берет частицу старой парадигмы и объединяет их с современными виртуальными помощниками и радиальным дизайном, который ставит во главу угла быстрое реагирование и общие потребности. Все это работает в приложении на iPhone, дисплей которого отражается на козырьке, действующем как HUD и обращенный наружу дисплей.
В пределах легкой досягаемости, не говоря уже о единственной мысли, но хотя бы на мгновение концентрации или наклоне головы, находятся повседневные вопросы и ответы – да, нет, спасибо и т. Д. Затем есть места для вставки подготовленной речи – имена , заказы меню и т. д. А еще есть клавиатура с предсказанием на уровне слов и предложений, которая позволяет вводить общие слова, не произнося их по буквам.
«Мы протестировали систему с людьми, которые полагаются на переключатели, которым может потребоваться 30 минут, чтобы сделать 2 выбора. Мы надели гарнитуру на человека с церебральным параличом, он набрал свое имя и через 2 минуты нажал кнопку воспроизведения », – сказал Форсланд. «Это было смешно, все плакали».
Голди отметила, что есть некоторая кривая обучения. «Когда я надевал его, я обнаружил, что он распознает закономерности и выполняет их, но он также как бы научил меня шаблонам. Вы тренируете систему, а она тренирует вас – это цикл обратной связи ».
«Я могу быть самым громким человеком в комнате»
Один человек, который нашел его чрезвычайно полезным, – это Крис Бенедикт, ди-джей, оратор и защитник инвалидности, который сам страдает дискинетическим церебральным параличом. Это ограничивает его движения и способность говорить, но не мешает ему вращать (цифровые) записи на различных мероприятиях или объяснять свой опыт использования гарнитуры Cognixion One по электронной почте. (И вы можете увидеть, как он демонстрирует это лично на видео выше.)
Кредиты изображений: Познание
«Хотя это не тот инструмент, который мне нужен постоянно, он определенно помогает мне в общении», – сказал он мне. «Особенно, когда мне нужно быстро ответить или нахожусь в шумном месте, что часто случается, когда вы ди-джей. Если я ношу его с динамиком Bluetooth, я могу быть самым громким человеком в комнате ». (У него всегда под рукой есть динамик, потому что «никогда не знаешь, когда может понадобиться музыка».)
Преимущества, предлагаемые гарнитурой, дают некоторое представление о том, чего не хватает существующим вспомогательным технологиям (и что многие люди считают само собой разумеющимся).
«Я могу использовать его для общения, но в то же время могу смотреть в глаза человеку, с которым разговариваю, благодаря козырьку. Мне не нужно смотреть на экран между мной и кем-то еще. Это действительно помогает мне общаться с людьми », – объяснил Бенедикт.
«Поскольку это гарнитура, мне не нужно беспокоиться о том, чтобы входить и выходить из места, мое кресло не требует дополнительной массы, из-за которой я должен беспокоиться о повреждении в дверном проеме. Гарнитура также сбалансирована, поэтому она не заставляет мою голову наклоняться назад или вперед и не утяжеляет мою шею », – продолжил он. «Когда я настроил его для использования в первый раз, он попросил меня откалибровать и измерить мой личный диапазон движений, поэтому клавиатура и варианты выбора поместились на экране специально для меня. Его также можно откалибровать в любое время, что важно, потому что не каждый день мой диапазон движений остается одинаковым ».
Alexa, которая была чрезвычайно полезна людям с различными ограниченными возможностями из-за ее низкой стоимости и широкого спектра совместимых устройств, также является частью интерфейса Cognixion, что Бенедикт ценит, поскольку сам адаптировал систему для умного дома и других целей. «С другими системами это не то, что вы можете сделать, или, если это вариант, это действительно сложно», – сказал он.
Следующие шаги
Как демонстрирует Бенедикт, есть люди, для которых такое устройство, как Cognixion, имеет большой смысл, и есть надежда, что оно будет воспринято как часть неизбежно разнообразной экосистемы вспомогательных технологий.
Форсланд сказал, что компания тесно сотрудничает с сообществом, от пользователей до клинических консультантов, таких как Голди, и других специалистов, таких как логопеды, чтобы сделать гарнитуру One настолько хорошей, насколько это возможно. Но проблема, как и в случае со многими другими устройствами этого класса, заключается в том, как на самом деле надеть их на головы людей – с финансовой и логистической точки зрения.
Cognixion подает заявку на разрешение FDA, чтобы покрыть страховку стоимость гарнитуры, которая с питанием от телефона не так высока, как была бы со встроенным экраном и процессором. Но тем временем компания работает с клиническими и корпоративными лабораториями, которые проводят неврологические и психологические исследования. Другими словами, в местах, где вы можете найти обычную громоздкую установку ЭЭГ.
Компания собрала финансирование и ищет других (разработка оборудования и медицина обходятся недешево), а также получила ряд грантов.
Гарнитуре One может еще не хватить нескольких лет до более широкого использования (FDA никогда не торопится), но это дает компании время для доработки устройства и включения новых достижений. В отличие от многих других вспомогательных устройств, например переключателя или джойстика, этот в значительной степени ограничен программным обеспечением, а это означает, что улучшенные алгоритмы и работа пользовательского интерфейса значительно улучшат его. В то время как многие ждут, когда такие компании, как Neuralink, создадут интерфейс мозг-компьютер для современной эпохи, Cognixion уже сделал это для группы людей, которые могут получить от этого гораздо больше.
Вы можете узнать больше о гарнитуре Cognixion One и подписаться на получение последних новостей на ее сайте здесь.