Расти со слепотой или слабым зрением может быть трудным для детей не только потому, что они не могут читать те же книги или играть в те же игры, что и их зрячие сверстники; Видение также является важной частью социального взаимодействия и общения. Эта Microsoft Исследовательский проект использует дополненную реальность, чтобы помочь детям с нарушениями зрения «увидеть» людей, с которыми они разговаривают.
Проблема, с которой сталкиваются люди с нарушениями зрения, заключается в том, что они не могут видеть других людей вокруг себя. Это может помешать им обнаруживать и использовать многие невербальные сигналы, которые зрячие люди используют в разговоре, особенно если такое поведение не выучено в раннем возрасте.
Проект Токио Это новая попытка Microsoft, в которой ее исследователи изучают, как такие технологии, как AI и AR, могут быть полезны для все люди, в том числе инвалиды. Это не всегда так, хотя нужно сказать, что голосовые виртуальные помощники – это благо для многих, кто не может так легко использовать сенсорный экран или мышь и клавиатуру.
Команда, которая несколько лет назад начинала как неофициальная задача по улучшению доступности, начинала с наблюдения за людьми, едущими на Специальную Олимпиаду, а затем проводила семинары с участием сообщества слепых и слабовидящих. Их первичная реализация была в тонком контексте, который дает зрение почти во всех ситуациях.
«У нас, как у людей, есть очень, очень нюансированное и детальное чувство социального понимания того, как взаимодействовать с людьми – понимание того, кто находится в комнате, что они делают, как они относятся ко мне, как я могу понять, актуальны ли они для меня или нет », – сказал исследователь Microsoft Эд Катрелл. «А для слепых многие сигналы, которые мы принимаем как должное, просто уходят».
У детей это может быть особенно выражено, поскольку, возможно, никогда не выучив соответствующие сигналы и поведения, они могут сами проявлять антисоциальные тенденции, например, когда они кладут голову на стол во время разговора или не смотрят на человека, когда разговаривают с ним.
Чтобы быть ясным, эти поведения сами по себе не являются «проблемными», поскольку они просто человек, который делает то, что лучше для них работает, но они могут препятствовать повседневным отношениям со зрячими людьми, и стоит задуматься над тем, как эти отношения могут быть сделано проще и естественнее для всех.
Экспериментальное решение, которое преследует Project Tokyo, включает в себя модифицированный HoloLens – минус объектив, конечно. Устройство также является очень сложным устройством визуализации, которое может идентифицировать объекты и людей, если им предоставляется правильный код.
Пользователь носит устройство как высокотехнологичное оголовье, а пользовательский программный стек предоставляет им набор контекстных подсказок:
- При обнаружении человека, скажем, в четырех футах справа, гарнитура издает щелчок, который звучит так, как будто он исходит из этого места.
- Если лицо человека известно, раздается второй «удар», и имя человека объявляется (опять же, слышно только для пользователя).
- Если лицо неизвестно или плохо видно, воспроизводится «растягивающий» звук, который модулируется, когда пользователь направляет свою голову к другому человеку, заканчиваясь щелчком, когда лицо центрируется на камере (что также означает пользователь сталкивается с ними напрямую).
- Для тех, кто находится рядом, светодиодная лента показывает белый свет в направлении обнаруженного человека и зеленый свет, если они были идентифицированы.
Другие инструменты оцениваются, но этот набор является началом, и, основываясь на тематическом исследовании с игрой 12-летнего по имени Тео, они могут быть чрезвычайно полезны.
Пост Microsoft, описывающий систему и работу команды с Тео и другими стоит прочитать подробности, но по сути Тео начал изучать все входы и выходы системы и, в свою очередь, начал управлять социальными ситуациями, используя подсказки, в основном используемые зрячими людьми. Например, он узнал, что он может сознательно направить свое внимание на кого-то, повернув голову к ним, и разработал свой собственный метод сканирования комнаты, чтобы следить за теми, кто находится рядом – ни один из этих вариантов невозможен, когда голова находится на столе.
Такое расширение прав и возможностей является хорошим началом, но это определенно работа в процессе. Громоздкое, дорогое оборудование – это не то, что вы хотели бы носить весь день, и, естественно, у разных пользователей будут разные потребности. Как насчет выражений и жестов? А как насчет знаков и меню? В конечном итоге будущее Project Tokyo, как и прежде, будет определяться потребностями сообществ, с которыми редко консультируются, когда речь идет о построении систем искусственного интеллекта и других современных удобств.