Исследователи из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли в партнерстве с эдинбургской компанией Speech Graphics разработали новаторскую систему связи, которая позволяет женщине, парализованной вследствие инсульта, общаться через цифровой аватар – им она управляет с помощью интерфейса мозг-компьютер (BCI).
Исследователи кафедры неврологической хирургии имплантировали в языковой центр мозга пациентки 253-контактный массив электродов, который отслеживает и фиксирует сигналы, обычно приводящие в движение мышцы челюсти, губ и языка – а в этом случае передают их через кабельный порт в ее черепе на компьютер. (Вычислительный стек работает с помощью искусственного интеллекта, который в течение нескольких недель изучал шаблоны электрических сигналов пациентки из более 1000 слов).
Остальную работу (создание цифрового аватара) выполнила Speech Graphics – та самая компания, которая разработала технологию фотореалистической анимации лица с Halo Infinite и The Last of Us Part II. Инструмент получает необходимые движения лица на основе анализа входного аудио, а затем передает эти данные в режиме реального времени в игровой движок, чтобы анимировать их в аватар без задержек.
