С помощью ушного устройства C-Face пользователи могут выражать эмоции онлайн-коллегам, не держа камеры перед их лицами – особенно полезный инструмент общения, поскольку большая часть мира участвует в удаленной работе или обучении.
С помощью C-Face аватары в средах виртуальной реальности могут выражать то, что на самом деле чувствуют их пользователи, а инструкторы могут получать ценную информацию о взаимодействии студентов во время онлайн-уроков.
Его также можно использовать для управления компьютерной системой, такой как музыкальный проигрыватель, с использованием только лицевых сигналов.
«Это устройство проще, менее навязчиво и более способно, чем любые существующие носимые технологии для отслеживания мимики», – сказал Ченг Чжан, доцент кафедры информатики и старший автор книги «C-Face: непрерывное восстановление выражений лица с помощью глубокого обучения». Контуры лица с помощью миниатюрных наушников."
Документ будет представлен на симпозиуме Ассоциации вычислительной техники по программному обеспечению и технологиям пользовательского интерфейса, который состоится практически в октябре.
20-23.
«В предыдущих носимых технологиях, нацеленных на распознавание мимики, большинство решений требовалось для прикрепления датчиков к лицу, – сказал Чжан, директор научной лаборатории Корнелла, – и даже с таким большим количеством инструментов они могли распознавать только ограниченный набор дискретных выражений лица."
Поскольку он работает, обнаруживая движение мышц, C-Face может улавливать выражения лиц, даже когда пользователи носят маски, сказал Чжан.
Устройство состоит из двух миниатюрных RGB-камер – цифровых камер, которые фиксируют красный, зеленый и световые полосы, – расположенных под каждым ухом вместе с наушниками. Камеры фиксируют изменения контуров лица, вызванные движением лицевых мышц.
После захвата изображений они реконструируются с использованием компьютерного зрения и модели глубокого обучения.
Поскольку необработанные данные представлены в 2D, сверточная нейронная сеть – своего рода модель искусственного интеллекта, которая хорошо классифицирует, обнаруживает и извлекает изображения – помогает преобразовывать контуры в выражения.
Модель преобразует изображения щек в 42 черты лица или ориентиры, представляющие форму и положение рта, глаз и бровей, поскольку эти черты больше всего подвержены изменениям в выражении лица.
Эти реконструированные выражения лица, представленные 42 характерными точками, также могут быть переведены в восемь смайликов, включая «естественный», «сердитый» и «целующийся», а также в восемь беззвучных речевых команд, предназначенных для управления музыкальным устройством, например «играть» , "" следующая песня "и" громче."
Возможность управлять устройствами с помощью мимики может быть полезна для работы в библиотеках или других общих рабочих пространствах, например, где люди могут не захотеть беспокоить других, говоря вслух. По словам Франсуа Гимбретьера, профессора информатики и соавтора статьи о C-Face, перевод выражений в смайлики может помочь участникам совместной работы в виртуальной реальности общаться.
По словам Чжана, одним из ограничений C-Face является ограниченная емкость аккумулятора наушников. В качестве следующего шага команда планирует разработать сенсорную технологию, которая потребляет меньше энергии.
Исследование было поддержано Департаментом информатики Корнельского университета.
Видео: https: // www.YouTube.com / watch?v = XnJfVanC1RU & feature = emb_logo