Исследователи из Института взаимодействия человека и компьютера (HCII) Университета Карнеги-Меллона использовали стандартные умные часы, чтобы выяснить, когда пользователь печатал на клавиатуре, мыл посуду, гладил собаку, наливал воду из кувшина или резал ножницами.
Внеся несколько изменений в операционную систему часов, они смогли использовать акселерометр для распознавания движений рук и, в некоторых случаях, биоакустических звуков, связанных с 25 различными действиями рук, с точностью около 95%. И эти 25 действий – только начало того, что можно было бы обнаружить.
«Мы рассматриваем умные часы как уникальный плацдарм на теле, позволяющий фиксировать насыщенные повседневные дела», – сказал Крис Харрисон, доцент кафедры HCII и директор Future Interfaces Group. "Множество приложений можно было бы сделать умнее и более контекстно-зависимыми, если бы наши устройства знали активность наших тел и рук."
Харрисон и HCII Ph.D. студент Гирад Лапут представит свои выводы об этой новой сенсорной способности на конференции CHI 2019, Ассоциации вычислительной техники по человеческому фактору в вычислительных системах, 4-9 мая в Глазго, Шотландия.
По словам Лапута, так же, как смартфоны теперь могут блокировать текстовые сообщения, когда пользователь за рулем, будущие устройства, определяющие активность рук, могут научиться не прерывать кого-то, когда он выполняет определенную работу руками, например, измельчает овощи или работает с силовым оборудованием.
Измерение активности рук также поддается приложениям, связанным со здоровьем – отслеживанию таких действий, как чистка зубов, мытье рук или курение сигареты.
Считывание рук также может использоваться приложениями, которые обеспечивают обратную связь с пользователями, которые изучают новый навык, например игру на музыкальном инструменте или проходят физическую реабилитацию. Приложения могут предупреждать пользователей о привычках набора текста, которые могут привести к травме от повторяющихся деформаций (RSI), или оценивать начало двигательных нарушений, например связанных с болезнью Паркинсона.
Лапут и Харрисон начали свое исследование обнаружения активности рук с набора 50 человек, которые носили специально запрограммированные умные часы в течение почти 1000 часов, занимаясь своими повседневными делами.
Периодически часы записывали движение руки, ориентацию руки и биоакустическую информацию, а затем предлагали владельцу описать активность рук – бритье, хлопать в ладоши, царапать, наносить губную помаду и т. Д. Таким образом были помечены более 80 ручных действий, что дало уникальный набор данных.
На данный момент пользователи должны носить умные часы на своей активной руке, а не на пассивной (недоминантной) руке, где люди обычно носят наручные часы, чтобы система работала. В будущих экспериментах будет изучено, какие события можно обнаружить с помощью пассивной руки.
«25 действий рук, которые мы оценили, – это небольшая часть того, как мы задействуем наши руки и кисти в реальном мире», – сказал Лапут.
Дальнейшая работа, вероятно, будет сосредоточена на классах занятий – связанных с конкретными видами деятельности, такими как отказ от курения, уход за пожилыми людьми или набор текста и RSI.
Фонд Паккарда, Фонд Слоуна и Google Ph.D.
Товарищество поддержало это исследование.