Псевдоголографический дисплей

Разработка и внедрение системы
Начало
2.1 Обзор системы
Три основных компонента представленного интерактивного псевдоголографического дисплея (рис. 1) подключены к главному компьютеру и управляются с помощью собственной программы, основанной на платформе Unity. Чтобы облегчить работу системы, в комплект также входит устройство дистанционного управления в виде планшета, на котором работает специально разработанное приложение. На рисунке 1а показана блок-схема основных компонентов и операций системы, а на рисунке 1b показана 3D-модель.

2.1.1 Псевдоголографический дисплей
Псевдоголографический дисплей, используемый в представленной системе, основан на проекционной схеме Pepper’s Ghost. [31] Используемая здесь система является увеличенной версией псевдоголографического дисплея, представленного в нашей предыдущей работе. [1, 32] 2D-виды окончательного виртуального 3D-объекта проецируются на прозрачные экраны, расположенные под углом 45 ° от источника проекции. Такое расположение создает иллюзию «парящего» объекта в воздухе. [1] В представленной системе экраны расположены в виде пирамидальной структуры с квадратным основанием, что позволяет создавать 2D-изображения из ортогональных видов виртуального 3D-объекта. Одна из наклонных сторон пирамидальной конструкции видоизменена для создания отверстий в двух нижних углах. Поскольку проецируемый объект кажется плавающим внутри пирамидальной структуры, пользователь может дотянуться до отверстий и взаимодействовать с объемным изображением, как если бы это был реальный объект.

2.1.2 Распознавание жестов
Пользователь может взаимодействовать с виртуальным объектом, используя реалистичные жесты. Коммерческий датчик (Leap Motion) используется для отслеживания движений рук пользователя внутри пирамидальной структуры, а прилагаемое программное обеспечение способно распознавать различные жесты. [33, 34] Датчик использует пару ИК-камер и может обнаруживать движение. обеих рук в поле зрения около 150 ° на расстоянии до 600 мм от чувствительного устройства. При обнаружении жестов виртуальный объект соответствующим образом трансформируется и проецируется на псевдоголографический дисплей в реальном времени.

2.2 Аэрогаптическая система
2.2.1 Концепция
Чтобы обеспечить более реалистичное взаимодействие с виртуальными объектами, представленная система включает тактильную обратную связь (давление) в дополнение к визуальной обратной связи. Ранее сообщалось, что интерактивный опыт улучшается при наличии более чем одной модальности. [35-37] Предлагаемая система «аэрогаптической» обратной связи использует струи воздуха, направленные на руку пользователя, чтобы воспроизвести ощущение прикосновения при манипулировании виртуальным устройством. объект (рис. 2а). В этом случае небольшой шум из-за воздушного потока из форсунки также может дополнять давление и визуальную обратную связь.

2.2.2 Дизайн
Система аэрогаптической обратной связи, показанная на рисунке 2b, основана на механизме панорамирования-наклона, расположенном чуть ниже пирамидальной конструкции дисплея. К указанному механизму прикреплено единственное воздушное сопло, которое может направлять воздушные струи в сторону рук пользователя. Шарнирное соединение механизма в сочетании с точностью устройства слежения за руками позволяет указывать насадку на определенные места руки пользователя, то есть на палец или ладонь. Сжатый воздух подается через обычный воздушный компрессор. Устройство управления воздушным потоком используется для запуска подачи воздуха и изменения подаваемого давления воздуха, чтобы учесть различные выражения тактильной обратной связи. Двигатели позиционирования форсунок и устройство управления потоком связаны с главным компьютером и микроконтроллером Arduino.

2.2.3 Кинематика аэрогаптической системы
В основе разработанной аэрогаптической системы лежит алгоритм извлечения необходимой информации из обнаруженного положения руки для правильного позиционирования воздушного сопла. [38] Как показано на рисунке 2c, смещения от стереоскопической камеры до конечного эффектора системы слежения следующие: смещение по X = 70 мм (смещение от исходной точки скачкообразного движения до центра сервопривода 1 по оси X); Смещение по Y = 125 мм (смещение от исходной точки Leap Motion до центра сервопривода 2 по оси Y); Смещение Z = -30 мм (смещение от исходной точки скачкообразного движения до центра сервопривода 2 по оси Z); b = 25 мм (расстояние от центра сервопривода 1 до центра сервопривода 2 по оси Z); c = 70 мм (расстояние от конечной точки b до центра сервопривода 1). Эти переменные можно изучить на рисунке 2c.

В этом контексте определены три другие переменные: x, y и z — параметры положения камеры Leap Motion в миллиметрах.

Стандартные преобразования декартовых координат в сферические:
= 2 + 2 + 2⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯√
(1)
= арктангенс ()
(2)
= arccos ()
(3)
В этом контексте переменная r представляет радиус или евклидово расстояние от начала координат до обнаруженной точки, φ — азимутальный угол от начала координат до обнаруженной точки, а θ определяет полярный угол между опорным зенитом и линией, соединяющей обнаруженная точка в исходную точку системы координат. Однако угол φ может стать неоднозначным при отслеживании в реальном времени и обеспечивать ненадежные значения из-за определение функции арктангенса. По этой причине алгоритм был изменен, чтобы обеспечить единственное правильное значение с использованием функции арктангенса с двумя аргументами, таким образом сохраняя опорный кадр фиксированным.

Алгоритм отслеживания был определен следующим образом

= градусы (( × − off × ) × sin (радианы) + ( × − off × ) × cos (радианы))
(4)
ATQ = off + ( × cos (радианы) + ( × sin (радианы))
(5)
= градусы (tan2 ( − off, − ATQ))
(6)
Чтобы избежать передачи экстремальных значений в систему слежения за панорамированием и наклоном, что привело бы к ненужной нагрузке на сервоприводы, сферические углы были проверены и нормализованы с использованием следующей функции
normalize (значение) = 90 + значение, −90≤value≤900, значение <−90180, значение> 90
(7)
2.2.4 Программная реализация
Голографический дисплей и стереопространственная камера управляются через Unity Game Engine. Алгоритм C #, отвечающий за взаимодействие голограммы с пользователем, просто преобразует координаты обнаруженной руки и присваивает дискретное значение аэрогаптическому давлению. Затем все эти данные упаковываются в строку и отправляются через последовательное соединение (USB) на плату Arduino.

Прошивка Arduino отвечает за управление аэрогаптическим взаимодействием с пользователем и управление системой отслеживания рук. На стороне прошивки данные, передаваемые движком Unity Game Engine, анализируются и преобразуются численно, а затем используются для управления системой отслеживания рук (сервоприводы панорамирования и наклона) и давлением воздуха, создаваемым соплом. Однако микропрограммное обеспечение также способно различать несколько режимов работы, продиктованных характером взаимодействия между голограммой и пользователем (см. Вспомогательную информацию). Доступны следующие режимы: обнаружение / выбор ручного ориентира, постоянное давление на выходе и динамическая аэрогаптическая топология. В режиме вывода постоянного давления в системе пользователю будет предоставлена ​​постоянная аэрогаптическая обратная связь, независимо от пространственного положения его руки. Это достигается с помощью пропорционального контроллера, основанного на координатах руки. По сути, выходное давление на сопле увеличивается линейно с расстоянием между датчиком прыжкового движения и рукой пользователя. В режиме определения ориентира руки алгоритм может выбрать, какая часть руки пользователя будет нацелена системой слежения. Есть шесть ориентиров: по одному на каждом пальце и по одной на ладони. Выбирая область, на которую направляется воздушный поток, аэрогаптическая система потенциально может искусственно увеличить разрешение обратной связи, обеспечивая не только более реалистичное, но и более точное взаимодействие. Наконец, в режиме динамической аэрогаптической топологии характер взаимодействия между пользователем и системой голограмм претерпевает сдвиг парадигмы. В этом режиме давление модулируется в основном на основе топологии трехмерного объекта и кинематического взаимодействия с рукой пользователя. Это позволяет пользователю почувствовать, как голографический объект реагирует на реальные стимулы. Например, если пользователь попытается отскочить от голографического баскетбольного мяча, он будет встречен с аэрогаптической обратной связью, пропорциональной величине силы, которую они «воспринимают» при отскоке мяча, и зависит от общего перемещения голографического мяча. По этой причине пользователь сможет почувствовать топологию мяча (точное позиционирование в голографическом пространстве), природу взаимодействия (жесткий отскок, мягкий отскок) и почувствовать, как мяч отскакивает обратно благодаря аэроэптической обратной связи.

В этом последнем случае блок контроллера Arduino будет получать как пространственные координаты руки, так и абсолютное значение скорости, видимой пальцами, как результирующую скорость по осям X, Y и Z. Это позволяет системе вычислить, взаимодействует ли пользователь с объектом (если рука и трехмерное тело пересекаются), и вычислить, как следует модулировать давление на основе скорости пальца. Значение скорости пальца напрямую отображается на блок модуляции давления, и создается взаимодействие. По сути, реакция между отскоком мяча и создаваемым давлением воздуха прямо пропорциональна скорости движения пальца.

3. Результаты
В этом разделе представлены экспериментальные исследования, демонстрирующие работу разработанной аэрогаптической системы в составе интерактивного псевдоголографического дисплея. В частности, обсуждаемые впоследствии эксперименты демонстрируют две возможности системы: точное управление местоположением при доставке тактильной обратной связи и регулируемую интенсивность тактильной обратной связи.

3.1 Управление местоположением доставки тактильной обратной связи
Шарнирный механизм, удерживающий воздушное сопло, может перемещаться по двум осям свободы, позволяя сопло со значительной точностью направлять в разные места. Одновременно коммерческое устройство отслеживания рук, включенное в систему, может обнаруживать различные места на руках пользователя, то есть пальцы, фаланги, ладони и запястья (рис. 3e). В сочетании система слежения и шарнирное сопло позволяют точно контролировать место, где обратная связь доставляется. Чтобы продемонстрировать это, система аэрогаптики запрограммирована на последовательное нацеливание на отдельные кончики пальцев на руке пользователя. Полоски бумаги прикреплены к кончикам пальцев пользователя, чтобы обеспечить визуальную обратную связь при доставке воздушной струи. На рис. 3a – d показана тактильная обратная связь, передаваемая на средний и указательный пальцы в разных случаях. Из изображений видно, что воздушная обратная связь сосредоточена на целевом пальце, поскольку бумажные полоски, прикрепленные к соседним пальцам, не нарушаются.

изображение
Рисунок 3
Открыть в программе просмотра рисунков
Силовая установка
a – b) Демонстрация контроля местоположения для доставки тактильной обратной связи путем независимой стимуляции кончика среднего пальца (a, b) и кончика указательного пальца (c, d). e) Данные отслеживания руки, полученные от датчика Leap Motion, позволяют обнаруживать ориентиры на руке пользователя. f, g) Демонстрация контролируемой интенсивности тактильной обратной связи на основе более быстрого (f) и тонкого (g) движения руки пользователя. h) Сила, прикладываемая к ладони пользователя через систему тактильной обратной связи, показывающая изменение силы обратной связи, соответствующее различным движениям руки пользователя. Более быстрое и выраженное движение вызывает более сильную обратную связь (зеленые импульсы), тогда как более тонкое движение приводит к более слабой обратной связи (желтые импульсы).
3.2 Тактильная обратная связь за счет переменного давления воздуха
Чтобы обеспечить тактильную обратную связь различной интенсивности, разработанная система включает в себя механизм управления воздушным потоком для регулирования количества воздуха, направляемого на руку пользователя. Это может быть полезно во множестве сценариев; например, интенсивность тактильной обратной связи может поддерживаться постоянной, пока рука пользователя приближается или отдаляется от насадки. В описанном здесь эксперименте мы исследуем другой сценарий, в котором интенсивность доставляемой тактильной обратной связи регулируется в зависимости от скорости, с которой движется рука пользователя. Когда пользователь пытается отразить виртуальный баскетбольный мяч, большие и быстрые движения (рис. 3f) вызывают более сильную тактильную обратную связь, что соответствует более сильному удару по мячу. Более легкое движение (рис. 3g) приводит к более слабому воздушному взрыву, имитирующему более мягкое прикосновение к мячу. Для этого на ладонь пользователя помещали датчик силы (Flintec AP8) и регистрировали интенсивность доставленной тактильной обратной связи. Полученный график (рис. 3h) показывает изменение силы, прикладываемой к руке пользователя, в результате изменения потока воздуха после трех сильных отскоков, за которыми следуют три более мягких. Эти результаты демонстрируют, как разработанная система может обеспечивать тактильную обратную связь различной интенсивности с использованием описанной простой схемы.

4 Оценка системы и сравнение с другими реализациями тактильной обратной связи в виртуальных средах
Простейшей интеграцией тактильной обратной связи в виртуальную среду является использование тактильных устройств, таких как вибрационные двигатели, в портативных устройствах ввода, таких как контроллеры и джойстики. [39-41] Этот подход действительно обеспечивает средства для более точного ввода пользователем по сравнению с для отслеживания движения рук, поскольку в этих устройствах используются простые кнопки и встроенная электроника (акселерометры, гироскопы) для обнаружения движения руки. Однако, поскольку пользователю необходимо держаться за эти внешние устройства, взаимодействие с виртуальными объектами происходит «на расстоянии», а распознаваемые жесты рук ограничены форм-фактором и свободой передвижения портативного контроллера.

Носимые тактильные устройства могут обеспечить впечатление, которое приближается к реальной жизни. [13-15, 42, 43] В этом случае пользователь может выполнять жесты, похожие на настоящие, поскольку перчатка по большей части не ограничивает движения руки пользователя. . Этот форм-фактор также позволяет точно определять жесты, размещая датчики на пальцах и запястье. Тактильные устройства могут быть размещены аналогичным образом для обеспечения локальной тактильной обратной связи. Хотя такие умные перчатки могут обеспечивать различные режимы тактильной обратной связи, они часто приводят к созданию громоздких устройств, которые также необходимо привязать к более крупным блокам управления. Эти устройства также обычно связаны с высокой стоимостью и сложной кривой обучения. В результате потенциальные применения этих систем ограничены, в основном ориентированы на личное использование и не подходят для более широкого общественного использования.

Тактильная обратная связь, передаваемая с помощью ультразвуковых волн, устраняет необходимость в дополнительном оборудовании, которое должен держать или носить пользователь. [19, 34] Эти устройства используют массив ультразвуковых динамиков для создания тактильной обратной связи в воздухе для руки пользователя, когда она движется по ним. Управляя отдельными динамиками в массиве, можно воссоздать сложные тактильные паттерны, в то время как отсутствие громоздких периферийных устройств расширяет спектр приложений. Однако сложность как аппаратного, так и программного обеспечения значительно увеличивает стоимость таких устройств.

Представленная здесь система аэрогаптической обратной связи обладает некоторыми достоинствами ультразвуковых тактильных устройств, поскольку она также обеспечивает тактильную обратную связь в воздухе без необходимости использования карманных компьютеров или носимых устройств. Однако использование сжатого воздуха в качестве Средство доставки обратной связи снижает стоимость системы, поскольку необходимые компоненты широко доступны и менее дороги. Кроме того, включение движущегося сопла вместо статического массива сводит к минимуму сложность аппаратного обеспечения, а также связанного с ним управляющего программного обеспечения. Достигнутое пространственное разрешение сравнимо с ультразвуковыми тактильными системами на расстоянии около 3 см [19]. Представленная система может генерировать ощущения прикосновения большей интенсивности (6 Н, <1 мН для ультразвука [19, 44]) из-за имеющегося давления воздуха, что позволяет воспроизводить дополнительные сценарии тактильной обратной связи. Помимо ощущения прикосновения, воздух можно использовать для доставки других типов тактильной обратной связи, например ощущения тепла / холода, путем регулирования температуры подаваемого воздуха. Обонятельная обратная связь также может быть доставлена ​​через эту систему путем введения различных запахов в воздушный поток. При этом представленная версия аэрогаптической системы не обеспечивает точности обратной связи более дорогих систем (тактильные ощущения на основе ультразвука, умные перчатки). Такие системы допускают одновременную многоточечную тактильную обратную связь, в то время как реализации умных перчаток могут применять обратную связь с других направлений, то есть с тыльной стороны руки. Для представленной аэрогаптической системы требуется дальнейшая оптимизация как аппаратного, так и программного обеспечения для улучшения взаимодействия с пользователем. Например, увеличенное сочленение существующей насадки и добавление насадки на верхней стороне пирамидального дисплея могло бы обеспечить тактильную обратную связь в нескольких точках и по обе стороны от руки пользователя.

5. Вывод
Мы представляем систему тактильной обратной связи на основе воздуха, которая обеспечивает тактильную обратную связь в воздухе без использования носимых или портативных устройств. Система основана на шарнирном сопле, которое направляет потоки воздуха в определенные места на руке пользователя, а также регулирует интенсивность воздушной струи. Разработанная аэрогаптическая система может обеспечивать тактильную обратную связь в виртуальных средах для улучшения взаимодействия с пользователем. Таким образом, он интегрирован в интерактивную псевдоголографическую систему отображения. Способность системы контролировать местоположение и интенсивность доставляемой тактильной обратной связи была продемонстрирована экспериментально. По сравнению с другими подходами к обеспечению тактильной обратной связи в виртуальных средах, представленная аэрогаптическая система представляет собой экономичное решение с относительно невысокой сложностью. Благодаря дальнейшему развитию система обладает способностью обеспечивать другие режимы тактильной обратной связи, такие как изменение температуры, а также представляет большой потенциал, чтобы стать платформой мультимодального взаимодействия для других сенсорных взаимодействий, таких как обонятельная обратная связь.

Благодарности
Эта работа была поддержана Исследовательским советом по инженерным и физическим наукам через Инженерное товарищество для роста (EP / M002527 / 1 и EP / R029644 / 1). Этического одобрения для пользовательского исследования не требовалось, так как эксперимент не связан с какими-либо личными данными и не связан с риском для пользователя. 5 участников были проинформированы об исследовании, прежде чем дать согласие на участие.

Конфликт интересов
Авторы объявили, что нет никаких конфликтов интересов.

Заявление о доступности данных
Данные исследований не разглашаются.