Обзор Leap Motion
Приветствую вас, пользователи Habrahabr! Многие из нас на протяжении 10 лет щелкали мышкой, после этого 5 лет нажимали на тачпад, а совсем недавно начали водить пальцем по экрану.
Скоро настанет время, когда мы будем махать руками перед экраном – бесконтактное управление. И первопроходец в этом тернистом пути – Leap Motion, американская разработка, продажи которой начались уже по всему миру (серые, конечно). Предлагаю вам взглянуть на обзор этого устройства и порассуждать на тему будущего.
Что такое Leap Motion?
Во-первых, это не просто маленькая коробочка с инженерными наработками, это целая технология, которую планируют внедрить во все компьютерные и мобильные сферы в будущем. Эта самая технология позволяет распознавать и захватывать движение рук или иных предметов, преобразуя это в действия на компьютере. Маленькое USB-устройство создает невидимое поле взаимодействия объёмом около 227 дециметров кубических. Leap отслеживает движение предметов с большой точностью и позволяет человеку взаимодействовать с ПК в бесконтактном режиме.
Эти замысловатые слова «скрываются» в небольшом устройстве, по размеру напоминающее 3G-модем. Его окантовка сделана из алюминия, сверху, где находятся датчики, установлено стекло, ну а в нижней части – резиновая прокладка с надписью Leap Motion.
Тактильно устройство очень приятно и дешево не смотрится. (А уж какие технологии предлагает!)
Подключение к компьютеру происходит с помощью USB-шнура, где один из концов – совмещенный microUSB + собственный разъем.
В комплекте с Leap Motion идут два USB-шнура – один длинный, второй короткий.
Для того, чтобы начать работу с устройством, необходимо скачать софт для Mac или PC на сайте airspace.leapmotion.com.
Сама программа AirSpace представляет из себя что-то подобное iTunes: со своим магазином и набором программ, которые можно запускать только из этой среды.
В магазине присутствуют как платные, так и бесплатные приложения и игры. Некоторые из них поддерживают только Windows или Mac.
В магазине на данный магазин не больше 100 уникальных приложений, но, что радует есть Fruit Ninja и Cut the Rope.
Присутствует и программа Touchless, которая позволяет управлять интерфейсом ПК (WIndows/Mac) с помощью рук. Без этой программы, как мне кажется, смысл покупки Leap вообще отпадает. Для того, чтобы понять как работает программа – посмотрите обзор (выше).
Трудно судить, как ведет себя устройство с софтом: с каждым по-разному. В каких-то программах трекинг рук проходит идеально, в некоторых – отвратительно. Мне очень понравилось стандартное приложение с 3D-моделью ДНК: ее действительно удобно и интересно крутить. В Cut the Rope тоже достаточно интересно играть.
Но все это лишь зародыш в целой, надеюсь, эпохе взаимодействия человека и ПК. Вот что по этому поводу думает Майкл Баквальд, ген.директор Leap Motion:
Мы хотим создать приложение, которое перевернёт мир, которое полностью изменит взаимодействие человека с операционной системой или серфингом в Интернете…Наша цель — коренным образом изменить взаимодействие компьютера и человека, то есть делать всё то, что раньше делалось мышью. Несомненно это отразится на каждом, начиная от простых повседневных задач и заканчивая любым технологическим процессом, который только можно представить.
Так что, несомненно, разработчики Leap смотрят далеко в будущее, желая внедрить собственное видение того, как нужно управлять компьютером. А ведь мышь сначала тоже мало кому нравилась!
Более того, в конце текущего года компания ASUS собирается выпустить несколько моделей ноутбуков класса Hi-end со встроенной технологией Leap Motion. Так что будущее уже наступает на пятки!
Что ж, вполне интересно развивается мир технологией. За ним действительно любопытно наблюдать: я не буду загадывать станет ли Leap Motion технологией будущего. Если станет – буду только рад. А если нет – придумают что-то покруче. Время покажет.
Leap Motion
Контроллер захвата движений для PC/Mac
| Я люблю куры гриль и очень много их ем. Реально много. Я съедаю по целой курице каждый день. А работаю дома, со своего компьютера. Очевидно, что поедание кур снижает мою производительность. Но с Touchless для Mac [приложение Leap Motion] мне не нужно из-за этого беспокоиться. Я сохраняю полный контроль над Maс, отправляя в рот божественное куриное мясо своими жирными пальцами, и не переживаю, что испорчу мышку или клавиатуру. Хрум! (из отзывов пользователей) |
Один из самых громких технических стартапов минувшего года, вошедший в пятерку знаковых гаджетов года по версии журнала iТоги — это контроллер захвата движений Leap Motion. Прошлым летом пользователи, поддержавшие проект на Kickstarter, начали получать долгожданные контроллеры. Самое время смахнуть амбиции и трезво взглянуть на устройство.
И прежде всего, строго следуя поговорке о том, что лучше один раз увидеть, мы предлагаем оценить работу Leap Motion на видео:
Дизайн
В коробке вместе с гаджетом располагается буклетик и пара кабелей Micro-USB стандарта 3.0. Один длинный, для соединения с системным блоком (чуть менее 1,5 м) и один короткий, полуметровый, для ноутбука.
Внешность самого контроллера незамысловата. Через верхнюю глянцевую поверхность при работе виднеются два инфракрасных глазка. Прорезь на боковой панели светится зеленым, когда устройство включено.
Порт USB находится слева. Хотя комплект поставки содержит кабели третьей версии, контроллер прекрасно работает и со второй.
Нижняя поверхность Leap Motion прорезинена для улучшения сцепления со столом.
При габаритах 80×30×11 мм масса гаджета составляет около 50 г.
Использование
Подробная инструкция по установке Leap Motion в Windows имеется на сайте компании HP, активно встраивающей этот контроллер в свои устройства. Сама процедура довольно проста. В случае, если контроллер не заработает сразу, с большой вероятностью поможет его повторное подключение или перезагрузка компьютера. Установка в Mac OS X практически идентична, все необходимое скачивается с официального сайта. Контроллер работает с компьютером через утилиту Airspace. С ее помощью запускается софт, инсталлируемый через магазин приложений Airspace Store.
Начнем с самого простого — управления операционной системой. Скачиваем через браузер приложение Touchless (имеются версии для Mac OS и Windows) и запускаем его с помощью Leap Motion Airspace.
Touchless будет напоминать о себе иконкой в трее. Управление операционной системой активируется через контекстное меню.
Приложение позволяет применять базовый набор жестов, идентичный тому, к которому мы привыкли в устройствах с сенсорным экраном. Индикатором прикосновения к дисплею является зеленый цвет кружка.
В принципе, ничего особенного Touchless не предлагает. Левый клик — при кратковременном нажатии на виртуальную поверхность, правый — при продолжительном. Горизонтальный и вертикальный скроллинг. Изменение масштаба с помощью двух пальцев одной или обеих рук. На этом, пожалуй, все.
Бесплатную утилиту Touchless рекомендует для управления ОС компания HP. Помимо нее, в магазине доступно еще десятка полтора аналогичных приложений, вынесенных в отдельную категорию. И на момент написания статьи две трети из них являлись платными. Вообще, магазин Leap Motion выглядит слишком монетизированным для своего уровня развития.
В настройках гаджета можно выставить предпочтительную высоту, на которой сенсор будет считывать движения.
Кроме того, имеется три варианта для установки баланса между скоростью и точностью обработки жестов. Набор настроек, как видим, невелик, но хорошо, что производитель позволяет хоть что-то изменить.
Выводы
С момента рассылки первых образцов Leap Motion прошло уже более года. Несмотря на удобный форм-фактор и интересную концепцию, в долгосрочной перспективе новый контроллер пока что не оправдывает возложенных на него надежд и монетизируется гораздо быстрее, чем развивается. Бесплатные приложения предлагают, в основном, базовую функциональность и редко когда претендуют на большее, чем банальную демонстрацию возможностей контроллера. В магазине имеются надстройки для профессиональных инструментов, Photoshop и Autodesk Maya, но этого ничтожно мало. В нынешнем состоянии «гаджета в себе» Leap Motion с большой вероятностью приглянется лишь любопытным энтузиастам, рассчитывающим, в первую очередь, поиграться с гаджетом. А мы будем надеяться, что разработчики не прожигают доходы с Kickstarter на маленьком тропическом острове, а партнерство с крупными компаниями вроде HP окажется выгодным для всех заинтересованных сторон.
Принцип работы устройства Leap Motion. Краткий обзор.
Устройство Leap Motion появилось на рынке не так давно, но уже успело завоевать свою аудиторию пользователей, которая продолжает расширяться. Область применения данной технологии достаточно широкая и может ограничиваться лишь фантазией разработчика. Наиболее часто устройство применяют в игровой индустрии и сфере рекламы.
Устройство LeapMotion для управления рекламной голографической витриной
Минимальные системные требования:
Windows® 7 or Windows® 8
AMD Phenom™ II or Intel® Core™ i3
Leap Motion работает исключительно на платформах Windows, MAC OS, Linux и судя по информации официального форума, разработчики данного устройства пока не планируют поддерживать мобильные платформы. Думаю это связано с тем, что мобильные устройства пока не достаточно мощные для работы с технологией Leap Motion.
Область видимости устройства составляет 120 градусов в глубину (по оси Z) и 150 градусов в ширину (по оси X).
Высота видимости(по оси Y), максимально 25 см и ее можно изменять в настройках программного обеспечения, которое идет в комплекте.
(фото:leapmotion.com) Рабочая область Leap Motion
Рассматриваемое устройство Leap Motion технически не представляет из себя чего-то сверхсложного. Внутри находятся две инфракрасные камеры и три мощных инфракрасных светодиода.
Leap Motion inside
Принцип работы устройства прост- инфракрасные(ИК) диоды подсвечивают руки, а инфракрасные камеры делают их захват передавая изображения программному обработчику Leap Motion. На программном уровне в бой вступают математические алгоритмы, которые выделяют контуры рук, и отслеживают координаты пальцев. Начиная с версии SDK 2.0., Leap Motion научился выделять составные части руки, проще говоря алгоритм определяет кости рук и запястье, отслеживает их перемещение в пространстве. Таким образом открываются новые горизонты для расширения базы распознаваемых жестов.
Принцип работы Leap Motion
Многие на форумах и при личной беседе задают вопрос, можно ли использовать Leap Motion или Kinect в качестве тепловизора? Большинство уверены, что ИК камера необходима для теплового выделения человека и это огромное заблуждение. Дело в том, что ИК камера и тепловизор-это абсолютно разные устройства. Оба этих устройства построены на принципе восприятия невидимого инфракрасного излучения, но вот спектр воспринимаемого излучения у них разный. Для производства матрицы тепловизоров используются другие материалы, которые более чувствительны и позволяют воспринимать ИК волны излучаемые даже при минимальных температурах. Именно по этой причине тепловизоры достаточно дорогие.
Если вы хотите использовать это устройство в качестве тепловизора, тогда справедливо задать вопрос, какой диапазон температур вы хотите отслеживать?
Опираясь на физический закон Вина, мы можем рассчитать максимумы излучательной способности тел. Поскольку данная статья относится к другой теме, то расчеты приводить не буду, просто приведу несколько рассчитанных значений длин волн:
— Человеческое тело: 9300 нм
Температуру человеческого тела инфракрасная камера Leap Motion и Microsoft Kinect не определит, однако пламя от зажигалки или нить лампы накаливания увидеть можно.
Проведем опыт. Возьмем сенсор Microsoft Kinect и плотно закроем инфракрасный излучатель металлической заглушкой. Далее запускаем программу, которая просто будет отображать на экран изображение с инфракрасной камеры. Экран черный, поскольку в комнате нет инфракрасного излучения. Однако стоит зажечь огонь зажигалки, как на экране появляется картинка инфракрасного излучения от огня.
Закроем инфракрасный излучатель металлической заглушкой
На экране ничего не отображается
Инфракрасное излучение от зажигалки отображается на экране
Аналогично, если направить инфракрасную камеру на настольную лампу. Видно как светится лампа, однако свет от лампы не отражается на руке и предметах вокруг.
На экране инфракрасное излучение от энергосберегающей лампы
Свет от энергосберегающей лампы четко попадает на руку, но на экране отражения от руки нет
Спектр оптического излучения
Матрица любой цифровой камеры чувствительна к ИК излучению. Для того чтобы сузить спектр ИК восприятия, применяют специальные ИК фильтры, которые есть в любой цифровой камере.
В доказательство моих слов, возьмите пульт от телевизора, направьте на него веб-камеру или камеру на своем мобильном телефоне, нажмите на кнопку пульта и в этот момент на экране своего устройства увидите свечение инфракрасного диода, хотя на самом деле излучение диода находится за областью восприятия человеческим глазом. Поскольку в камере установлен фильтр ИК излучения- вы наблюдаете не такое яркое свечение диода. Но если удалить фильтр, то свет будет буквально ослеплять матрицу камеры.
Инфракрасная подсветка Leap Motion
Инфракрасные фильтры подразделяют на несколько типов:
cut-off filter — обрезает только инфракрасное излучение. Такие фильтры можно встретить в большинстве современной фототехники. Веб-камеры, фотоаппараты, камеры мобильных телефонов и прочее. Устанавливается фильтр между матрицей камеры и объективом. Визуально его можно отличить по цветному исполнению. Фильтр может быть голубого, розового и других цветов, а на свету может переливаться всеми цветами радуги. Эти характеристики зависят от того, какой спектр волн необходимо обрезать.
passing filter — пропускает только инфракрасное излучение, а остальные волны видимого спектра обрезает. Данный фильтр, обычно, черного цвета. Применяются такие фильтры при производстве тепловизоров, так же широко используют фотографы для техники съемки именуемой «инфракрасная фотография», а в быту данный тип фильтра известен нам, как солнцезащитные очки. Данный фильтр применяется в рассматриваемом нами устройстве Leap Motion. Черная, глянцевая поверхность данного устройства и есть IR passing filter.
Таким образом, инфракрасная камера совместно с passing filter в LeapMotion необходима для того чтобы воспринимать только узкий инфракрасный спектр.
Захват кадра с камер Leap Motion
Но несмотря на то, что применение инфракрасной подсветки и физической фильтрации позволяют наиболее качественно подготовить изображения для дальнейшей программной обработки, данное устройство невозможно использовать при прямых солнечных лучах или при дополнительном инфракрасном освещении. Если LeapMotion будет расположен возле окна, через которое прямые лучи солнца будут попадать на устройство, то устройство уведомит Вас о том, что не может распознать изображение.
Распознавание рук происходит достаточно быстро, но скорость зависит от мощности компьютера на котором собственно и происходит обработка данных, полученных с двух камер.
К недостаткам можно отнести невозможность распознавать жесты, которые требуют повернуть руку ребром к устройству.
Leap Motion не качественно распознает жест
В данном случае координаты руки будут сбиваться и дергаться на экране, что вызывает сложности при необходимости совершения каких-то точных действий. Уверен, использовать Leap Motion для управления роботом-сапером я бы не стал 😉
Так же Leap Motion не распознает жесты в которых две руки соединяются вместе.
(фото: anijoin.by) Жесты которые не распознает Leap Motion
Приятно удивило обновление библиотек Leap Motion до второй версии. Заметно чувствуется, что алгоритмы распознавания стали более точными.
Надеюсь информация оказалась для Вас полезной.
Использование Leap Motion
Поставщик данных о движении LEAP обеспечивает управляемую функцию отслеживания для VR и может быть полезна для быстрого создания прототипов в редакторе. Поставщик данных может быть настроен на использование контроллера Motion LEAP, подключенного к гарнитуре или находящийся на рабочем столе.
Этот поставщик можно использовать в редакторе и на устройстве на автономной платформе. Его также можно использовать в редакторе на платформе UWP, но не в сборке UWP.
| Версия МРТК | Поддерживаемые версии модулей Unity для LEAP |
|---|---|
| 2.6. x | 4.5.0, 4.5.1 |
| 2.7. x | 4.5.0, 4.5.1, 4.6.0, 4.7.0, 4.7.1, 4.8.0, 4.9.1 |
Для Унитимодулес 4.9.1 и более поздних версий требуется служба отслеживания Gemini V 5.2 или более поздней версии. См. заметки о выпуске для 4.9.1.
Отслеживание движения с помощью LEAP (by Ултралеап) в МРТК
Импорт модулей Unity МРТК и LEAP Motion
Интеграция модулей Unity в LEAP с МРТК
Добавление поставщика данных о движении LEAP
Ориентация каждого контроллера содержит свойства смещения:
Ориентация на Рабочий стол содержит свойство, определяющее положение точки привязки для стрелок на столе. Смещение вычисляется относительно главной позиции камеры, а значение по умолчанию — (0,-0,2, 0,35), чтобы обеспечить отображение стрелок спереди и в представлении камеры.
Свойства смещения в профиле применяются один раз при запуске приложения. Чтобы изменить значения во время выполнения, получите поставщик услуг LEAP Motion на основе диспетчер устройств Motion:
EnterPinchDistance и ExitPinchDistance — это пороговые значения расстояния для обнаружения жестов сжатия и воздушного касания. Жест сжатия вычисляется путем измерения расстояния между кончиком указателя и кончиком пальца. Чтобы вызвать событие при входе в систему, значение по умолчанию равно EnterPinchDistance 0,02. Чтобы вызвать событие при входе в систему (выход из сжатия), расстояние по умолчанию между кончиком указателя по индексу и подсказкой Thumb будет 0,05.
Тестирование поставщика данных движения LEAP
Получение соединений с рукой
Получение соединений с помощью поставщика данных о движении LEAP аналогично получению соединения типа «рука» с МРТКм. Дополнительные сведения см. в разделе Отслеживание вручную.
С помощью МРТК в сцене Unity и поставщика данных о движении LEAP, добавленного в качестве поставщика входных данных в входном системном профиле, создайте пустой объект Game и присоедините следующий пример скрипта.
Этот сценарий является простым примером того, как извлекать набор Объединенных соединений Palm при движении в LEAP. Сфера соответствует левому углу, в то время как куб соответствует правой стороне.
Совет по рабочему процессу редактора Unity
Для использования поставщика данных о движении LEAP не требуется гарнитура VR. Изменения в приложении МРТК можно тестировать в редакторе с помощью LEAP без гарнитуры.
Удаление LEAP из Project
В Unity 2018,4 можно заметить, что ошибки по-прежнему остаются в консоли после удаления библиотеки и ресурсов ядра движения LEAP. Если ошибки регистрируются после повторного открытия, перезапустите Unity еще раз.
Общие ошибки
LEAP не интегрирован с МРТК
Чтобы проверить, интегрированы ли модули Unity Motion с МРТК, выполните следующие действия.
Сбой при копировании многопользовательского ХЛАПИ сборки
При импорте ресурсов ядра Unity для работы с LEAP эта ошибка может быть записана в журнал:
Решение
Сцена примера движения LEAP
В примере сцены используется профиль Дефаултлеапмотионконфигуратион и определяется, правильно ли настроен проект Unity для использования поставщика данных движения LEAP.
пример сцены содержится в Microsoft. микседреалити. набор средств. Пример пакета в Мртк/examples/демонстрация/хандтраккинг/ каталог.
