微动Vidoo

微动

1、 概述

 

微动是一款基于三维交互和机器视觉技术的手势操控智能设备。 在向用户提供手势交互硬件设备的同时,微动也提供软件定制解决方案,用户可通过简单的手势指令向 PC 传递自己的操作意图。

微动 Vidoo(www.sharpnow.com)成立于2011年,是一家专注于手感操控的交互方案提供商。研究领域涵盖机器视觉、图像分析、深度学习、模式识别、人工智能等领域。开发了消费级可应用于移动端的手感操控设备,并在此基础上将产品线扩展至光学手柄、空间定位等方向。【1】

锋时互动坚持以人性化、智能化的创新科技为核心竞争力,以用户需求为导向,为大众提供基于手感操控的硬件、软件一体化的系统解决方案。并致力于将手感操控技术应用于虚拟现实、车载电子、全息投影、智能家居等前沿领域,目前已获得经纬中国、真格基金、如山资本、上汽创投等机构的投资。

 


 

2、 产品介绍

 

2014年峰时互动发布了第一款用于识别人体手势操作的设备--“微动”。这款产品能识别用户十指的运动轨迹;并将识别信息实时转化为指令信息。

微动是一款基于三维交互和机器视觉技术的手势操控智能设备。 在向用户提供手势交互硬件设备的同时,微动也提供软件定制解决方案,用户可通过简单的手势指令向 PC 传递自己的操作意图。它是一款用于识别人体手势操作的设备,和Leap Motion一样,它能识别用户十指的动作路径、手势动作、包括瞬间动作交错的识别推算,继而与显示屏实现交互反馈。

手感操控被称为继物理按键式交互、触摸屏交互以来的第三次人机交互革命,与物理按键相比,手感操控是更加符合人们自然习惯的通用交互方式。物理按键需要单一按键对应单一功能,而且一旦确定无法更新迭代,有很强的局限性,手感操控的算法则可以通过固件升级、软件更新的方式,更新换代。与触摸屏相比,安全性更好,用户只需记忆动作而无需在驾驶过程中观察显示屏幕。【1】

对比采用激光的手势交互技术,微动Vidoo采用的立体视觉具有成本低、运算量小、功耗低、精确度高等优势,让手感操控不再局限于高端车型。且没有因激光对温度敏感而产生在车内高温情况下识别不准确的问题。设备内置的红外LED辅助光源,使得微动(Vidoo)在夜间环境下的运行也一样出色,是非常适合在车载电子场景下使用的交互方式。


 

3、 工作原理

 

微动的主要原理是通过微动内的红外线LED灯,透过红外光滤镜,产生的前后90度,左右120度,感知高度为40厘米,类似四棱台的“光场”。如果光场内 有诸如手指这样的障碍物,红外光就会被反射过来。

在微动内两个摄像头,模仿人眼识像的原理,利用双目立体算法(stereo visual),识别判断光场物体的运动轨迹,最终反馈到用户与屏幕间的交互反馈。

微动Vidoo车载手感操控系统共有7个模块:音乐(MUSIC),空调(A/C),电话(PHONE),收音机(RADIO),导航(MAP),设置(SETTING)和信息(INFO)。可以通过挥手、双指戳击、单指旋转等多种手势进行操作。所有手势在交互发生时都伴随有提示音,用户无需看屏幕即可得到反馈。【1】

 


 

4、 产品功能

 

微动利用图像融合算法识别跟踪指尖和手部的姿态,并将其转换为数字命令,实现识别手部整体形态、定位指尖三围空间位置和捕捉手势动作等功能。其可识别最短位移在 0.01mm, 延迟在 10ms,可同时支持两台终端使用且无需校准。

在使用模式上,微动提供了空间模式和触控模式。其中空间模式的操作范围为前后左右 120 度,半径 40cm。通过微动的内置双摄像头捕捉系统和图形处理单元,可识别手部姿态定位空间三围位置,跟踪手势轨迹,可检测位置速度等数据。

触控模式下,微动可以把任意平坦的平面转化为超大尺寸触控板,夹角范围是 120 度,半径为 25cm 的扇形。不过出于目前没有非常合适的应用场景,在 VR,TV,车载这 3 个主要方向上都略显鸡肋。

 

微动和易瞳共同尝试了VR和MR版Pokémon GO ,宝可梦从手机屏幕中解禁,你可以抓住想要选择的精灵球,在眼前调整角度瞄准后冲着宝可梦抛出。如果你遇到的是一只刚烈而又狡猾的宝可梦,为了避免被带节奏,还可以打圈儿扔出最强旋转精灵球、投喂食物,大概没有哪只宝可梦可以从阁下手中逃脱了吧。【2】

zhua

首先,通过微动的双目深度传感器得到深度图像。在深度图像中,我们通过修改每个像素RGB的值用以标定该像素与传感器之间的距离。当我们观察深度图像时,会发现其效果与我们熟悉的红外热成像图像类似,只不过我们把温度替换成了距离。下图中,左侧为深度图像,右侧为原始图像。通过观察可以看出,距离越近的区域,颜色越红;距离越远的区域,颜色越蓝。

147272320709848629

其次,我们将深度图像中符合人体手部特征的部分分割出来,进行手部姿态、动作的识别。这里需要指出的是手势识别算法是基于深度图像而不是普通图像的。这样可以方便我们获得手部每个点的深度信息。从而还原出整手的骨骼结构。如果我们想要与虚拟物体进行触碰式的交互,骨骼结构是不可缺失的技术前提。【2】

最后,我们通过算法将传感器坐标系(包含手部骨骼空间信息)、虚拟世界坐标系(包含所有虚拟物体的空间信息)、现实坐标系(包含环境信息和手部信息)这三个坐标系对齐。这样,我们可以将检测到的手部骨骼与真实的双手对齐;将虚拟物体与现实环境对齐。当真实的手部触碰到虚拟的物体时,将会产生类似鼠标点击的事件,来驱动程序的执行,具体到Pokémon GO里面,就是投喂小精灵,扔出精灵球等操作。

至此,已完成了手感操控的基础部分,后续将进一步在Unity3D中完善事件的逻辑,完成Pokémon GO中将精灵球、食物抛向小精灵的功能。

 

 


 

5、 系统支持

 

系统级适配。微动已经支持WIN7/WIN8系统原生多点触控应用,并在为苹果的OS X系进行适配。

微动适配应用。微动为非微动提供了一套轻量级的适配工具。用户可以在可视化的工具上拖拽几下、或者编写四五行脚本,就可以把微动输入的信息转化为应用程序能接受的传统输入。

原生应用。微动给应用开发者提供了SDK支持,支持C/C++、C#、JAVA语言,Unity3D、OGRE游戏引擎,还支持以网络服务的方式快速架设远程操控系统。

 


 

6、 参考资料

 

1、微动Vidoo车载手感操控掀起车内交互大潮  太平洋汽车[引用日期2016-10-20]

2、“徒手抓精灵 微动Vidoo这样玩Pok mon GO 搜狐[引用日期2016-09-22]

99VR视界二维码

相关文章

    404 Not Found

    404 Not Found


    nginx
在线客服