uSens联合创始人&CTO费越

►导语

VR 给人们带来的颠覆性感受是“沉浸感”，如何在虚拟中还原人在现实世界的感受和体验？早期推出的 VR 头显，或者只能看不能摸，或者通过手柄等方式，这种体验是无法达到自然的现实感受的。uSens凌感科技的诞生正式为了让用户在AR/VR中感受到最深度的沉浸体验和自然交互。uSens联合创始始人费越说：“我们做过调查，当人们首次接触 VR 时，第一反应时我的手去哪了？于是我们开始在 VR 中对手识别。人们在体验中，还希望能够移动起来，不是定住那里不动，移动就带来了位置的变化，所以我们也在做位置追踪，都是为了创造在虚拟世界中的自然真实体验。”

►企业简介

uSens凌感成立于2013年底，创办于硅谷，致力于开发最前沿的三维人机交互解决方案。

从硅谷到国内三城，最重要的是人才

创始人及CTO费越在uSens凌感成立之前，在诺基亚、摩托罗拉、松下与亚马逊等的科研实验室参与开发了多个重要科技产品；已经在计算机三维人机交互领域累积了十多年的经验。公司核心管理团队的阵容也可以说是非常豪华的了。

费越告诉ARinChina的记者说：“作为技术导向的创业公司，我们目前有一支70多人的团队，其中85%为技术研发人员， 汇聚了全球顶尖的人工智能、 计算机视觉领域专家和研发人员，他们来自三星、苹果、Magic Leap、Intel等500强公司，具有很强的研发实力。其中，大部分核心算法成员都在国内。

在技术研发上，国际化的团队有更好的竞争优势。比如硅谷拥有同世界一流公司的技术交流环境，北京和杭州拥有丰富的高校人才，深圳拥有实干型的创业氛围和供应链优势，分别在四个城市设置办公室，可以综合发挥各地的区位特色，节省成本，更有效率的进行技术研发。“

双手挥挥，uSens帮我们指点AR/VR世界

Fingo是uSens凌感独立开发的手势交互模组，硬件主要由2个红外摄像头及3个LED灯组成，可与Oculus Rift、HTC VIVE等PC以及Gear VR、Google Cardboard、Daydream等Mobile端VR设备、Epson Moverio BT-300 AR眼镜等结合使用，通过计算机视觉及深度学习算法，精准捕捉和识别手部26自由度，实现在AR VR中的裸手操控。无需手柄等外设，以及无外部装置的位置追踪，uSens可以帮助我们轻松实现在AR/VR世界中的自然交互。

上个月底uSens发布的最新版Fingo SDK，在手势算法底层进行了改进，新增一系列双手交互动作，如握拳、手心写字、十指交叉等，在同类产品中，实现对大面积遮挡的双手交叠类手部动作的识别，并可实现对十个手指的灵活细微运动的追踪，有效解决了在应用中手势操作的痛点问题。让我们挥挥双手就可以实现人机的最自然交互。

事实上,大面积遮挡的确是跟踪、检测、识别等视觉系统中的一大难题。主要是因为大面积的遮挡情况下，信息的歧义让系统无法判断目标的准确状态。而在自然的场景以及交互中，目标一般被认为保持时序上的连续性以及行为上的合理性。针对这个问题，uSens的做法是,通过 Deep learning 对手势的合理性进行分析，并结合时序的连续性来进行状态的“推断”。但推断就意味着猜测，是属于不得已而为之。这种情况下尽量使不得已的情况减到最小，才能使用户感觉到自然又不失合理，稳定又不笨拙。那么如何减少上文提到的“不得以”呢？我们会用到双目的一些优势：两个摄像头相对来说比单目的设备获取更多的信息，能有效减少歧义性。另外通过最先进的算法极大的区分细微的差别，也是Fingo的另一大技术优势。

26自由度只是开始，完整手势识别才是目标

前段时间，网友有了这样的争议：前段时间，ManoMotion利用苹果ARKit实现手部控制输入，并声称：可以追踪“27自由度手部运动中的大部分”，而uSens凌感则是可以支持26自由度手部追踪；二者究竟是怎么计算，谁有更厉害呢？

针对这个问题，费总表示：“其实，关于几个自由度的争辩我们并不关注，重要的是识别。人类的手部关节都有活动的维度，例如大拇指根节点可以在x、y、z三个方向位移以及绕x轴、y轴、z轴旋转，因此记6个自由度，统计所有手的骨骼关节点运动情况可以得到26个自由度。“26个自由度”是目前学术界的共识，以此为基础，在某个关节上多假设一种自由度就是所谓的“27自由度”，但是这种假设属于凭空“想”出来的，没有学术依据也没有实际意义，而且对于算法并没有太大区别。

 “26个自由度”只是起点，想要完成整个手势识别，还需要通过红外摄像头计算人体手部26个自由度，辨别手部姿态，收集动作信息，进行3D手势建模，再通过计算机视觉算法实现手势骨骼追踪。只能说，其中每一环都需要大量的研究去完成。对于用户来说，精准、稳定的识别才是最终的，所以，大家也不必过于新出炉的“27个自由度”说法。” 

顶尖的主流技术不缺少应用的市场

手势识别技术作为下一代人机交互的主流方式之一，费总非常看好uSens在游戏娱乐、数字营销、教育培训、房地产影像、车载控制等领域的应用。手势识别技术可以为了给用户创造更自然更具沉浸性的三维交互体验，自然不缺乏应用市场。

费总向ARinChina的记者介绍“目前，我们已经有了一些出色的落地合作，比如在Steam平台上，有支持Fingo手势交互的VR休闲游戏《BombU! 》，可以用户体验到了“空手扔炸弹”的感觉（这款休闲游戏由国内开发商萌果游戏制作，曾一度高居海外下载榜第二名）。同时我们也有跟硬件厂商进行深度合作，比如最近的耐德佳合作案例，我们为将为其AR眼镜NED+GlassX2开发者提供订制版的手势识别套件，帮助他们完成更加炫酷的应用开发。” 

据息，uSens正在进行A+轮次的融资，不过并没有透漏投资方以及具体投资金额。

【叨叨】Vidoo刘哲：国产手势识别，有技术无惧竞争

【创意】现实版《西部世界》: MR+虚幻4穿越真人秀

【八卦】谷歌300亿，女神Snapchat依旧不为所动

【吐槽】对！就是这七宗罪阻止了我们购买AR眼镜！