新一代的增强现实和虚拟现实技术控制器可能并不适合你的手掌。它们可能是你的手掌。

　　卡内基梅隆大学人机交互研究所的研究人员最近发表的一篇论文介绍了EgoTouch，这是一种利用人工智能通过用手指触摸皮肤来控制AR/VR界面的工具。

　　该团队希望最终设计出一种仅使用标准AR/VR耳机附带的传感器就能提供触觉反馈的控制器。由HCII副教授、未来接口集团（Future Interfaces Group）负责人克里斯·哈里森（Chris Harrison）开发的OmniTouch方法接近于此。但这种方法需要一个特殊的、笨重的深度感应相机。维姆·莫林（Vimal Mollyn）是哈里森的博士生，他的想法是使用机器学习算法来训练普通摄像头识别触摸。

　　“试着拿起你的手指，看看当你用它接触皮肤时会发生什么。你会注意到只有当你触摸皮肤时才会出现这些阴影和局部皮肤变形，”莫林说。“如果我们能看到这些，那么我们就可以训练一个机器学习模型来做同样的事情，这基本上就是我们所做的。”

　　莫林通过在食指和手掌底部安装一个定制的触摸传感器，为EgoTouch收集数据。该传感器在摄像头看不到的情况下，收集不同类型的触摸在不同力量下的数据。然后，该模型学会了将阴影和皮肤变形的视觉特征与触摸和力联系起来，而无需人工注释。该团队扩大了训练数据收集范围，包括15名肤色和头发密度不同的用户，并在许多情况、活动和光照条件下收集了数小时的数据。

　　EgoTouch检测触摸的准确率超过96%，假阳性率约为5%。它能识别压下、提起和拖拽。该模型还可以以98%的准确率区分触摸是轻还是硬。

　　莫林说：“这对于在皮肤上拥有右键点击功能真的很有用。”

　　检测触摸的变化可以让开发者模仿我们皮肤上的触屏手势。例如，当你向上或向下滚动页面、放大、向右滑动或按住图标时，你的智能手机可以识别。为了将其转化为基于皮肤的界面，摄像头需要识别触摸类型和触摸力度之间的细微差异。

　　在不同的肤色和毛发密度，以及手和前臂的不同区域，如手臂前侧、手臂后侧、手掌和手背，准确率大致相同。该系统在指关节等骨骼区域表现不佳。

　　莫林说：“可能是因为这些部位的皮肤没有那么多变形。”“作为用户界面设计师，你能做的就是避免在这些区域放置元素。”

　　莫林正在探索使用夜视摄像头和夜间照明的方法，以使EgoTouch系统在黑暗中工作。他还与研究人员合作，将这种触摸检测方法扩展到皮肤以外的表面。

　　“这是第一次，我们有一个系统，只使用已经在所有耳机中的摄像头。我们的模型无需校准，而且开箱即用，”莫林说。“现在我们可以在皮肤上的界面上建立之前的工作，并真正使它们成为现实。”