图片来源:the Project Twins
视频游戏移动传感器可扫描恐龙骨骼、监测冰川……
一个胸前挂着用皮绳捆着一个黑色矩形条的男子小心翼翼地绕着一个霸王龙的头骨走动着。这不是行为艺术。这个黑色矩形条是一种叫作Kinect的运动传感器,其佩戴者正在伊利诺伊州芝加哥市菲尔德博物馆用它捕捉恐龙头骨的精确三维形状。
这与其开发者的预期应用方式相去甚远。微软为视频游戏设计了这个黑色矩形条,它可以让Xbox游戏用户用动作和手势来控制角色,而无需使用手持控制器。但从它发布的那一刻起,科学家和临床医生就开始对这款设备(还包括任天堂Wii遥控器等其他传感器)进行改编,并将其用于从机器人到冰川学再到医疗保健等领域的研究。他们很快意识到,这些设备收集的数据可被用于测量人体运动、操纵三维物体、观察或构建三维空间模型等方面的研究。
这些传感器给科学家带来了诸多额外的好处:它们是价格容易负担(大多数成本在80~100美元之间)、便携且兼容免费和易于学习的软件。这使其成为许多项目的灵活选择。
但它们也有很大的局限性。其性能,如分辨率,与工业硬件相比往往显得苍白,该系统在室内的运行效果往往比在现场更好。它们的效用在很大程度上取决于所开展的研究类型。
恐龙牙科学
Denise Murmann是在2016年把Kinect当作一种研究工具开始使用,当时她和家人一起参观了菲尔德博物馆。在参观SUE(世界上最完整的霸王龙骨骼之一)的时候,她的侄子看到一块展板上解释说,恐龙的头骨上布满了不明来源的小洞。它们是咬痕吗?还是感染的痕迹?Murmann认为,如果能够像她在法医牙医工作中调查咬痕案件那样来研究这个颅骨,那将会很有趣。
但她常用的工具却无法胜任这项工作。SUE的颅骨长约1.5米,重约272公斤,这对于高度精确的三维牙科扫描仪来说实在是太大了。因此,Murmann转而求教于麻省理工学院媒体实验室摄像机文化小组的成像专家Anshuman Das,后者建议她把一个Kinect连接到笔记本电脑上。Das说,这样得到的分辨率大约比工业扫描仪低10倍,但Kinect却可以应对该标本的大小。
于是,Das将Kinect绑在他的胸前,慢慢地绕着头骨行走。三维扫描结果显示,并不是所有的孔洞都以同样的角度进入头骨,因此它们可能并非来自于单个咬痕。它们向内部逐渐减少,表明其并非感染的结果。该研究团队于去年7月发表了研究结果。尽管Murmann的研究项目并非第一次扫描SUE的颅骨,但之前的研究却包括500个小时的计算机断层扫描(这种方法通常用于检查航天飞机的部件)。而Kinect扫描仅在博物馆里花了几分钟时间。
冰川、步态和机器人
古生物学并非唯一从游戏控制器中获益的领域。在丹麦和格陵兰做过地质调查的冰川学家Ken Mankoff曾用Kinect以1毫米的分辨率模拟冰川床和融化的水道。这些数据可以帮助冰川学家更好地了解冰川融化对海平面的影响。Mankoff说,通常情况下,这些数据是使用激光雷达(光探测和测距)系统收集的,其花费可能超过1万美元。
现成的视频游戏运动传感器还可以为机器人提供了方便的视觉系统。加州斯坦福大学和纽约伊萨卡康奈尔大学的机器人研究专家Ashutosh Saxena和Chenxia Wu使用Kinect设计了一个能够通过“观察”人类来了解任务的机器人。他们的机器人WatchBot由一台电脑和一个激光指针组成,并在一个三脚架上安装了Kinect作为它的“眼睛”。WatchBot能够学会一个任务由什么步骤构成,比如从烤箱中取出食物,它能够在60%的情况下识别出漏掉的步骤,这一精确度可以让它在生产和安全监控中发挥作用。
其他的视频游戏传感器经证明在研究中也很有裨益。例如,加州旧金山Leap Motion公司设计的控制器可用来追踪手部和手指动作,而Daydream和Rift等虚拟现实头盔则可提供更多身临其境的体验。荷兰德尔夫特理工大学水文学家Willem Luxemburg曾用Wii遥控器以高于毫米级的精度测量水库的蒸发率。
电子游戏传感器也被越来越多地用于医疗保健领域。哥伦比亚州密苏里大学工程师Marjorie Skubic在2010年Kinect发布时便开始使用该传感器,她将其作为一种监测老年人步态的方法,并预测他们的摔倒风险。“那是在圣诞节前。”她回忆说,“我们到城里买光了那里的设备,我担心我们这样做可能伤了一些孩子的心。”她说,加入Kinect是对她所在团队此前的监控系统(一个摄像头和一个大型的台式电脑)的一个重大改进。
电脑占用了大量的空间,产生了大量热量,以至于需要会发出噪音的风扇来降低温度,这具有很大干扰性。而Kinect仅需要一台小电脑,这消除了上面的两个问题,同时它能够准确地捕捉老年人移动时的轮廓。
易于操作
为了捕捉三维物体,Kinect能像普通数码相机拍摄数码图像,它还能用红外线测量深度。然后,它会结合这两个数据集创建一个“深度图像”,在这个图像中,每个像素都根据其与传感器的距离来绘制。该系统据此可以创建一个三维模型或者重建一个梗概图。
使用这些数据仅需要很少的专业知识或设备。Das说,它所需要的仅是将Kinect连接到笔记本电脑上的一个适配器(网上约50美元可以购买到),再加上一个良好的图形处理单元来处理Kinect获得的实时三维结构。“有些游戏笔记本电脑是完美的。”
对那些对这个平台感兴趣的人来说,一个大型计算机谜社区已准备提供帮助。微软还开发了一款软件开发工具包,可以使用Kinect数据构建自定义应用程序,从微软的应用商店也可以下载3D扫描(一个用于对象扫描的软件包)。中国温州肯恩大学研究员Tiffany Tang开发了一种基于kinect的系统,它可以帮助人们了解自闭症儿童的情绪。Tang发现,在她的团队中,微软的Kinect软件开发工具包和Visual Studio很容易掌握。“我的一个学生在一周内就自学会了。”她说。这种易于掌握的工具很可能派得上用场,因为研究人员可能需要改变平台以跟上游戏行业快节奏的发展。
然而,这些工具也有很大的局限性。Mankoff说,Kinect的一个问题是距离:因为它是为室内设计的,因此只能测量距离传感器几米的距离。而包括Kinituous和ElasticFusion在内的新算法则可以让研究人员把数据“缝合”在一起,克服这样的局限性,但其他的障碍仍然存在,特别是在野外工作时。“任何潮湿的东西都是一个问题。阳光直接照射也是一个问题。”Mankoff说,“幸运的是,我的工作是在洞穴里,如果不是这样,我就得在晚上或者在阴天工作。”其他的问题还包括电池寿命以及很难跟踪姿势不常见或是身着宽松衣服的人。
尽管如此,科学家依然在为传感器寻找创造性的用途。自Das发表霸王龙的成果之后,他收到了来自博物馆和古生物学团体的多次请求,请他使用或调整扫描仪来分析其他的化石、艺术品和工艺品。这个工具非常简单,他甚至在新罕布什尔州一所小学用其做面部扫描练习。“你不能把它和工业扫描仪相比。但由于它很便宜,而且很容易共享数据,因此它会鼓励合作。”Das说。(冯维维编译)