作者:赵广立 来源:科学网 www.sciencenet.cn 发布时间:2019/3/19 20:58:44
选择字号:
云从科技取得3D人体重建技术新突破
 
 
 
3D关键点检测示例
 
3月19日,记者从云从科技获悉,这家中科院旗下人工智能(AI)创企的3D人体重建技术同时在该领域三大权威数据集上取得新突破:将原有最低“误差”大幅降低30%,刷新了最新的世界纪录。
 
3D重建领域通常以“误差”作为衡量算法能力的主要指标,这里的误差特指生成模型与实际图像的差别。显然,误差越低,精度越高,意味着技术的性能越好。
 
据介绍,在领域三大权威数据集Human3.6M、Surreal和UP-3D上,云从科技3D人体重建技术“全身精度误差”在Surreal上从75.4毫米降低到52.7毫米、“关节精度误差”从55.8毫米降低到40.1毫米,在Human3.6M上的关节精度误差从59.9毫米降低到46.7毫米,此外,技术的执行速度从之前的上百毫秒降低到只需5毫秒。
 
上述突破是如何实现的?云从科技技术团队成员、资深算法研究员吴凡介绍说,针对人体具有丰富多样的姿态和穿着的特点,他们提出了一套全新的基于人体3D纵深预测的3D信息表征方式。这种表征方式通过对三原色图像(RGB,不含深度信息)的分析来预测人体的3D形态和姿势,并用6万多个点完整描绘人体,从而在人体重建技术上取得速度与精度的双突破。
 
“(新算法下的)结果呈现出来的模型更精细,帧率更是高达到200fps,原本由于受实时显示限制而无法实现的应用可以一一实现。”吴凡说,这将极大地推动相关智能图像应用的落地步伐。
 
记者了解到,传统的3D重建技术大多需要连续的或是多视角的图像,在硬件上一般需采用双目摄像机或结构光摄像机等设备,因此在手机等便携设备上尚难以实现;另一方面,专用设备还会增加部署成本,增加大规模普及3D重建技术的难度。
 
云从科技这一3D人体重建技术是基于单帧图像实现的。由于对输入图像的要求低,使3D重建技术将可以利用普通光学摄像头作为感知设备,因此也将推动更多智能应用成为可能。比如,该技术将使美颜类APP无需结构光摄像头也能具备高精准度的瘦身与动画合成功能等。
 
不过,吴凡也提出,基于单帧图像的3D重建技术对原始图像要求放松的同时,也对背后的技术提出了更高挑战,比如技术需要从单帧图像中推理出人体或人脸的3D形态,并通过光学透视、阴影叠加等基本光学原则准确预测出各个关键点在3D空间的位置和朝向,才能得到人体的姿态或表情信息。
 

 

 
 打印  发E-mail给: 
    
 
以下评论只代表网友个人观点,不代表科学网观点。 
相关新闻 相关论文

图片新闻
我国成功发射第四十四颗北斗导航卫星 最有效疟疾疫苗将大规模测试
非洲最大食肉哺乳动物犬齿似香蕉 陨石撞月每年流失200吨水
>>更多
 
一周新闻排行 一周新闻评论排行
 
编辑部推荐博文