论文标题：HexaDream: hexaview prior and constraint for text to 3D creation

期刊：Frontiers of Computer Science

作者：Zhi-Chao ZHANG, Hui CHEN, Jin-Sheng DENG, Ming XU, Zheng-Bin PANG

发表时间：18 Feb 2025

DOI：10.1007/s11704-025-40774-x

微信链接：点击此处阅读微信文章

标题：HexaDream: hexaview prior and constraint for text to 3D creation

作者：Zhi-Chao ZHANG, Hui CHEN, Jin-Sheng DENG, Ming XU, Zheng-Bin PANG

DOI：10.1007/s11704-025-40774-x

扫码阅读原文↑

摘要：

国防科技大学与军事科学院的研究人员开发了名为 HexaDream的文本转3D合成框架。该框架通过整合六视图生成扩散模型与动态加权约束机制，有效解决了3D生成中的几何畸变问题。实验数据显示，与现有方法相比，HexaDream将“多头问题”缓解了20.6%，关键部位保真度提升了12%，CLIP-R一致性得分提高了8%，为游戏、VR及计算机辅助设计领域提供了更高质量的3D内容生成方案。

// 内容精要

在当前的AIGC领域，根据文字描述生成3D模型常面临“多头问题”，即生成对象在不同视角下出现结构不协调，甚至多面畸变的现象。HexaDream通过引入“全方位六视图”先验约束，为模型提供了前、后、左、右、上、下六个正交视角的视觉蓝图，从而确保生成对象在各个角度均保持物理合理性与视觉一致性。

随着CAD、VR与游戏产业对3D内容需求增长，传统文本转3D模型因缺乏关键视觉线索，常出现纹理模糊与结构扭曲，限制了在专业环境中的应用。HexaDream的核心目标是补足视觉信息缺失，使生成对象在几何结构与细节连贯性上达到更高标准，从而减少人工修补，提高内容生产效率。

研究团队将 HexaDream 与当前主流的生成模型（如 DreamFusion, Magic123 等）进行了对比测试，结果显示其在多个核心质量指标上均取得了较好成绩 ：

多头问题缓解20.6%： 研究最显著的成果，模型极大地减少了多面畸变现象，生成的3D对象在空间结构上更加合理。

关键部位保真度提升12%： 模型能够更准确地还原物体的重要细节（如面部特征、肢体结构），确保生成内容与真实物体更接近 。

CLIP-R得分提升8%：该指标反映了生成模型与输入文本描述之间的语义匹配程度，分数的提升意味着生成的3D模型更好的理解用户的文字指令 。

HexaDream的性能提升源于其三个核心组件的协同作用。六视图生成扩散模型可根据文本生成六个正交视图，为 3D 重建提供稳定而充分的视觉线索；随后，特征聚合注意力机制将多视角像素特征融合至统一的 3D 空间，增强跨视角细节一致性；同时，动态加权六约束模块通过将 3D 模型投影回 2D 并与六视图进行比对，自适应调整不同视角的约束权重，在训练过程中持续修正几何误差，从而提升整体结构的稳定性与真实感。

HexaDream通过引入多视图监督和动态约束策略，展示了一种解决3D生成中数据不平衡和渲染约束缺失的有效路径。该研究不仅在统计指标上表现优异，在人工评估中也展现了更好的视觉一致性。这一成果为未来实现更高效、更逼真的自动化3D建模技术奠定了基础。

期刊简介

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华院士，执行主编为周昆教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。