近日,美团LongCat团队发布并开源LongCat-Video视频生成模型,以统一模型在文生、图生视频基础任务上达到开源SOTA,并依托原生视频续写任务预训练,实现分钟级长视频连贯生成,保障跨帧时序一致性与物理运动合理性。
据研发团队介绍,作为基于Diffusion Transformer(DiT)架构的多功能统一视频生成基座,LongCat-Video创新通过“条件帧数量”实现任务区分,原生支持三大核心任务:文生视频无需条件帧、图生视频输入1帧参考图、视频续写依托多帧前序内容,且无需额外模型适配,形成“文生/图生/视频续写”完整任务闭环。
此外,依托视频续写任务预训练,新模型可稳定输出5分钟级别的长视频,且无质量损失平。同时,从根源规避色彩漂移、画质降解、动作断裂等行业痛点,保障跨帧时序一致性与物理运动合理性,适配数字人、具身智能、世界模型等需要长时序动态模拟的场景需求。模型还结合块稀疏注意力(BSA)与条件token缓存机制,大幅降低长视频推理冗余——即便处理93帧及以上长序列,仍能兼顾效率与生成质量稳定,打破长视频生成“时长与质量不可兼得”的瓶颈。
针对高分辨率、高帧率视频生成的计算瓶颈,LongCat-Video通过“二阶段粗到精生成(C2F)+块稀疏注意力(BSA)+模型蒸馏”三重优化,视频推理速度提升至10.1倍,实现效率与质量的最优平衡。
研发团队表示,凭借精准重构真实世界运行状态的能力,LongCat模型将会融入自动驾驶、具身智能等深度交互业务场景中。
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。