英伟达发布 Lyra 2.0:单张照片 AI 生成 90 米 3D 场景,仿真训练机器人提速

久久百科 网络资讯 2

4 月 17 日消息,科技媒体 The Decoder 昨日(4 月 16 日)发布博文,报道称英伟达研究人员推出 Lyra 2.0 系统,可从单张照片生成跨度约 90 米的连贯 3D 环境,解决现有模型在长距离漫游中的画面扭曲与遗忘难题。

当前 AI 生成 3D 场景的核心痛点之一,是虚拟摄像机长距离移动后,画面会出现色彩与结构扭曲,返回已探索区域时模型常重新构建环境。

英伟达团队为提高机器人仿真训练质量,针对视频模型离开视野即遗忘已见区域,以及逐步生成过程中误差累积导致严重扭曲两大挑战,发布 Lyra 2.0 系统,仅需单张照片即可生成可实时漫游的 3D 场景。

Lyra 2.0 通过存储每一帧的 3D 几何数据解决记忆问题,当摄像机重返旧地后,系统调取历史空间信息作为参考,避免重复生成。针对误差累积,研究团队在训练中让模型暴露于自身有缺陷的输出,让其学会识别并纠正质量下降,而非传递错误。

基准测试显示,Lyra 2.0 在图像质量、风格一致性和摄像机控制等几乎所有指标上击败 GEN3C、Yume-1.5、CaM 等 6 种竞品,其 Fast 版本在质量相当的情况下,视频生成速度提升约 13 倍。

生成的 3D 场景支持交互式探索,并可导出为网格格式用于 Nvidia Isaac Sim 等物理引擎。这意味着训练机器人无需采集真实世界 3D 数据,可在完全生成的虚拟环境中训练。

附上参考地址

  • Lyra 2.0: Explorable Generative 3D Worlds