李飞飞 World Labs 推出类云游戏世界模型演示应用 Frameboy
2 小时前
李飞飞创办的 World Labs 推出旗下首个应用 Frameboy,它是 Atlas 世界模型的优化演示版,依托云端 GPU 流式传输,最高帧率达 15fps,响应时间约 70ms,体验接近云游戏。Frameboy 提供多类精选场景供用户探索,既可以单张图片为基础补全新视角构成可探索环境,也可基于同地点多张照片生成照片内外的新视角,还集成在 Viewfinder 应用中,支持用户自行输入内容逐帧构建场景,实时探索扩展虚拟世界,用户可像操控摄像机一样切换视角生成三维一致的世界视图,每帧生成内容都包含颜色和深度信息。其背后的 Atlas 是从头预训练的通用世界模型,可处理文字、图像、视频和三维空间信息,核心机制为「空间上下文」,能将图像与对应摄像机的三维位置、朝向关联,接收精确的摄像机位姿生成对应视角画面,区别于靠文字描述控制运镜的普通视频生成模型。Atlas 采用多模态自回归扩散 Transformer 架构,可生成高分辨率长视频,还能输出深度信息、点云、三维高斯泼溅等三维表示,支持实现子弹时间效果、低成本构建机器人仿真环境等用途,Frameboy 的出现也为电影勘景、空间概念设计、游戏关卡构思等领域带来了新的创作可能。
李飞飞 World Labs 团队发布「游戏掌机」Frameboy:用网页实时探索 AI 生成世界,每秒最高 15 帧
IT 之家 / maomu.com
世界模型「云游戏」问世,李飞飞 World Labs 出品
腾讯网/36Kr/maomu.com
体验专业版特色功能,拓展更丰富、更全面的相关内容。