在当地时间周一揭幕的行业顶级会议SIGGRAPH(国际计算机协会计算机图形学和交互技术特别兴趣小组年度会议)上,“全球股王”英伟达推出一系列面向机器人开发者的世界模型、应用库和基础设施。
其中,最引人关注的是参数量只有70亿的开源物理AI应用和机器人视觉推理模型Cosmos Reason。

英伟达介绍称,自从OpenAI多年前发布CLIP模型以来,视觉语言模型已经改变了计算机视觉任务,例如物体与模式的识别等。然而,此前的模型无法解决多步骤任务,也难以应对模糊或新颖的现实体验。
凭借记忆和理解能力,Cosmos Reason能够使机器人和AI具身代理“像人类一样推理”,并在真实世界中采取行动。
在英伟达给出的案例中,运行视觉推理模型的机器人手臂,成功根据“面包+烤面包机”的场景,推断出最合理的下一步动作是将面包放进烤面包机进行烘烤,并将思考逻辑转化成机器手臂的操作指令。


除了Cosmos Reason,英伟达也在Cosmos世界模型中新增了Cosmos Transfer-2,用来加速从3D仿真等场景生成合成数据,以及一个经过蒸馏、更为注重速度优化的Cosmos Transfers版本。
英伟达也在周一更新了Omniverse软件开发工具包,并公布了新的神经重建库。其中包括一种渲染技术库,允许开发者使用传感器数据在三维中模拟现实世界。
这一系列发布标志着AI芯片巨头正在加码进军机器人领域,试图将其培养成AI数据中心之外的下一个重要应用场景。