3月19日消息，据国外媒体报道，英伟达周一在圣何塞会议中心举办的GTC大会上推出了多模态人工智能Project GR00T，能够通过先进的基础模型为未来的人形机器人提供动力。
在周一举行的活动中， 英伟达演示了采用Project GR00T的人形机器人，能够把文本、语音、视频甚至现场演示作为输入，让机器人完成特定的操作任务。Project GR00T在英伟达的Isaac机器人平台工具的帮助下开发，其中包括一个用于强化学习的新Isaac实验室。
英伟达首席执行官黄仁勋在声明中表示：“为通用人形机器人构建基础模型是当今人工智能领域最令人兴奋的问题之一。它把技术汇聚到一起，让世界各国的领先机器人专家朝着通用人形机器人技术迈出巨大步伐。”
为了帮助企业成功运营GR00T，英伟达还发布了专门用于人形机器人的芯片Jetson Thor。此外，该公司还分享了一些引人注目的进展，如用于构建人工智能驱动的工业操纵臂以及能够在非结构化环境中导航的机器人。
对英伟达Project GR00T有什么期待？
虽然名字看起来像漫威漫画旗下的超级英雄格鲁特（Groot），但它的全称实际上是“Generalist Robot 00 Technology”。据英伟达称，GR00T旨在理解自然语言文本、语音、视频和现场演示，以模仿人类运动--协调性、灵活性和其他技能--并产生通用动作来导航、适应现实世界并与之互动。这不仅将增强人形机器人的能力，而且使开发和部署它们变得非常容易。本质上，以文本和演示作为输入，拥有访问权限的任何人都可以对机器人进行编程。
在英伟达首席执行官黄仁勋的GTC主题演讲中，他展示了多个由GR00T驱动的人形机器人来完成各种任务，它们包括来自Agility Robotics、Apptronik、Fourier Intelligence和Unitree Robotics的机器人。英伟达嵌入式和边缘计算副总裁迪普·塔拉（Deepu Talla）向参会记者简要介绍了GR00T，指出该项目利用了生成式人工智能和Transformer中最新技术，但没有分享其全部功能。
值得注意的是，作为生成式人工智能领域最知名的公司之一，OpenAI也在致力于人形机器人的开发，并支持了该领域的两家初创公司：1X Technologies和Figure。Figure最近发布了该公司首款OpenAI大模型加持的人形机器人，并发布了一段视频，吸引了全球科技界的目光。在视频中，机器人Figure 01可以听懂人类的命令和提问，动作流畅且有逻辑地递给人类苹果、将垃圾收拾进筐子里、将杯子和盘子归置放在沥水架上。英伟达周一证实，Figure和OpenAI都在与该公司在人形机器人项目上进行合作。
塔拉周一在接受外媒采访时表示，该公司不能分享有关内部架构的更多细节，但未来将在功能方面分享更多信息。他还指出，目前只有选定的人形机器人开发者可以提前访问该模型，但他们计划很快把GR00T扩展到更多人形机器人当中。
为了确保人形机器人可以运行GR00T等复杂的多模态模型，Nvidia还推出了用于人形机器人的Jetson Thor计算平台。基于英伟达的Thor SoC，该计算平台包括一个高性能CPU集群和基于英伟达Blackwell架构的下一代GPU，拥有Transformer引擎，达到800 Teraflop（每秒1万亿次浮点运算）。塔拉表示，该系统的GPU性能比上一版本Jetson Orin高8倍。
GR00T的核心是全新的Isaac机器人工具
为了实现GR00T项目，英伟达开发了自己的Isaac机器人平台。该平台为开发人员提供了一个强大的端到端平台，用于开发、模拟和部署人工智能机器人。
英伟达表示，具体而言，它利用其基于Isaac Sim的全新Isaac实验室，通过在GPU加速的虚拟环境中进行并行模拟来测试和训练该模型，并利用OSMO计算协调服务来同时管理英伟达DGX和英伟达OVX的训练和模拟工作负载。
除这些功能外，Isaac机器人平台还获得了两个用例定向产品--Isaac Manipulator和Isaac Perceptor。根据塔拉的解释，Isaac Manipulator提供了GPU加速的库和专用的基础模型，帮助机械臂制造商通过最先进的运动和灵巧性来改进产品。它包括旨在检测物体、估计它们的6D姿势、跟踪它们甚至做出密集预测。
另一方面，Isaac Perceptor承担了通过多摄像头、360度视觉功能引导机器人在非结构化环境完成任务--通过基于人工智能的3D感知和环绕视觉加速算法提供。英伟达通过其Nova Orin DevKit提供该技术，并同ArcBest、比亚迪和KION Group等多个合作伙伴合作，帮助他们在制造等过程中推进自主移动机器人功能。
ArcBest首席创新官兼ArcBest Technologies总裁迈克尔·纽斯特（Michael Newcity）在声明中表示：“在我们的Vaux Smart Autonomy AMR叉车和前移式叉车中使用Isaac Perceptor平台，可以在跨仓库、配送中心和制造设施的物料搬运过程中实现更好的感知、语义感知导航和3D映射，实现障碍检测。”
英伟达全新的Isaac平台功能预计将在今年第二季度推出，而Project GR00T仍处于早期访问阶段。英伟达正在接受申请，使更多的人形开发者获得该技术，但该公司目前尚未公布该技术公开发布的时间表。