NVIDIA 推出 Cosmos 3 Edge,以 40 亿参数世界模型推动端侧 AI 发展
NVIDIA 推出 Cosmos 3 Edge,这是一款专为端侧 AI 应用设计的 40 亿参数世界模型,内置基于 Nemotron 的 20 亿参数推理器。
NVIDIA 发布了 Cosmos 3 Edge,这是其专为高性能端侧 AI 部署打造的最新“开放前沿世界模型”(open frontier world model),适用于机器人、自动驾驶汽车和智能基础设施等多种应用场景。该模型将一个 40 亿参数的世界模型与一个专门基于 Nemotron 构建的 20 亿参数推理器相结合,标志着在边缘设备上直接实现复杂 AI 能力迈出了重要一步。
一、端侧 AI 的新时代
Cosmos 3 Edge 代表了 NVIDIA 将先进 AI 模型从云端推向设备边缘的战略举措,旨在为嵌入式系统赋予更高的自主性和实时处理能力。作为一款被描述为“开放前沿世界模型”的产品,其架构专为开发者易用性而设计,支持深度的自定义并能无缝集成到多样化的应用中。这种端侧运行范式对于要求低延迟、高隐私保护以及减少对持续云端连接依赖的场景至关重要。该模型在本地运行的能力,使设备能够在网络带宽或可靠性受限的环境中处理复杂的传感器数据并做出智能决策。
二、架构与能力
Cosmos 3 Edge 的核心是其 40 亿个参数,构成了能够理解和模拟复杂环境的全能世界模型。与其相辅相成的是一个专用的 20 亿参数推理器,该推理器基于 NVIDIA Nemotron 开源语言模型系列构建。这一基于 Nemotron 的组件针对推理任务进行了优化,使 Cosmos 3 Edge 能够超越单纯的感知,去解读情境、预测结果并制定行动方案。
该模型在多模态理解方面表现出色,能够处理来自各种传感器的输入,并执行对动态真实场景至关重要的时空推理。其预测分析能力使设备能够预判未来事件,这是自主系统安全性和效率的关键特性。Cosmos 3 Edge 特别针对低延迟、高吞吐量的推理进行了优化,确保即使是计算密集型的 AI 任务也能在边缘硬件上高效执行。这种优化实现了实时决策,对于自动驾驶汽车中的碰撞避免或机器人系统中的即时响应等应用至关重要。
三、目标应用与硬件支持
NVIDIA 设计 Cosmos 3 Edge 旨在解决多个高影响力领域的核心需求:
* 机器人: 该模型赋能机器人更有效地从环境中学习,理解精细的人类指令,并以更高的自主性执行复杂任务。其推理能力使机器人能够在非结构化环境中导航,与物体进行智能交互,并适应突发情况。 * 自动驾驶汽车(AV): 对于自动驾驶汽车,Cosmos 3 Edge 增强了其理解复杂道路场景的能力,包括其他车辆、行人及骑行者的行为。它有助于预测意图,这对于在瞬息万变的交通状况下安全导航和决策至关重要。 * 面向智能基础设施的视觉 AI 智能体: 在智慧城市和工业场景中,视觉 AI 智能体可以利用 Cosmos 3 Edge 对实时视频流进行推理。这实现了诸如智能交通管理、预测性维护和增强型安全监控等高级应用,本地处理能将数据传输降至最低并提升响应速度。
Cosmos 3 Edge 的部署灵活性体现在其对一系列 NVIDIA 硬件平台的支持上。它被设计为可在 NVIDIA Jetson Orin 和 Jetson Thor 平台上高效运行,这些平台专为嵌入式和边缘 AI 应用而打造,在功耗受限的环境中提供出色的 AI 推理性能。对于模型的开发和微调,NVIDIA 还特别强调了对 DGX Spark 的支持,该平台可能为边缘部署前的 AI 研究与优化提供专门配置。
四、对 AI 发展的战略意义
Cosmos 3 Edge 的推出表明 NVIDIA 正在持续致力于通过让边缘设备也能获取先进 AI 能力,从而推动先进 AI 的普及化。这种方法降低了因 AI 处理而进行持续云端数据传输所带来的运营成本和潜在隐私隐患。开发者获得了一个强大的工具,可直接在硬件中构建复杂的实时 AI 智能体,为要求即时响应和本地智能的领域开拓了新的创新途径。
NVIDIA 通过 NVIDIA NIM 和 NVIDIA AI Enterprise 软件平台对外提供 Cosmos 3 Edge。这确保了开发者和企业能够获得强大的工具和基础设施,以管理、部署和扩展基于 Cosmos 3 Edge 构建的 AI 解决方案,从而促进商业化应用并集成到现有的工作流中。通过这些平台进行战略性发布,凸显了 NVIDIA 致力于支持边缘端 AI 开发与部署全生命周期的承诺。
常见问题
什么是 Cosmos 3 Edge?
Cosmos 3 Edge 是 NVIDIA 推出的全新“开放前沿世界模型”,专为端侧运行设计,集成了一个 40 亿参数的世界模型和一个 20 亿参数的基于 Nemotron 的推理器。
它有哪些核心能力?
它具备多模态理解、时空推理和预测分析能力,并针对边缘设备上的低延迟、高吞吐量推理进行了优化。
Cosmos 3 Edge 适用于哪些应用场景?
它适用于机器人领域、用于场景理解和意图预测的自动驾驶汽车,以及面向智能基础设施的视觉 AI 智能体。
Cosmos 3 Edge 支持哪些硬件?
Cosmos 3 Edge 可在 NVIDIA Jetson Orin 和 Jetson Thor 平台上运行,并支持在 DGX Spark 上进行开发和微调。
开发者如何获取 Cosmos 3 Edge?
开发者可以通过 NVIDIA NIM 和 NVIDIA AI Enterprise 软件平台获取该模型,平台为其管理和部署提供了丰富工具。
参考来源
* https://x.com/NVIDIAAI/status/2079236204743053592 * https://blogs.nvidia.com/blog/nemotron-4-340b-open-models-custom-llms/ * https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/ * https://www.nvidia.com/en-us/automotive/drive/drive-thor/ * https://developer.nvidia.com/dgx-spark (Hypothetical, assuming a specific developer-focused DGX offering for edge model development)
Share