从感知到多模态智能的规模化跨越物理 AI 正在迅速从基础运动控制迈向更复杂的环境理解。传统机器人强化学习RL长期依赖本体感知proprioception包括关节角度、力矩反馈和内部状态来训练灵巧的运动技能。然而面对真实世界中非结构化、动态环境下的操作需求机器人如今需要在强化学习策略闭环中直接处理更丰富的多模态感知信息例如 RGB 图像、深度图depth map以及语义分割Semantic Segmentation。这一技术演进带来的一个关键挑战就是计算需求呈指数级增长。要大规模训练基于感知的策略需要运行数百甚至数千个并行仿真环境而每个环境都需要独立的相机渲染管线、高维视觉数据处理以及复杂的神经网络计算。当感知输入成为标置GPU 渲染和计算负载都会显著激增。渲染与计算之间的协同瓶颈已成为制约感知强化学习效率的核心挑战我们如何在保持算法收敛效率和训练吞吐量的同时支撑高保真视觉输入下的大规模并行训练本博客分为两部分来介绍如何应对上述挑战首先介绍基于 NVIDIA Isaac Lab 多模态机器人学习框架并结合 NVIDIA 多卡、多节点 GPU 集群能力的感知强化学习扩展方案与最佳实践从而说明更高的计算密度不仅能够加速训练还能通过增强环境多样性来促进更优策略的开发。其次提供一个清晰的上手教程帮助开发者开始在阿里云人工智能平台 PAI Platform for AI上部署这些工作流从而快速利用云端优化的资源开展大规模的感知强化学习训练。此外开发者还可以通过 PAI 采用 NVIDIA 其他前沿的物理 AI 解决方案包括 Newton、Isaac Lab-Arena 和 Cosmos Dataset Search。NVIDIA Isaac Lab感知强化学习技术架构本博客涉及的感知强化学习训练采用了 NVIDIA Isaac Lab它基于 Omniverse 库构建为大规模机器人强化学习提供了一套开源、GPU 加速的模块化仿真和训练框架。对于计算密集型的感知类工作负载Isaac Lab 通过其 TiledCamera 接口实现的 Tiled Rendering 能力至关重要。TiledCamera 不再为每个环境单独渲染相机视角而是将所有并行环境中的相机视口拼接到一张单一的 GPU 纹理图中即一个 “tile”。这样只需一次渲染调用就能同时为所有环境生成图像输出避免逐个环境单独渲染带来的巨大开销。以本次实验环境 Isaac-Repose-Cube-Shadow-Vision-Direct-v0 为例每个环境都配置了三类相机输入RGB 图像、深度图以及语义分割。这些视觉信息共同用于引导 Shadow Hand24 自由度的五指灵巧手完成对积木的重定向操作。在 4,096 个并行环境的设置下TiledCamera 提供的批量并行渲染显著提升了整体训练吞吐量和效率相比逐环境逐帧渲染具有明显优势。在分布式训练层面Isaac Lab 原生集成了 PyTorch Torchrun支持通过 torch.distributed.run 启动跨 GPU、跨节点的分布式强化学习训练并可与 rsl_rl、rl_games、skrl 等主流强化学习库无缝对接。典型流程中每个 GPU 独立负责一组仿真环境及对应的神经网络前向推理随后通过分布式通信在多卡之间同步梯度从而实现高效的规模化数据并行训练。机器人感知强化学习规模化实践我们设计了两组系统性实验从不同维度量化 GPU 规模对感知强化学习训练的影响。实验一横向扩展—— 更多 GPU更多环境训练更优策略每个 GPU 固定运行 512 个并行环境从 1 卡逐步扩展到单节点 4 卡、单节点 8 卡、双节点 16 卡。总环境数随 GPU 数线性增长512 → 2048 → 4096 → 8192迭代次数均固定为 24,000 步。通过 TensorBoard 可视化训练日志两个核心指标的变化清晰可见任务成功率Episode/consecutive_successes如图一所示随着总环境数增加策略探索的多样性显著提升任务成功率曲线更快上升最终收敛值也随之提高。收敛速度convergence behavior如图二所示熵损失和值函数损失在多卡配置下下降更为平稳波动更小体现出大批量并行采样对策略梯度估计质量的改善。这一实验说明在感知强化学习场景下扩大 GPU 规模不只是加快同样质量的训练而是能够训练出更好的策略。这与传统监督学习中更多数据 更好模型的规律高度一致。图1. 连续成功次数Consecutive_successes and 和平均奖励mean_reward图2.训练的熵损失图3. 训练值函数实验二纵向加速—— 多 GPU 并行提升训练效率第二组实验将总环境数固定在 2,048 个通过增加 GPU 数量并按比例减少每 GPU 环境数在相同迭代次数下观察总训练时长的变化。GPU 数量每 GPU 环境数训练时长12,048~1.4 天21,024~21.0 小时4512~12.4 小时表1. 随着 GPU 数量增加、并按比例减少每个 GPU 中的环境数量而得到的训练时间TensorBoard 中的 Perf/total_fps 指标在多 GPU 配置下显示出显著提升。在未改变其他超参数的情况下由于训练吞吐量提升训练时间从单 GPU 的 1.3 天压缩至 4 GPU 的 12.5 小时这对于需要反复迭代超参数、快速验证新策略的研究人员而言是一次具有变革意义的效率跃升。图4. 训练过程中的 total_fps 表现更关键的是这种提升并未带来精度上的折衷。通过对比 1 GPU、2 GPU、4 GPU 配置的 Train/mean_reward 和 Episode/consecutive_successes 曲线可以看到在相同迭代步数下任务成功率几乎完全相同。这表明 Isaac Lab 的分布式训练实现了近乎“无损”的梯度同步也就是说新增 GPU 带来的效率提升并不会以牺牲效果为代价。图5. 对比 1 GPU2 GPU4 GPU 配置下的连续成功次数Consecutive_successes and 和平均奖励mean_reward以上两个实验共同揭示了 NVIDIA GPU 集群在感知强化学习训练中的双重价值既能通过扩大环境规模提升策略质量又能通过增加算力密度缩短实验周期二者可以根据实际研究需求灵活选择。在上述实验中我们以带有视觉任务的Shadow Hand24 自由度的五指灵巧手为例研究人员可以参考这个任务设置来复现实验结果。在阿里云 PAI 平台上实践和拓展大规模机器人强化学习阿里云 PAI 支持快速部署 Isaac Lab 感知强化学习并提供云端优化的资源。主要能力包括● 在 PAI-DSW 中通过 noVNC 实现 Web 原生的 VNC 启动便于对 Isaac Lab 进行可视化调试。● 原生支持 PyTorch、Ray 等分布式框架免去集群搭建、运维成本。● 提供具备强大 RT Core 渲染能力的计算资源可灵活适配 Isaac Lab 工作负载。●内置 Isaac Lab 2.3.0 镜像提供基于多 GPU、多节点的感知强化学习最佳实践。视频1在 PAI 上使用 Isaac Lab 加速基于感知的 MGMN 强化学习训练流程教程在阿里云 PAI 平台上启动分布式 Isaac Lab 强化学习任务在 PAI‑DLC 中开发者和研究人员可以使用内置的 PyTorch 任务类型配合官方 Isaac Lab 镜像和公共 Isaac Asset 数据集快速启动多 GPU、 多节点的强化学习任务。● 官方 Isaac Lab 镜像链接。●定义训练框架和资源Isaac Lab 原生支持 torch.distributed.run本次教程选择 PyTorch。除原生 Isaac Lab 外阿里云 PAI 也支持 Ray、Cosmos-RL 等框架以实现高效的分布式强化学习训练。●挂载 Isaac Asset 公共数据集可通过 PAI 的可视化界面或提供的挂载点实现。●启动命令行请参见下方代码。完成以上配置后即可开始多节点、多 GPU 的 Isaac Lab 强化学习训练任务。图6. 官方 Isaac Lab 容器镜像和数据集配置export EXT_ROOT/mnt/data/NB11 cd ${EXT_ROOT}/code/Pai-PhysxTrainTools export NUCLEUS_ASSET_ROOT_DIR/mnt/isaac_asset/5.1 # 软连接共享外部缓存 ln -s ${EXT_ROOT}/code/isaac/root/cache/ov /root/.cache/ov ln -s ${EXT_ROOT}/code/isaac/root/cache/pip /root/.cache/pip ln -s ${EXT_ROOT}/code/isaac/root/cache/nvidia/GLCache /root/.cache/nvidia/GLCache ln -s ${EXT_ROOT}/code/isaac/root/nv/ComputeCache /root/.nv/ComputeCache ln -s ${EXT_ROOT}/code/isaac/root/nvidia-omniverse/logs /root/.nvidia-omniverse/logs ln -s ${EXT_ROOT}/code/isaac/root/local/share/ov/data /root/.local/share/ov/data ln -s ${EXT_ROOT}/code/isaac/root/Documents /root/Documents # 启动训练脚本 export NPROC_PER_NODE8 export WORLD_SIZE2 /workspace/isaaclab/isaaclab.sh -p -m torch.distributed.run \ --nproc_per_node${NPROC_PER_NODE} \ --nnodes${WORLD_SIZE} \ --node_rank${RANK} \ --master_addr${MASTER_ADDR} \ --master_port${MASTER_PORT} \ ./Examples/IsaacLab230/rsl_rl/train.py --task Isaac-Repose-Cube-Shadow-Vision-Direct-v0 --enable_cameras --headless --max_iterations 24000 --num_envs 512 --distributed更多前沿物理 AI 方案更新除了上述使用 Isaac Lab 与多 GPU 集群的规模化感知强化学习实践NVIDIA 还更新了一系列物理 AI 方案包括 NewtonIsaac Lab-Arena 和 Cosmos Data Search并且这些方案都已经集成在阿里云 PAI 平台上。Newton 物理引擎 Rerun 轻量化可视化Newton 由 NVIDIA、Google DeepMind 和 Disney Research 联合开发是一个开源、GPU 加速的可扩展物理引擎旨在推动机器人学习与开发。Newton 基于 NVIDIA Warp 构建Warp 是一个用于构建和加速仿真及空间计算的开发框架。借助 Newton机器人可以在安全的虚拟环境中实现并优化其物理智能。NVIDIA Isaac Lab-Arena用于仿真任务的大规模机器人策略评估Isaac Lab-Arena 是一个开源框架为大规模仿真任务的整理和机器人策略基准测试提供协作式系统其中评估层和任务层是与光轮智能紧密合作设计的。Isaac Lab-Arena 可连接 Libero、Robocasa、RoboTwin、RoboFinals 等行业领先的基准用于统一测试标准确保机器人技能在部署到实体硬件之前足够稳健可靠。NVIDIA DexBench 和 NVIDIA RoboLab 的基准也即将集成在 Isaac Lab-Arena 推出。Isaac Lab-Arena 的最新版本通过支持长时程技能链式组合例如 Pick → Walk → Place、自然语言场景布局以及异构并行评估简化了大规模机器人任务创建从而加速基础模型的基准测试。它还可直接集成到 Isaac Lab 的强化学习和模仿学习IL, Imitation Learning训练循环中将数据生成、训练和评估统一到单一管线。Isaac Lab-Arena 目前是 alpha 版本后续版本将重点支持更具智能体特征、以提示词优先的场景与任务生成增强并行评估中的异构性以及加入敏感性分析和视觉语言模型VLM, Vision-Language Model增强分析以便从大规模评估中提炼更有价值的洞察。NVIDIA Cosmos Dataset Search大规模视频数据集的语义检索Cosmos Dataset Search 是一个面向物理 AI 应用场景的可扩展视频语义检索平台它基于经过优化的 NVIDIA NIM Cosmos Embed1 模型构建支持在文本、视频以及向量到视频等多种模态之间进行高效的跨模态搜索。该系统采用模块化架构集成了 FastAPI 服务、GPU 加速的 Milvus 数据库以及基于 React 的用户界面并支持 Docker 和 Kubernetes 部署以及独立扩展。此外它还通过 Ray 驱动自动化流程实现 GPU 加速的视频导入和元数据生成。开发者可以通过 Web 界面、REST API 或 CLI 与其交互因此它广泛适用于 AI 数据筛选、训练数据集准备以及语义去重等工作流。阿里云 PAI 为开发者提供了快速上手并直接访问以下解决方案的教程 Newton Rerun notebookIsaac Lab-Arena notebook视频 2在 PAI 上基于 Newton 可扩展物理引擎和 Rerun 轻量可视化工作流进行 Isaac Lab 强化学习训练视频 3在 PAI 上使用 Isaac Lab-Arena 工作流验证 Loco-manipulation 策略Cosmos Dataset Search 已完整集成到 PAI 的多模态数据集能力中开发者只需将 NIM Cosmos Embed1 配置为检索模型、并将 Milvus 配置为数据库即可快速体验其视频检索能力。视频 4PAI 上的 Cosmos Dataset Search 工具集结 论本文深入探讨了具身智能从本体感知向多模态感知演进过程中面临的规模化挑战。通过结合 NVIDIA Isaac Lab 的多节点、多 GPU 分布式训练我们验证了高扩展性并行训练的有效性。Newton、Isaac Lab-Arena 和 Cosmos Dataset Search 等先进技术栈进一步夯实了物理 AI 解决方案的技术能力。在此基础上阿里云 PAI 将 NVIDIA 技术栈无缝整合提供开箱即用的 PaaS 方案。通过抽象底层基础设施的复杂性并充分释放云端算力PAI 赋能终端用户高效加速其物理 AI 的研发与探索。
开发者博客｜在阿里云 PAI 平台实现规模化的机器人感知强化学习
发布时间：2026/5/21 20:17:36
从感知到多模态智能的规模化跨越物理 AI 正在迅速从基础运动控制迈向更复杂的环境理解。传统机器人强化学习RL长期依赖本体感知proprioception包括关节角度、力矩反馈和内部状态来训练灵巧的运动技能。然而面对真实世界中非结构化、动态环境下的操作需求机器人如今需要在强化学习策略闭环中直接处理更丰富的多模态感知信息例如 RGB 图像、深度图depth map以及语义分割Semantic Segmentation。这一技术演进带来的一个关键挑战就是计算需求呈指数级增长。要大规模训练基于感知的策略需要运行数百甚至数千个并行仿真环境而每个环境都需要独立的相机渲染管线、高维视觉数据处理以及复杂的神经网络计算。当感知输入成为标置GPU 渲染和计算负载都会显著激增。渲染与计算之间的协同瓶颈已成为制约感知强化学习效率的核心挑战我们如何在保持算法收敛效率和训练吞吐量的同时支撑高保真视觉输入下的大规模并行训练本博客分为两部分来介绍如何应对上述挑战首先介绍基于 NVIDIA Isaac Lab 多模态机器人学习框架并结合 NVIDIA 多卡、多节点 GPU 集群能力的感知强化学习扩展方案与最佳实践从而说明更高的计算密度不仅能够加速训练还能通过增强环境多样性来促进更优策略的开发。其次提供一个清晰的上手教程帮助开发者开始在阿里云人工智能平台 PAI Platform for AI上部署这些工作流从而快速利用云端优化的资源开展大规模的感知强化学习训练。此外开发者还可以通过 PAI 采用 NVIDIA 其他前沿的物理 AI 解决方案包括 Newton、Isaac Lab-Arena 和 Cosmos Dataset Search。NVIDIA Isaac Lab感知强化学习技术架构本博客涉及的感知强化学习训练采用了 NVIDIA Isaac Lab它基于 Omniverse 库构建为大规模机器人强化学习提供了一套开源、GPU 加速的模块化仿真和训练框架。对于计算密集型的感知类工作负载Isaac Lab 通过其 TiledCamera 接口实现的 Tiled Rendering 能力至关重要。TiledCamera 不再为每个环境单独渲染相机视角而是将所有并行环境中的相机视口拼接到一张单一的 GPU 纹理图中即一个 “tile”。这样只需一次渲染调用就能同时为所有环境生成图像输出避免逐个环境单独渲染带来的巨大开销。以本次实验环境 Isaac-Repose-Cube-Shadow-Vision-Direct-v0 为例每个环境都配置了三类相机输入RGB 图像、深度图以及语义分割。这些视觉信息共同用于引导 Shadow Hand24 自由度的五指灵巧手完成对积木的重定向操作。在 4,096 个并行环境的设置下TiledCamera 提供的批量并行渲染显著提升了整体训练吞吐量和效率相比逐环境逐帧渲染具有明显优势。在分布式训练层面Isaac Lab 原生集成了 PyTorch Torchrun支持通过 torch.distributed.run 启动跨 GPU、跨节点的分布式强化学习训练并可与 rsl_rl、rl_games、skrl 等主流强化学习库无缝对接。典型流程中每个 GPU 独立负责一组仿真环境及对应的神经网络前向推理随后通过分布式通信在多卡之间同步梯度从而实现高效的规模化数据并行训练。机器人感知强化学习规模化实践我们设计了两组系统性实验从不同维度量化 GPU 规模对感知强化学习训练的影响。实验一横向扩展—— 更多 GPU更多环境训练更优策略每个 GPU 固定运行 512 个并行环境从 1 卡逐步扩展到单节点 4 卡、单节点 8 卡、双节点 16 卡。总环境数随 GPU 数线性增长512 → 2048 → 4096 → 8192迭代次数均固定为 24,000 步。通过 TensorBoard 可视化训练日志两个核心指标的变化清晰可见任务成功率Episode/consecutive_successes如图一所示随着总环境数增加策略探索的多样性显著提升任务成功率曲线更快上升最终收敛值也随之提高。收敛速度convergence behavior如图二所示熵损失和值函数损失在多卡配置下下降更为平稳波动更小体现出大批量并行采样对策略梯度估计质量的改善。这一实验说明在感知强化学习场景下扩大 GPU 规模不只是加快同样质量的训练而是能够训练出更好的策略。这与传统监督学习中更多数据 更好模型的规律高度一致。图1. 连续成功次数Consecutive_successes and 和平均奖励mean_reward图2.训练的熵损失图3. 训练值函数实验二纵向加速—— 多 GPU 并行提升训练效率第二组实验将总环境数固定在 2,048 个通过增加 GPU 数量并按比例减少每 GPU 环境数在相同迭代次数下观察总训练时长的变化。GPU 数量每 GPU 环境数训练时长12,048~1.4 天21,024~21.0 小时4512~12.4 小时表1. 随着 GPU 数量增加、并按比例减少每个 GPU 中的环境数量而得到的训练时间TensorBoard 中的 Perf/total_fps 指标在多 GPU 配置下显示出显著提升。在未改变其他超参数的情况下由于训练吞吐量提升训练时间从单 GPU 的 1.3 天压缩至 4 GPU 的 12.5 小时这对于需要反复迭代超参数、快速验证新策略的研究人员而言是一次具有变革意义的效率跃升。图4. 训练过程中的 total_fps 表现更关键的是这种提升并未带来精度上的折衷。通过对比 1 GPU、2 GPU、4 GPU 配置的 Train/mean_reward 和 Episode/consecutive_successes 曲线可以看到在相同迭代步数下任务成功率几乎完全相同。这表明 Isaac Lab 的分布式训练实现了近乎“无损”的梯度同步也就是说新增 GPU 带来的效率提升并不会以牺牲效果为代价。图5. 对比 1 GPU2 GPU4 GPU 配置下的连续成功次数Consecutive_successes and 和平均奖励mean_reward以上两个实验共同揭示了 NVIDIA GPU 集群在感知强化学习训练中的双重价值既能通过扩大环境规模提升策略质量又能通过增加算力密度缩短实验周期二者可以根据实际研究需求灵活选择。在上述实验中我们以带有视觉任务的Shadow Hand24 自由度的五指灵巧手为例研究人员可以参考这个任务设置来复现实验结果。在阿里云 PAI 平台上实践和拓展大规模机器人强化学习阿里云 PAI 支持快速部署 Isaac Lab 感知强化学习并提供云端优化的资源。主要能力包括● 在 PAI-DSW 中通过 noVNC 实现 Web 原生的 VNC 启动便于对 Isaac Lab 进行可视化调试。● 原生支持 PyTorch、Ray 等分布式框架免去集群搭建、运维成本。● 提供具备强大 RT Core 渲染能力的计算资源可灵活适配 Isaac Lab 工作负载。●内置 Isaac Lab 2.3.0 镜像提供基于多 GPU、多节点的感知强化学习最佳实践。视频1在 PAI 上使用 Isaac Lab 加速基于感知的 MGMN 强化学习训练流程教程在阿里云 PAI 平台上启动分布式 Isaac Lab 强化学习任务在 PAI‑DLC 中开发者和研究人员可以使用内置的 PyTorch 任务类型配合官方 Isaac Lab 镜像和公共 Isaac Asset 数据集快速启动多 GPU、 多节点的强化学习任务。● 官方 Isaac Lab 镜像链接。●定义训练框架和资源Isaac Lab 原生支持 torch.distributed.run本次教程选择 PyTorch。除原生 Isaac Lab 外阿里云 PAI 也支持 Ray、Cosmos-RL 等框架以实现高效的分布式强化学习训练。●挂载 Isaac Asset 公共数据集可通过 PAI 的可视化界面或提供的挂载点实现。●启动命令行请参见下方代码。完成以上配置后即可开始多节点、多 GPU 的 Isaac Lab 强化学习训练任务。图6. 官方 Isaac Lab 容器镜像和数据集配置export EXT_ROOT/mnt/data/NB11 cd ${EXT_ROOT}/code/Pai-PhysxTrainTools export NUCLEUS_ASSET_ROOT_DIR/mnt/isaac_asset/5.1 # 软连接共享外部缓存 ln -s ${EXT_ROOT}/code/isaac/root/cache/ov /root/.cache/ov ln -s ${EXT_ROOT}/code/isaac/root/cache/pip /root/.cache/pip ln -s ${EXT_ROOT}/code/isaac/root/cache/nvidia/GLCache /root/.cache/nvidia/GLCache ln -s ${EXT_ROOT}/code/isaac/root/nv/ComputeCache /root/.nv/ComputeCache ln -s ${EXT_ROOT}/code/isaac/root/nvidia-omniverse/logs /root/.nvidia-omniverse/logs ln -s ${EXT_ROOT}/code/isaac/root/local/share/ov/data /root/.local/share/ov/data ln -s ${EXT_ROOT}/code/isaac/root/Documents /root/Documents # 启动训练脚本 export NPROC_PER_NODE8 export WORLD_SIZE2 /workspace/isaaclab/isaaclab.sh -p -m torch.distributed.run \ --nproc_per_node${NPROC_PER_NODE} \ --nnodes${WORLD_SIZE} \ --node_rank${RANK} \ --master_addr${MASTER_ADDR} \ --master_port${MASTER_PORT} \ ./Examples/IsaacLab230/rsl_rl/train.py --task Isaac-Repose-Cube-Shadow-Vision-Direct-v0 --enable_cameras --headless --max_iterations 24000 --num_envs 512 --distributed更多前沿物理 AI 方案更新除了上述使用 Isaac Lab 与多 GPU 集群的规模化感知强化学习实践NVIDIA 还更新了一系列物理 AI 方案包括 NewtonIsaac Lab-Arena 和 Cosmos Data Search并且这些方案都已经集成在阿里云 PAI 平台上。Newton 物理引擎 Rerun 轻量化可视化Newton 由 NVIDIA、Google DeepMind 和 Disney Research 联合开发是一个开源、GPU 加速的可扩展物理引擎旨在推动机器人学习与开发。Newton 基于 NVIDIA Warp 构建Warp 是一个用于构建和加速仿真及空间计算的开发框架。借助 Newton机器人可以在安全的虚拟环境中实现并优化其物理智能。NVIDIA Isaac Lab-Arena用于仿真任务的大规模机器人策略评估Isaac Lab-Arena 是一个开源框架为大规模仿真任务的整理和机器人策略基准测试提供协作式系统其中评估层和任务层是与光轮智能紧密合作设计的。Isaac Lab-Arena 可连接 Libero、Robocasa、RoboTwin、RoboFinals 等行业领先的基准用于统一测试标准确保机器人技能在部署到实体硬件之前足够稳健可靠。NVIDIA DexBench 和 NVIDIA RoboLab 的基准也即将集成在 Isaac Lab-Arena 推出。Isaac Lab-Arena 的最新版本通过支持长时程技能链式组合例如 Pick → Walk → Place、自然语言场景布局以及异构并行评估简化了大规模机器人任务创建从而加速基础模型的基准测试。它还可直接集成到 Isaac Lab 的强化学习和模仿学习IL, Imitation Learning训练循环中将数据生成、训练和评估统一到单一管线。Isaac Lab-Arena 目前是 alpha 版本后续版本将重点支持更具智能体特征、以提示词优先的场景与任务生成增强并行评估中的异构性以及加入敏感性分析和视觉语言模型VLM, Vision-Language Model增强分析以便从大规模评估中提炼更有价值的洞察。NVIDIA Cosmos Dataset Search大规模视频数据集的语义检索Cosmos Dataset Search 是一个面向物理 AI 应用场景的可扩展视频语义检索平台它基于经过优化的 NVIDIA NIM Cosmos Embed1 模型构建支持在文本、视频以及向量到视频等多种模态之间进行高效的跨模态搜索。该系统采用模块化架构集成了 FastAPI 服务、GPU 加速的 Milvus 数据库以及基于 React 的用户界面并支持 Docker 和 Kubernetes 部署以及独立扩展。此外它还通过 Ray 驱动自动化流程实现 GPU 加速的视频导入和元数据生成。开发者可以通过 Web 界面、REST API 或 CLI 与其交互因此它广泛适用于 AI 数据筛选、训练数据集准备以及语义去重等工作流。阿里云 PAI 为开发者提供了快速上手并直接访问以下解决方案的教程 Newton Rerun notebookIsaac Lab-Arena notebook视频 2在 PAI 上基于 Newton 可扩展物理引擎和 Rerun 轻量可视化工作流进行 Isaac Lab 强化学习训练视频 3在 PAI 上使用 Isaac Lab-Arena 工作流验证 Loco-manipulation 策略Cosmos Dataset Search 已完整集成到 PAI 的多模态数据集能力中开发者只需将 NIM Cosmos Embed1 配置为检索模型、并将 Milvus 配置为数据库即可快速体验其视频检索能力。视频 4PAI 上的 Cosmos Dataset Search 工具集结 论本文深入探讨了具身智能从本体感知向多模态感知演进过程中面临的规模化挑战。通过结合 NVIDIA Isaac Lab 的多节点、多 GPU 分布式训练我们验证了高扩展性并行训练的有效性。Newton、Isaac Lab-Arena 和 Cosmos Dataset Search 等先进技术栈进一步夯实了物理 AI 解决方案的技术能力。在此基础上阿里云 PAI 将 NVIDIA 技术栈无缝整合提供开箱即用的 PaaS 方案。通过抽象底层基础设施的复杂性并充分释放云端算力PAI 赋能终端用户高效加速其物理 AI 的研发与探索。
相关文章
从模糊到复古爆火，Midjourney拍立得风格全链路拆解，手把手调出小红书万赞同款胶片感
更多请点击： https://intelliparadigm.com 第一章：从模糊到复古爆火，Midjourney拍立得风格的视觉演进与平台传播逻辑 视觉语义的悄然转向 早期Midjourney V4生成的“类拍立得”图像多依赖参数如 --style raw 与手动添加噪点、边框提示词&a…
台湾话语音克隆精度不足？从声调建模偏差到韵律标注缺失，一文讲透7层语音特征对齐逻辑
更多请点击： https://intelliparadigm.com 第一章：台湾话语音克隆精度不足的现状与挑战 台湾话语音克隆技术在实际落地中仍面临显著的精度瓶颈，尤其在声调建模、连读变调与地域口音泛化方面表现欠佳。不同于普通话具有相对统一的声调规范&am…
在 Node.js 服务中集成 Taotoken 实现异步 AI 对话功能
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 在 Node.js 服务中集成 Taotoken 实现异步 AI 对话功能 对于 Node.js 后端开发者而言，将大模型能力集成到服务中已成为…
我在大厂做AI研发的2年：那些调参的日子
一、初入大厂：调参不是“玄学”，是测试思维的延伸2024年春天，我以AI算法工程师的身份进入国内头部互联网大厂，接手的第一个任务是优化智能客服系统的意图识别模型。当时我以为调参就是对着学习率、批量大小这些参数“试错碰运气”…
ncmdump终极指南：3步快速解密网易云音乐NCM格式，重获音乐自由
ncmdump终极指南：3步快速解密网易云音乐NCM格式，重获音乐自由 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 你是否曾在网易云音乐下载了心爱的歌曲，却无法在其他播放器或设备上播放？…
别再死磕Transformer了！用FEDformer搞定长序列预测，实测代码+避坑指南
别再死磕Transformer了！用FEDformer搞定长序列预测，实测代码避坑指南 当电力负荷预测的误差率始终居高不下，或者销售预测模型在长周期数据上表现不稳定时，很多工程师的第一反应是调整Transformer的超参数或增加训练轮次。但真实场…
win下如何命令获取 hash值。
certutil -hashfile dtbo.img SHA256 SHA256 的 dtbo.img 哈希: 15d39eca286b10565c3598b9690540b39de14b7dade746df15975dbe3c9bd99e CertUtil: -hashfile 命令成功完成。
AI行业4大神仙岗位，0基础也能拿下？薪资直逼200万！
文科生，能进AI行业吗？ 毕业做了两年行政，现在想转行，是不是来不及了？ 看到AI岗位都要写代码，我连Python都没碰过，是不是没戏了？ … 想一想都是问题，做一做一定会有答案&a…
别再手动一个个改了！ArcGIS属性表字段批量删除与数据裁剪的‘偷懒’技巧
ArcGIS高效工作流：属性表与数据批处理的进阶技巧 在GIS工程师的日常工作中，最令人头疼的莫过于那些看似简单却需要重复上百次的操作——删除几十个无用字段、裁剪数百个栅格图层、批量修改投影坐标系。这些机械性劳动不仅消耗时间，更消磨创造…
别只刷固件了！用MissionPlanner搞定四旋翼‘飘移’问题，校准compass_mot全流程
四旋翼飞行品质优化：MissionPlanner高级校准实战指南 当你的四旋翼无人机已经能够稳定起飞，却在定高模式下出现难以解释的飘移现象时，这往往意味着需要进入更深层次的飞控调校阶段。许多飞手在完成基础校准后便止步不前，殊不知电机…
科研学术篇---论文搜索方法
高效搜集和研读论文，是构建扎实知识体系的基石。要想做到“高效”与“高质”并重，需要把整个过程当作一个闭环系统来优化——从目标锁定、来源筛选、检索策略，到快速粗筛、深度内化、持续追踪，每一步都有对应的工具和心法。下面逐…
YOLOv11城市道路摩托车与自行车目标检测数据集-1569张-motorcycle-1_2
YOLOv11城市道路摩托车与自行车目标检测数据集 📊 数据集基本信息 目标类别： [‘bike’, ‘motorcycle’]中文类别：[‘自行车’, ‘摩托车’]训练集：1374 张验证集：130 张测试集：65 张总计：1569…
【实用小程序】超轻量级文件上传下载中心 (File Download Server)
站内源码及jar包下载 一、项目概述 文件下载中心一个基于 Java 内置 HTTP 服务器（com.sun.net.httpserver）构建的轻量级文件管理服务。它零第三方依赖，单 JAR 包即可运行，适合在内网环境或临时场景中快速搭建文件共享站点。 你的团队需要临时共享一批日志文件或交付物，…
py每日spider案例之某website之xin东方选课搜索接口(难度一般 扣取代码即可)
加密位置: 逆向接口参数: 逆向接口: const g = globalThis; g.window = g; g.self = g; g.location = {<
终极轻量级Android文本编辑器Markor：多格式笔记应用完全指南
终极轻量级Android文本编辑器Markor：多格式笔记应用完全指南 【免费下载链接】markor Text editor - Notes & ToDo (for Android) - Markdown, todo.txt, plaintext, math, .. 项目地址: https://gitcode.com/gh_mirrors/ma/markor 在移动设备上寻找一款…
MPC-BE：基于DirectShow架构的专业级开源媒体播放解决方案
MPC-BE：基于DirectShow架构的专业级开源媒体播放解决方案 【免费下载链接】MPC-BE MPC-BE – универсальный проигрыватель аудио и видеофайлов для операционной системы Windows. 项目地址:…
如何快速计算3D模型体积和重量：STL-Volume-Model-Calculator终极指南
如何快速计算3D模型体积和重量：STL-Volume-Model-Calculator终极指南 【免费下载链接】STL-Volume-Model-Calculator STL Volume Model Calculator Python 项目地址: https://gitcode.com/gh_mirrors/st/STL-Volume-Model-Calculator 你是否曾经为3D打印项目…
通过Taotoken CLI工具一键配置团队开发环境与模型密钥
通过Taotoken CLI工具一键配置团队开发环境与模型密钥 1. CLI工具安装与基本使用 Taotoken提供的CLI工具可通过npm全局安装或直接使用npx运行。对于需要频繁使用CLI的团队，推荐全局安装： npm install -g taotoken/taotoken对于临时使用或项目级配置&a…