女同 h 英伟达开源自稳当多模态「寰球生成」模子！开启机器东说念主、自动驾驶练习翻新

女同 h

新智元报说念

剪辑：定慧

【新智元导读】Nvidia 刚刚发布了「寰球生成」模子 Cosmos-Transfer1，不错把柄多种模态的空间终止输入（如分割、深度和旯旮）生成寰球模拟，使得寰球生成具有高度可控性。征战者使用模子大略创建高度传神的模拟环境，用于练习机器东说念主和自动驾驶车辆。

Nvidia 带着最新「黑科技」模子 Cosmos-Transfer1 颤动登场，不错创建高度传神的模拟环境，反向生成「真确寰球」！

Cosmos-Transfer1，是一种自稳当多模态寰球生成模子。不错把柄多种模态的空间终止输入（如分割、深度和旯旮）生成真确寰球模拟。

提神！右边的场景并非「真确场景」，而通过 HD Map 高清舆图和 Lidar 雷达图及时「生成」的！

这种生成身手给改日数字寰球带来太多思象力和可能性！

也有望处理物理 AI 征战中的一个弥远挑战：松开模拟练习环境与本色应用之间的差距。

真确物理寰球便是以多种模态被感知的，比如上图中的四个模态：RGB Camera、Lidar 雷达图、Depth 深度图和 HD Map 高清舆图。

Cosmos Transfer 使得高度可控的「寰球生成」成为可能，并在各式寰球到寰球的调遣用例中找到应用，包括 Sim2Real（假造模拟寰球向实践寰球调遣）。

Cosmos Transfer 宽绰的「寰球生成」身手

领先通过基于真确物理的引擎，如 Nvidia Omniverse、Genesis 等，生成效能实践物理顺次的模拟视频数据。

通过 Cosmos Transfer 来耕种模拟数据的真确性和各样性。

Cosmos Transfer 不仅不错通过单一模态终止生成，也允许在不同的空间位置对不同的条目输入进行不同的加权。

单一模态终止生成

Cosmos Transfer 通过单一模态不错生成传神的实践场景。

下图展示了通过输入 Edge 旯旮图、Depth 深度图、Segmentation 分块图来生成诸如自行车维修车间、自动驾驶场景和真确机械臂场景。

下图展示了通过输入 Blur Visual 纯粹场景图 、HD Map 高清舆图 、Lidar 雷达图来生成诸如机械臂操作、自动驾驶场景。

多模态终止生成

在 Cosmos-Transfer1 模子假想中，空间条目决议是自稳当和可定制的。 它允许在不同的空间位置对不同的条目输入进行不同的加权。

通过输入 HD Map 和 Lidar 雷达图，不错生成应用于自动驾驶练习的真确视频。

在多模态的基础上，Cosmos Transfer1 还引入了 Spatiotemporal Control Maps 时空终止权重图，终止权重图在玄色像素区域为 0.0，在白色区域为 0.5，是以在右侧生成的视频中，权重高的部分效果愈加显著。

一种输入，多种可能

除了不错单模态和多模态终止生成视频，Cosmos Transfer1 也能生成多种实践格调的内容。

比如下图输入高清舆图 HD Map，不错生成 5 种不同格调的视频：Night 夜景、Foggy 大雾天气、Daytime 白昼、Snow 雪天和 Night，Rainy 夜晚下雨天。

输入 Lidar 雷达 图，欧美性爱第一页相似不错生成 5 种不同 格调的 视频内容 。

格调变换

同期，Cosmos Transfer 不错将生成的视频内容进行格调变换 。

对生成的视频格调可变换为 Modern 当代格调、Simplistic 从简风和 Warm 格调。

以下是 Modern 当代格调、Bakery 风和 Sci-Fi 科幻格调。

机械臂的模拟 视频 可生成 Factory 工场 格调、Construction Site 建筑场景格同一 Living Room 起居风等 。

不管是单一模态、多模态依然生成各式格调的视频，Cosmos Transfer 齐进展出不俗的身手。

「寰球生成器」Cosmos Transfer1 本事路子

多模态可控寰球生成是指基于分割、深度和旯旮等多模态视频输入生成寰球模拟视频的问题。

Cosmos-Transfer1 是一个具有自稳当多模态终止的寰球生成器。它包含多个终止分支，用于从不同的模态输入（如分割、深度和旯旮）中索取终止信息。

应用时空终止图 w={w1，w2，…，wN} 来加权由终止分支缱绻出的输出，然后再将其响应到主生要素支。

时空终止图使模子大略运用不同区域中最关联的模态以赢得最好输出质料。

Cosmos-Transfer1 练习恶果展示

Nvidia 第一个 Cosmos-Transfer1 的结束被称为 Cosmos-Transfer1-7B。

使用 1024 个 NVIDIA H100 GPU 对每个终止分支进行 2 到 4 周的练习，具体时刻取决于模态。

以上展示使用相易指示在各个单独模态（Vis、Edge、Depth、Seg）确立下，Cosmos-Transfer1-7B 的生成视频效果。

Cosmos-Tr ansfer1-7B [ Vis ] 在保捏表情和举座构图的同期，转变了纹理细节。

Cosmos-Transfer1-7B [ Edge ] 在转变表情的同期保捏了物体限制。

Cosmos-Transfer1-7B [ Depth ] 保捏了场景几何结构。

Cosmos-Transfer1-7B [ Seg ] 保捏了场景语义。

Cosmos-Transfer1-7B-Sample-AV 是十分为自动驾驶假想的模子。

Cosmos-Transfer1-7B-Sample-AV [ HDMap ] 保留了驾驶场景的原始说念路布局。

Cosmos-Transfer1-7B-Sample-AV [ LiDAR ] 保留了输入的语义细节。

临了，Nvidia 还练习了一个 Upscale ControlNet，将生成的视频从 720p 耕种到 4k 分辩率。

鄙人图中展示了 4K Upscaler 的例子，4K Upscaler 版块称为 Cosmos-Transfer1-7B-4KUpscaler。

Cosmos-Transfer1-7B-4KUpscaler 将视频从 720p 耕种到 4k 分辩率！

效果评估

为了评估 Cosmos-Transfer1 的特质，Nvidia 经心筹划了 TransferBench ——一个包含 600 个示例的评估数据集。

领先是单模态和多模态的对比。

对各式 Cosmos-Transfer1 确立在 TransferBench 上的定量评估，接头统统模态的模子赢得了最高的 Quality Score。

其次，对不同时势（Vis、Edge、Depth 和 Seg）的接头不同的权重进行接头。

终止权重在玄色像素区域为 0.0 ，在白色区域为 0.5 。

提神到，天然标题大要指定了一个自行车修理店的场景，但由于这些像素受到 Vis 和 Edge 的终止，蓝色衬衫上的白色秀美和须眉的肤色保捏不变。

另一方面，关于由 Depth 和分割终止的布景，物体在场景中的位置保捏一致，但其表情和纹理被就地化（举例红色器具箱、黄色三脚架、白色修理架）。模子还在右侧墙上添加了一个新的器具架。

另一个例子是 Cosmos-Transfer1 在机器东说念主数据生成中的示例终止。

左列显露由 NVIDIA Lab 生成的基于物理引擎的假造输入视频，而右边三列则展示了使用不同指示词在单模态和多模态终止下的 Cosmos-Transfer1-7B 生成终止。

Nivdia Cosmos 平台

NVIDIA Cosmos 是一个以征战者为先的寰球基础模子平台，旨在匡助物理东说念主工智能征战者更快更好地构建他们的物理东说念主工智能系统。Cosmos 包含：

1. 预练习模子（可通过 Hugging Face 获取），这些模子在 NVIDIA 敞开模子许可下允许免费贸易使用。

2. 在 Apache 2 许可下的练习剧本，用于对各式卑劣物理 AI 应用的模子进行后练习。

Cosmos-Transfer1 模子可通过 Hugging Face 获取。

参考费力：

https://github.com/nvidia-cosmos/cosmos-transfer1

https://x.com/_akhaliq/status/1902187161841000938

https://huggingface.co/papers/2503.14492女同 h