划重点
01李飞飞团队提出了一种名为“数字表亲”的新方法，以降低真实到模拟生成的成本并提高学习的普遍性。
02数字表亲是一种虚拟资产，不明确模拟现实世界的对应物，但能捕获相似的几何和语义功能。
03为此，论文引入了一种自动创建数字表亲(Automatic Creation of Digital Cousins，ACDC)的新方法，实现从真实到模拟再到真实的流程。
04实验结果显示，ACDC生成的数字表亲场景能够保留几何和语义功能，训练出的策略优于数字孪生(90% vs. 25%)，且可通过零样本学习直接部署在原始场景中。
以上内容由腾讯混元大模型生成，仅供参考
新智元报道
编辑：编辑部 HXZ
【新智元导读】在用模拟环境训练机器人时，所用的数据与真实世界存在着巨大的差异。为此，李飞飞团队提出「数字表亲」，这种虚拟资产既具备数字孪生的优势，还能补足泛化能力的不足，并大大降低了成本。
如何有效地将真实数据扩展到模拟数据，进行机器人学习？
最近，李飞飞团队提出一种「数字表亲」的新方法，可以同时降低真实到模拟生成的成本，同时提高学习的普遍性。
目前，论文已被CORL2024接收。
你可能会问，什么是「数字表亲」，有啥用呢？
让我们把它跟数字孪生比较一下。
的确，数字孪生可以准确地对场景进行建模，然而它的生成成本实在太昂了，而且还无法提供泛化功能。
而另一方面，数字表亲虽然没有直接模拟现实世界的对应物，却仍然能够捕获相似的几何和语义功能。
这样，它就大大降低了生成类似虚拟环境的成本，同时通过提供类似训练场景的分布，提高了从模拟到真实域迁移的鲁棒性。
共同一作Tianyuan Dai表示，既然有免费的「数字表亲」了，何必再去手工设计数字孪生？
亮眼的是，「数字表亲」能同时实现
单幅图像变成交互式场景
全自动（无需注释）
机器人策略在原始场景中的零样本部署
简单拍一张照片，就能搞定了
模拟数据难题：与现实环境差异过大
在现实世界中训练机器人，存在策略不安全、成本高昂、难以扩展等问题；相比之下，模拟数据是一种廉价且潜在无限的训练数据来源。
然而，模拟数据存在一个难以忽视的问题与现实环境之间的语义和物理差异。
这些差异可以通过在数字孪生中进行训练来最小化，但数字孪生作为真实场景的虚拟复制品，同样成本高昂且无法跨域泛化。
正是为了解决这些限制，论文提出了「数字表亲」（digital cousion）的概念。
「数字表亲」是一种虚拟资产或场景，与数字孪生不同，它不明确模拟现实世界的对应物，但仍然展现类似的几何和语义功能。
因此，数字表亲既具备了数字孪生的优势，能够补足现实数据的不足，同时降低了生成类似虚拟环境的成本，并能更好地促进跨域泛化。
具体而言，论文引入了一种自动创建数字表亲（Automatic Creation of Digital Cousins，ACDC）的新方法，并提出了一个完全自动化的，从真实到模拟再到真实的流程，用于生成交互式场景和训练策略。
实验结果发现，ACDC生成的数字表亲场景能够保留几何和语义功能，训练出的策略也优于数字孪生（90% vs. 25%），而且可以通过零样本学习直接部署在原始场景中。
方法概述
与数字孪生不同，数字表亲并不苛求在所有微小细节上都要重建给定场景，而是专注于保留更高级别的细节，例如空间关系和语义。
ACDC是一个完全自动化的端到端流程，从单个RGB图像生成完全交互式的模拟场景，由三个连续步骤组成：
信息提取：首先，从输入的RGB图像中提取对象信息。
数字表亲匹配：利用第一步提取的信息，结合预先准备的3D模型资产数据集，为检测到的每个对象匹配相应的数字表亲。
场景生成：对选择的数字表亲进行后处理并编译在一起，生成一个物理上合理且完全交互式的模拟场景。
通过这三个步骤，ACDC能够自动创建与输入图像语义相似但不完全相同的虚拟场景，为机器人策略训练提供多样化的环境。
结论
最终，研究者得出了以下结论。
ACDC是一个全自动化管线，能够快速生成与单张真实世界RGB图像相对应的完全交互式数字表亲场景。
研究发现：
1. 鲁棒性
在这些数字表亲设置上训练的策略，比在数字孪生上训练的策略表现出更强的鲁棒性。
为了进一步检查数字表亲对朴素域随机化的相对影响，研究者根据其他基线在 DoorOpening任务上重新运行了sim2sim实验
2. 性能对比
领域内性能：数字表亲训练的策略与数字孪生训练的策略相当。
领域外泛化：数字表亲训练的策略展现出优越的领域外泛化能力。
3. 零样本学习
数字表亲训练的策略能够实现零样本从模拟到现实的策略迁移。
作者介绍
TianyuanDai
Tianyuan Dai本科毕业于香港科技大学，获得了计算机科学和数学学士学位，目前在斯坦福攻读硕士学位，隶属于斯坦福SVL实验室（Vision and Learning Lab）和PAIR研究小组（People, AI & Robots Group），由李飞飞指导。
他的长期愿景是将人类对现实世界环境的理解融入到机器人算法中，使用数据驱动的方法帮助人们完成日常任务；最近研究的重点是开发real2sim2real范式，以实现稳健的操控策略学习（manipulation policy learning）。
Josiah Wong
Josiah Wong目前在斯坦福大学攻读机械工程博士学位，导师是李飞飞，同样在SVL和PAIR组工作。
此前，他在斯坦福大学获得硕士学位，在加利福尼亚大学圣迭戈分校获得学士学位。
他致力于利用仿真技术来拓展机器人操作能力，目标是推动日常通用机器人的发展，从而改善我们的日常生活。
