人形机器人要走向真实生活,如何更好地训练它们面对各种突发、意外、长尾场景?
眼下,大家真不用在真实场景的数据里穷尽各种可能了。
9月17日,挪威机器人公司1X发布一款针对机器人的“世界模型”,结合了Sora视频生成和端到端自动驾驶(E2EAD)世界模型(world models for autonomous vehicles)技术,可生成高保真的视频,使得机器人能够模拟多种场景下的动作和交互,从而在模拟空间中进行规划、操作、训练和评估,提高其在现实世界中执行任务的效率和准确性。
1X公司成立于2014年,主要研发双足机器人和商用轮式人形机器人,于2023年获得Open AI的投资,并与之共享数据和技术。
如何训练及评估机器人与真实世界的泛化交互能力,是机器人行业亟待解决的关键问题。
由于真实世界的环境存在不稳定性,通常很难重现。为控制环境因素的变量,传统的训练方法往往采用基于物理的模拟仿真器(如Bullet、Mujoco、Isaac Sim、Drake),使得实验和训练可重置及重现,从而能够比较评估不同的控制算法。
然而,这些模拟器大多是为刚体动力学而设计,所模拟的环境通常在视觉和实际用例多样性方面较为有限,导致难以将小规模评估结果直接推广至现实世界。
而在1X之前,产业界也有不少拓展机器人训练场景和任务多样性的尝试。
2024年7月15日,上海AI实验室推出首个专为各种机器人设计的模拟交互3D社会GRUtopia(桃源),包含了覆盖10万个精细注释的交互式场景数据集GRScenes、由大型语言模型驱动的NPC(非玩家角色)系统GRResidents,以及评估机器人能力的基准测试GRBench。
GRUtopia采用从仿真到真实(Sim2Real)的范式,旨在降低现实世界数据收集的难度和成本,解决具身智能领域的数据稀缺问题。该项目已全部开源。(开源地址:https://github.com/OpenRobotLab/GRUtopia)
此次1X公司发布的“世界模型”,在构建和评估机器人能力时,采用了一种全新的方法直接从机器人原始传感器数据中学习。
1X公司收集了数千小时机器人在家庭和办公环境中交互的真实数据,训练该模型学会了模拟现实环境,并根据不同动作指令模拟产生不同结果,预测机器人与环境的交互,如规划路径、抓取物体、折叠衣物,甚至自动避免与人碰撞,能够在数百万个场景中评估机器人策略的表现。
图1 模拟左门轨迹 图片来源:1X官网
图2 模拟右门轨迹 图片来源:1X官网
图3 弹奏空气吉他 图片来源:1X官网
尽管在物体一致性、物理规律和自我认知方面仍存在一些挑战,1X此次发布的“世界模型”为机器人学习和认知研究提供了全新的视角。其创始人兼CEO Bernt Bornich认为,该模型“首次证明了人形机器人数据正显著地推进“Scaling Law”(规模定律,即系统性能会随着规模的变化而呈现规律性变化)。
或许很快,机器人将迎来自身的sacling law。更令人期待的是,机器人何时能够从“世界模型”中走出,真正融入现实世界?
生物医药01 Neuralink盲视设备获“突破性设备认定”
9月17日,脑机接口公司Neuralink研发的“Blindsight(盲视)”植入物获得美国FDA的突破性设备(Breakthrough Device)认证,有望加速某些在研设备的开发和审查。Blindsight通过微型电极直接刺激大脑的视觉皮层(大脑中处理视觉信息的关键区域),从而绕过眼睛和视神经、模拟视觉感知。这是Neuralink的第二个技术产品,此前公布的首款产品“Telepathy(心灵感应)”已公开两例脑机接口植入试验的进展情况。
点评:Blindsight虽然还在早期阶段,但有望为无法通过传统方法恢复视力的人群提供新的治疗选择,同时为研究人员提供了一个直接观察大脑如何处理视觉信息的窗口。目前也有公司在研发类似设备,如总部在美国的生物技术公司Cortigent的植入设备Orion自2017年以来已招募了六名受试者。(罗仙仙)
02 罗氏抗病毒药物可减少家庭成员间的流感传播
9月18日,罗氏(Roche)旗下基因泰克(Genentech)宣布,抗病毒药物Xofluza(玛巴洛沙韦,baloxavir marboxil)用于减少家庭成员间流感传播的III期CENTERSTONE研究取得了积极结果。感染流感的人群单次口服Xofluza,可显著降低同住家庭成员感染流感病毒的可能性,达到了主要终点。
Xofluza是一种“first-in-class”单剂口服药物,通过抑制帽依赖性内切酶蛋白来阻断病毒复制,可减少传染期和疾病的持续时间,由盐野义(Shionogi)与罗氏合作开发。2018年2月首次在日本获批用于治疗A型和B型流感病毒感染,目前已在全球超过80个国家和地区获批用于治疗无并发症的A型和B型流感。
点评:流感是最常见且最严重的传染病之一,有明显的家庭聚集性,家庭隔离是降低传染风险的重要措施。在上述研究中,Xofluza减少了家庭接触者之间的流感传播。人类对抗流感病毒的“武器库”越来越全面,从预防流感疫苗、治疗流感症状到接触后预防感染,再到减少病毒传播。(罗仙仙)
03铜死亡纳米胶囊,可增强癌症放疗效果
9月19日,中国科学院高能物理研究所谷战军研究员、北京协和医院晏俊芳医生等在Nature 的子刊NatureNanotechnology发表论文A cuproptosis nanocapsule for cancer radiotherapy,研究团队开发了一种铜死亡(Cuprotosis)纳米胶囊,作为辐射增敏策略,克服了肿瘤的获得性辐射抗性,并激活了强大的远隔效应(Abscopal Effect),优化放疗的局部抗肿瘤效果,同时激活全身抗肿瘤免疫。
点评:放疗后持续存在的残留肿瘤通常会产生获得性放射抗性,增加复发和转移的风险,同时给再次放疗带来障碍。铜死亡(Cuprotosis)是一种新发现的铜依赖的细胞程序性死亡方式,纳米胶囊这一基于铜死亡机制而探索的新的辐射增敏策略,有望解决已经获得辐射抗性的肿瘤所面临的挑战。(李一跞)
人工智能04 AI驱动的虚拟实验室工具CREME
9月16日,美国冷泉港实验室的彼得-库(Peter Koo)团队在《自然》(Nature)发表论文Interpreting cis-regulatory interactions from large-scale deep neural networks,介绍其开发的AI驱动虚拟实验室工具CREME,科学家只需点击按钮即可运行数千个虚拟实验,并能提供从顺式调控元件到精细映射功能序列元件的跨基因组组织的多尺度解读,为基因组的调控结构提供高分辨率的见解。
CREME以 CRISPR 干扰(CRISPRi)为模型,CRISPRi 是一种基于CRISPR的基因扰乱技术,允许科学家降低细胞中特定基因的活性。CREME可以让科学家在虚拟基因组中做出类似的改变,并预测这些改变对基因活性的影响,相当于AI版的CRISPRi。
点评:CREME提供了一个强大的工具包,可将基因组DNN的预测转化为基因调控机理的见解,可以帮助科学家更好地识别基因组的关键调控区域,并精确调控基因表达水平,在药物发现方面具备巨大潜力。CREME也许很快就能让遗传学家走上发现新治疗靶点的道路,甚至无法进入真正实验室的科学家也有能力实现这些突破。(李一跞)
05 全球首个多模态地理科学大模型
9月17日,中国科学院地理科学与资源研究所发布全球首个多模态地理科学大模型“坤元”,通过海量数据训练,坤元具备强大的语言理解、信息生成和处理能力,具备“懂地理”、“精配图”、“知人心”、“智生图”等特点,实现了地理专业问题解答、文献智能分析、数据资源查询、数据挖掘分析和专题地图绘制等功能,已在Nature子刊、The innovation、Earth’s Future等成功支撑发表高水平学术论文十余篇。
点评:此模型不仅有助于拓宽普通大众的地理视野,解放地理从业者的双手,还赋能地理科学研究,加速了重要地理科学的发现,推动了地理科学和人工智能的融合。(谯雅馨)
06 Runway与狮门影业合作影视
9月18日,AI视频生成平台Runway宣布与美国电影制片和发行公司狮门影业(Lionsgate)达成合作,将使用狮门影业超过两万部的影片资源库来创建和训练一个新的AI模型,以帮助狮门影业的电影制作人、导演和其他创意人才,提升工作效率。
点评:这是生成式AI公司与好莱坞主要制片厂的首次公开合作,标志着AI技术在电影产业的创新应用迈出了重要一步,未来将诞生更多借助AI技术的创意作品。(谯雅馨)
科学前沿07 中国将向全球开放12个核科研设施和实验平台
9月16日,在维也纳召开的国际原子能机构第68届大会期间,中国国家原子能机构副主任刘敬表示,中国决定面向世界各国开放包括中国先进研究堆在内的12个核科研设施和实验平台,涉及核基础科研、材料与部件辐照测试、同位素生产制备、反应堆热工水力、核环境模拟及核设备测试、放射性废物处理处置、核聚变实验研究等诸多领域。
中国目前设有8个国际原子能机构协作中心,与法国、俄罗斯、欧盟等建立了良好的核科技研发合作机制,并与泰国、印尼、巴基斯坦、阿尔及利亚、加纳、尼日利亚等国合作,在当地建设了一系列核科研设施和联合实验室。
点评:各国共享核科技研发、试验测试、工程验证等优势技术资源平台,有助于携手推动核能发展更加普惠包容、核能合作更加开放有序,为应对全球气候变化、加快能源绿色低碳转型贡献力量。(曹妍)
08 首次观测到夸克间的量子纠缠
9月18日,欧洲核子研究中心(CERN)的ATLAS协作组在《自然》发表论文Observation of quantum entanglement with top quarks at the ATLAS detector,研究人员利用CERN的大型强子对撞机(LHC),通过其ATLAS探测器,首次捕捉到顶夸克与反顶夸克之间的量子纠缠,也是迄今为止观测到的最高能量的量子纠缠。
顶夸克是已知的最重的基本粒子,其质量约为质子的173倍。由于质量大,顶夸克迅速衰变,在顶夸克对中观察到量子纠缠,是理解极端能量尺度下量子力学的一个重要里程碑。
在该研究中,科学家们分析了约一百万对顶夸克及其反粒子,实验结果与理论模型的对比验证了顶夸克对之间存在显著的量子纠缠,其纠缠参数_D_值远低于判定纠缠的理论阈值-1/3,为-0.537,从而确认了顶夸克对之间的量子纠缠现象。
点评:量子纠缠在低能环境下如电子和光子已被验证多年,但在高能粒子碰撞中观测到纠缠则一直是一大挑战。此次发现不仅验证了量子纠缠在高能条件下的存在,也为量子力学在更高能量层面的研究提供了新的视角和工具,并加深人类对量子纠缠及其在不同领域的应用的理解。(谯雅馨)
09 可自由组合、变形的六边形机器人
9月18日,《科学机器人》(Science Robotics)发表德国马克斯普朗克智能系统研究所(MPI-IS)研究团队的论文Hexagonal electrohydraulic modules for rapidly reconfigurable high-speed robots。研究人员开发了一种HEXEL六边形电液机器人模块,模块的外骨骼为轻质刚性玻璃纤维板,内部关节由液压放大的自愈静电(HASEL)“人工肌肉”驱动。这些模块能通过磁力拼接,快速形成不同形态的机器人,并实现爬行、跳跃、组装成大型结构等多种行为,具有超强的灵活性和适应性。
HEXEL模块组合。图片来源:MPI-IS。
点评:HEXEL模块可以像乐高积木一样自由拼接和变形,展示了一种创新的可重构模块化机器人设计方案,或将彻底改变设计、制造和使用机器人的方式。(罗仙仙)
10 将人类基因组存储在“5D”记忆晶体
9月19日,英国南安普顿大学(University of Southampton)发布消息,该校光电研究中心(Optoelectronics Research Centre) 彼得-卡赞斯基(Peter Kazansky)领导的研究团队,开发出能够长期存储信息的“5D记忆晶体”,并使用超快飞秒激光将数据精确地刻录到纳米结构的玻璃内定向的自组装纳米结构空隙中。
该晶体相当于熔融石英,是地球上化学和热耐久性最强的材料之一;他们采用的编码方法使用两个光学维度和三个空间坐标来写入整个材料,因此被称为 “5D”。这种5D晶体可保存多达360TB(兆字节)的信息长达数十亿年,可承受冰冻、火烧和高达 1000 °C 的高温和低温极端环境,能承受高达每平方厘米10吨的直接冲击力,长期暴露于宇宙辐射下也不会发生变化。
研究团队创建了一个包含完整人类基因组的5D记忆晶体,并将之存放在“人类记忆 ”档案馆,位于奥地利哈尔施塔特(Hallstatt, Austria)盐洞中的一个特殊时空胶囊里。
点评:这项技术可用于为濒临灭绝的动植物物种建立基因组永久记录,理论上,这块存储了人类基因组的5D记忆晶体也可以让人类在数千、数百万甚至数十亿年后从灭绝中复活。今天人类科学家的这一动作,为后世开启了一个新的悬念,将来打开这个晶体的物种/文明会是什么?(李一跞)
11 刷新水冷磁体世界纪录
9月22日,中国科学院合肥物质科学研究院强磁场科学中心自主研制的水冷磁体,在32.3兆瓦的电源功率下产生42.02万高斯(即42.02特斯拉)的稳态磁场,打破了2017年由美国国家强磁场实验室水冷磁体产生的41.4万高斯的世界纪录,成为国际强磁场水冷磁体技术发展新的里程碑。这也是稳态强磁场实验装置继2022年混合磁体成功创造45.22万高斯的世界稳态磁场纪录之后,取得的又一重大突破。
点评:目前全球共有五大稳态强磁场实验室,分别位于美国、法国、荷兰、日本和中国。稳态强磁场是物质科学研究所需的一种极端实验条件,是推动重大科学发现的“利器”,迄今有十多项获诺贝尔奖的科研成果是在稳态强磁场条件下开展的研究。期待这一水冷磁体为科学家探索新现象、揭示新规律提供强大的实验条件,拓展人类的科学认知边界,带来更多科技创新。(李一跞)
南方周末科创力研究中心
责编 黄金萍