文丨李安琪
编辑丨李勤
与自动驾驶相关文章，首次获得全球顶级计算机视觉会议CVPR的最佳论文。
6月22日，全球顶级计算机视觉会议CVPR 2023公布了最佳论文等奖项。一篇名为《Planning-oriented Autonomous Driving》（以路径规划为导向的自动驾驶）论文，成功从9155篇投稿、2359篇接收论文、12篇入选最佳论文候选名单中脱颖而出。
这也是近十年来，CVPR会议上第一篇以中国学术机构作为第一单位的最佳论文。该论文由上海人工智能实验室、武汉大学及商汤科技联合完成。
CVPR在学术界及产业界的影响力毋庸置疑，与ICCV、ECCV并列为计算机视觉领域三大顶级会议。全球最聪明的头脑汇聚于此，特斯拉也连续几年在CVPR上公布其自动驾驶技术最新进展。
今年的竞争相当激烈。据公开信息，今年12篇入选最佳论文候选名单机构，不仅有谷歌、Stability AI等人工智能领域顶尖企业，也有上海人工智能实验室、斯坦福大学、康奈尔大学、香港中文大学、香港科技大学、南洋理工大学等研究机构及高校。
而上海人工智能实验室、武汉大学及商汤科技联合获奖的关键在于，提出了一个感知决策一体化的自动驾驶通用大模型UniAD。
大会官方组委会认为，论文提出的端到端感知决策一体框架，融合了多任务联合学习的新范式，使得进行更有效的信息交换，协调感知预测决策，以进一步提升路径规划能力。
这证明了大模型与自动驾驶产业结合的潜力。今年初，ChatGPT的爆火，让机器学习与理解人类语言的能力有了本质飞跃。而大模型，也有望为自动驾驶产业落地指出更清晰的方向。
端到端的自动驾驶大模型UniAD
论文指出，随着深度学习发展，自动驾驶算法被组装成一系列任务，包括目标检测与跟踪、在线建图、轨迹预测、占据栅格预测等子任务。
基于这些子任务，行业有着多种自动驾驶系统框架设计：模块化设计，多任务框架，但两种方案都面临着累积错误或任务协调不足的困扰。
比如自动驾驶公司Waymo、Cruise采用的模块化设计方案，每个独立的模块负责单独的子任务。这种方案具备简化研发团队分工，便于问题回溯，易于调试迭代等优点。但由于将不同任务解耦，各个模块相对于最终的驾驶规划目标存在信息损失问题，且多个模块间优化目标不一致，误差会在模块间传递。
论文认为，多任务框架是更优雅的一种设计方案，代表性企业有美国特斯拉、中国小鹏汽车等。方案中不同任务使用同一个特征提取器，具备便于任务拓展、节省计算资源等优点。但不同任务之间仍存在预测不一致、表征冲突的问题。
a为模块化设计、b为多任务框架、c1/c2为两种端到端方案、c3为UniAD方案示意 图源论文
相比之下，端到端自动驾驶方案将感知、预测和规划所有节点视为一个整体，但现有的两种端到端方案也还面临挑战。
一种简单的方式直接以传感器信号作为输入、以轨迹/控制作为输出，能够在仿真中取得较好结果，但缺乏可解释性与实际应用安全性，尤其是在复杂的城市道路场景。
另一种方案是，对模型进行显式设计，将整个架构分为感知-预测-规划模块，使其具有部分中间结果表达。但这种方式面临检测结果在模块间不可微导致无法端到端优化，稠密BEV预测时长有限，过去-未来、物体-场景等多维度信息难以高效利用等困难。
因此，本篇论文提出了一个端到端方案Unified Autonomous Driving，即UniAD。上海人工智能实验室指出，UniAD能够成功解决不同任务融合难的问题，从而实现多任务和高性能的关键在于以下两点。
一是多组查询向量的全Transformer 模型：UniAD利用多组 query 实现了全栈 Transformer 的端到端模型，可以从具体 Transformer 的输入输出感受到信息融合。二是以最终“规划”为目标，全部模块通过输出特定的特征来帮助实现最终的目标“规划”。
自动驾驶端到端架构 (UniAD)的流程 图源论文
从论文来看，UniAD将感知、预测、规划等三大类主任务、六小类子任务（目标检测、目标跟踪、场景建图、轨迹预测、栅格预测和路径规划）整合到统一的端到端网络框架下。
具体来说，将一系列多摄像头图像输入特征提取器，并通过BEVFormer 转换为统一的鸟瞰图（BEV）。这部分可以快速替换为其他BEV模型，具有较好可拓展性。
在感知环节中，UniAD的目标检测与跟踪模块可以实现对动态元素的特征提娶帧间物体跟踪；在线建图模块实现了对静态物体的特征提娶实例级地图预测；
在预测模块，UniAD可以实现动静态元素交互与长时序轨迹预测；占据栅格预测模块实现了短时序全场景BEV、实例级预测；
在规划模块，UniAD实现基于自车query的轨迹预测和基于占据栅格的碰撞优化。
论文表示，UniAD 的培训分两个阶段：首先联合训练感知部分，即目标跟踪和建图模块，这将持续几个阶段（在实验中为6个阶段），然后使用所有感知、预测和规划模块端到端地训练模型20个阶段。
从结果来看，论文表示，在nuScenes真实场景数据集下，所有任务均达到领域最佳性能（State-of-the-art），尤其是预测和规划效果远超之前最好方案。其中，多目标跟踪准确率超越SOTA 20%，车道线预测准确率提升30%，预测运动位移和规划的误差则分别降低了38%和28%。
在晴天直行场景中，UniAD 可以感知左前方等待的黑色车辆，预测其未来轨迹（即将左转驶入自车的车道），并立即减速以进行避让，待黑车驶离后再恢复正常速度直行 图源上海人工智能实验室
在雨天转弯场景中，即便面对视野干扰较大且场景复杂的十字路口，UniAD 能通过分割模块生成十字路口的整体道路结构（如右侧 BEV图中的绿色分割结果所示），并完成大幅度的左转 图源上海人工智能实验室
从论文到产业还要多久？
当然，从前瞻学术论文到产业跟进、技术大规模惠普，所需要的时间并不短。
以当下被行业火热讨论的BEV为例。2021年特斯拉首次基于Transformer将摄像头2D图像拼接转化成3D图景，生成鸟瞰图 “Bird's Eye View”，简称“BEV”。这是大模型在自动驾驶感知环节的应用。
两年时间过去，当下国内企业虽已纷纷跟进，但仅有少数几家能拿出先期成果。
而UniAD大模型是更为庞大的、涉及感知、预测、规划的复杂系统工程，其中的技术优化与工程化落地只会比BEV更艰难。
论文本身也指出，协调这样一个具有多个任务的综合系统并非易事，需要大量的计算能力，尤其是经过时间历史训练的计算能力。如何为轻量级部署设计和管理系统值得未来探索。
论文作者之一、上海人工智能实验室青年科学家李弘扬博士表示，UniAD提供了全套关键自动驾驶任务配置，其充分的可解释性、安全性、与多模块的可持续迭代性，是目前为止最具希望实际部署的端到端模型。这套基于视觉的全栈自动驾驶框架，据初步测算，每年节省激光雷达与标注成本可达千万级。
部分玩家已经在行动。据36氪了解，小鹏和理想汽车都在筹备研发全栈端到端自动驾驶方案。“目前效果还不太好，但潜力很大。”有内部人士透露。
总而言之，新的技术的种子已经播下，行业新一轮竞赛也可能已经开始。接下来，就看谁能给出更肥沃的土壤与更恒久的耐心。
文章参考：
1.《Planning-oriented Autonomous Driving》
2.《AIR学术｜上海人工智能实验室李弘扬、陈立：端到端自动驾驶算法设计思考》
3.《上海AI实验室联合团队获CVPR最佳论文奖 | CVPR 2023》
