“地平线提供一个新的方法用以评估芯片的AI真实性能MAPS (Mean Accuracy-guaranteed Processing Speed，在精度有保障范围内的平均处理速度)，针对应用场景的特点，在精度有保障的前提下，包容所有与算法相关的选择，评估芯片对数据的平均处理速度。希望以此为业界同行提供一个评估芯片AI真实性能的全新视角。”地平线联合创始人兼技术副总裁黄畅博士在8月8日，2020全球人工智能和机器人峰会（2020 CCF-GAIR）AI芯片专场发表演讲时，提出重新定义芯片AI性能的方法。
2020全球人工智能和机器人峰会是由中国计算机学会（CCF）主办，香港中文大学（深圳）、雷锋网联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办的全球盛会，于8月7日至9日在深圳举办。
“纵观深度学习神经网络模型的发展演进，我们发现AI芯片面临的一大挑战，是算法演进速度远超硬件改进速度，致使评估芯片AI性能的方法与算法发展之间存在脱节的现象，”黄畅在演讲中说道。
目前，业界尚缺乏一个与时俱进的，能够有效评估芯片AI性能的标准。业界惯常使用的芯片评测标准有两种，一是峰值算力，但峰值算力只反映AI芯片理论上的最大计算能力，而非在实际AI应用场景中的处理能力，具有很大的局限性；二是目前行业较为知名的基准测试组织MLPerf，其采用的模型少且更新速度滞后于算法演进的速度，无法及时反映算法效率的提升以及各种精度下芯片能够达到的计算速度，因而无法描述芯片AI性能的全貌。
针对当前AI芯片评测中存在的问题，地平线提出MAPS评测方法，为行业提供一个评估芯片AI性能的视角。“评估芯片AI性能，本质上应该关注做AI任务的速度和精度，即‘多快’和‘多准’。”黄畅介绍说：“MAPS评测方法，关注真实的用户价值，将每颗芯片在‘快’和‘准’这两个关键维度上的取舍变化直观地展现出来，并在合理的精度范围内，评估芯片的平均处理速度。这个方法具有可视化和可量化的特点。”
MAPS 聚焦“快”和“准”两个关键评测维度，用最优帧率精度所围面积直接体现 AI 芯片的最强能力
地平线作为边缘AI芯片领导者，长期致力于AI芯片的软硬件研发和商业落地工作。此次提出MAPS芯片AI性能评测方法，为行业提供一种在峰值算力之外，从“快”和“准”两个维度帮助用户理解芯片AI性能的角度。该方法包容评测过程中所有可能的选择，在体现芯片的真实AI性能的同时留有最大的优化空间，指引用户以最优方式使用芯片。这个评测方法最重要的意义，是鼓励行业树立对正确目标的统一认知，形成合力，更好地协同推动AI芯片产业发展。
