明敏 鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
大模型趋势，给与之相关的一切来了亿点“小震撼”。
人工智能/机器学习平台正是其中之一。
它与大模型趋势紧密相关，能直接反映出各大云厂商的AI技术研发储备水平，以及对最新趋势的洞察和理解能力。
究竟谁家实力更强？正被业内所津津乐道。
而技术风向剧变之下，AI/ML平台也有了新的评价标准。
国际权威机构Forrester最新发布的“首份中国人工智能/机器学习平台报告”，恰逢其时给出参考。
Forrester Research是一家独立的技术和市场调研公司，其发布的主题报告在中国乃至全球范围内具有很高的市场认可度。
其中The Forrester Wave类型两年发布一次，是Forrester影响力最高的报告类型。
报告调研了国内市场14家主流云厂商，包括百度智能云、阿里云、华为云、腾讯云等，从产品能力、战略规划和市场表现三个方面对其进行评测。
基于25项细分标准的全面评估，Forrester将这14家主流厂商划分为4个象限：领导者、优秀表现者、竞争者和挑战者。
具体亮点，一起来看。
新趋势带来哪些新标准
先来看报告的核心结论。
在这张象限图里，以战略水平为横轴、产品能力为纵轴，按照领导者、优秀表现者、竞争者和挑战者四个象限进行划分，同时也体现了各家的市场表现。
各个象限的分布如下：
领导者（2个）、优秀表现者（5个）、竞争者（4个）、挑战者（3个）。
位于第一梯队的分别是百度智能云和阿里云。其中，百度智能云表现亮眼，拿下综合得分第一。
第二梯队竞争最为激烈，5家厂商在象限图中的位置非常紧凑。
如上结论是Forrester进行25项评估后得出的结果。
而除了梳理当下中国市场AI/ML平台竞争格局外，Forrester更进一步为评估AI/ML平台提出新的标准参考。
以下三点最为关键：
全面的工具链
易用的加速器
规模化的模型运营（ModelOps）
为什么？
Forrester认为，在生成式AI和大模型趋势影响下，AI应用落地被更进一步重视，以推动生产力水平提高、加速业务创新。
在当下的中国市场里，企业正迫切需要能在自身业务环境内解决复杂问题的AI/ML平台。
而想要满足市场需求，如上提出的三个方面缺一不可。
其一，要有提供数据管理、模型训练和AI应用开发能力的工具链。
这也是AI/ML平台的核心。
Forrester提出平台方不仅要关注模型构建、训练评估方面的关键工具，还应该重视AI应用开发所需的工具。
比如面向专业人员提供的AI框架、Notebook；面向业务人员的低代码、可视化工具。
除此之外，数据管理工具对模型构建也有重要影响。
其二，提供面向行业的易用加速器。
Forrester指出国内市场大多公司都缺乏既懂AI算法又懂业务知识的工程师，这使得他们很难根据自身业务需求量身定制算法。
目前他们拥抱大模型趋势的“姿势”，要么是拿来大模型微调、要么是进行提示工程。
所以，能加速AI模型构建、应用开发的加速工具非常关键。如可视化工具、低代码开发等都能进一步加速创新。
其三，通过大规模的模型运营加速大模型落地。
模型运营（ModelOps）包括模型部署、监控、更新、自动化等方面，可解决模型漂移、性能下降、安全维护和模型更新等问题，提供A/B测试、自动调整、模型再训练等能力。
在企业拥抱大模型趋势下，具备大规模模型运营的AI/ML平台能更好帮助企业开发部署管理AI模型，更进一步推动企业数字化转型、降本增效。
总结来看，一个AI/ML平台想要成为新趋势中的领先者，需要提供简单易用的工具、满足行业需求、并能加速企业应用AI。
而更具体需要具备哪些能力，还得从当下领先者身上展开分析。
如何跻身“领导者”象限？
在本次Forrester报告中，百度智能云的表现让人眼前一亮。
它是唯二进入到“领导者”象限的云厂商，同时还获得综合得分第一、9项细分评分第一。
产品能力方面，百度智能云在数据、训练、预测推理、应用四个细分领域都处于领先水平。
同时在战略维度和市场规模方面，百度也在其中多个项目获得第一。
Forrester评价百度智能云为“中国基础模型的先行者之一”：
百度智能云将ERNIE系列基础模型嵌入到具有可靠产品路线图的产品组合中，其围绕PaddlePaddle的活跃生态系统能有效地吸引人工智能开发人员进行共同创新。
其具体能力来自百度AI平台，产品包括BML、EasyDL和百度智能云千帆大模型平台等。
而以百度智能云AI平台为例，便可更具体分析当下AI/ML平台想要在市场中占据领先身位，应该具备哪些能力。
按照Forrester报告的划分维度，具体能力可从五方面出发：数据、训练、预测推理、应用和架构。这也是AI模型开发应用过程中最核心的五大要素。
首先来看数据方面。
在数据处理部分，百度AI平台可同时处理结构化、非结构化数据。
支持65种以上的数据可视化，包括饼图、热力图、散点图、地图等。支持10+种过滤组件，用户只需进行简单配置和拖拽，就能实现实时数据监控、辅助决策。
同时还支持30+种数据格式标注，提升建模环节中人力最为集中的标注环节的效率。
值得一提的是，百度AI平台提供了主动学习标注能力，系统可以直接从数据集里分析图片的模式，自动筛选出来最关键的图片，提示有限标注。
比如有10000张图需要标注，系统会将有特点的图前置、有重复性的后置，这样一来只标注前3000张图，后7000张就能自动标好。
据介绍，这种方式平均可为企业用户节省70-90%的人力。大幅降低了“人工智能”中人工的比例。
此外，在特征工程方面，百度AI平台集成了专业级特征库管理能力，提供特征的增删改查、特征生产、特征共享、特征版本管理、数据验证等功能。
支持批式、流式不同形式数据用于预测服务，这样能保证模型训练和最终预测时特征一致，直接关乎模型的准确性高低。
以上能力反映到具体数字层面，Forrester报告给百度AI平台的数据能力打分为5（满分），大幅领先于其他厂商。
其二是模型训练环节。
这也是最新趋势中市场需求最明显的方面之一，它的受众不仅有专业开发者，还包括对AI算法并不专长的业务人员，所以这要求提供能力的AI/ML平台要足够易用和灵活。
参照百度AI平台的做法。
一方面是重视“广度”，支持多种数据的建模和训练，如图像、视频、文本、语音等。
建模方式也很灵活，支持Notebook/WebIDE开发、拖拽式可视化开发、脚本调参、自定义作业等多种建模方式，可以面向不同专业水平人群，完成高精度模型的定制开发。
另一方面是“深度”。在自家飞桨算法团队的支持下，百度AI平台对大量的场景算子做了深度优化。包括图像分类、物体检测、文本分类、序列标注等方面。
比如基于Paddle算子进行深度优化的PP YOLO，效果已经超越了目标检测领域标杆YOLO V3。
易用性也是一大重点。在百度AI平台上可以实现零代码建模和可视化建模。前者只需用户上传数据、选择类型即可开始建模；后者通过拖拉拽拼接组件、设置各个部分参数即可组配出一个建模流程。
另外，当下AI计算量正以每年至少10倍的速度增长，深度学习训练中调整任务资源的能力也变得尤为重要。百度AI平台支持多机多卡分布式训练，并提供多种类型算力资源。
加上百度本身就有训练超大模型的丰富经验，在视觉大模型、生成式AI等方面能都整合了自身能力。如可以进行自动超参数搜索、不平衡数据自动处理、超大规模预训练等。
由此在百度AI平台上，也能看到非常多开发工具，用来提升编程效率。
第三个能力维度是推理。
随着大模型趋势发展，推理市场还将进一步扩大、甚至呈指数级趋势增长，这给AI/ML平台也提出很大挑战。
从百度AI平台的做法来看，他们主要关注了开发效率、性能优化、灵活度、广泛度几个方面。
其推理模块Model Serve支持16种AI框架，包括最常见的Paddle、Tensor Flow、PyTorch，以及科学计算方面的Matlab/R，机器学习方面的Xg boost等。
性能优化方面，通过在调度层上直接抽象出来一个异步推理调度器，实现推理Worker异构，将整个服务器性能和GPU利用率提高1倍以上。
同时支持自动化批处理，对不同长度任务进行分类，将大小类似的任务编入同一个batch以充分利用异构资源，这种方式在异步解耦的基础上, 还能再提升70%效率。
第四方面需要关注的是应用。
报告中的应用主要考察各平台的应用效率。
即如何才能利用现有资源, 快速地将数据转化为企业生产力。
百度AI平台可以提供从数据采集清洗，到模型开发训练、模型管理，再到云端及离线推理服务管理等AI开发过程的全生命周期管理能力。
值得一提的是，百度AI平台是国内第一家达到信通院MLOps标准旗舰级的平台。
目前百度AI平台的能力已经向金融、能源、交通等行业输出。服务浦发银行、北京银行，以及国家电网、南方电网等。
2022年，百度智能云AI平台公有云付费用户数增长49%，私有化客户数增长32%，开发者增加了122.8万，增长率40%左右；复购率连年上升，在重点行业中复购率已经达到50%。
最后在架构维度上，百度AI平台的架构设计在Forrester评分中获得了满分。
如果用一句话总结，百度AI平台达到“领导者”水平，就是做到了：
算法多、工具多、运行快、效果好，还节省服务器和人力，同时保障安全和易用。
而通过对百度AI平台整体能力的分析就不难发现，其中很多工具、构思都正符合当下大模型趋势的新需求。
实际上，在技术风向剧变的背景下，不仅对已有架构调整以适应需求变化，提出新的应对之道，也是趋势使然。
大模型时代，云上AI新竞争格局初定
所以，大模型浪潮冲击，市场对AI/ML平台的需求究竟发生了哪些新变化？
在过去，CV、NLP的诸多模型虽有SOTA之名，在产业界却仍更多被用在非核心业务上。而现在，大模型凭借其颠覆传统工作流的惊人能力，开始受到越来越多认可，被认为是突破各行业智能化瓶颈的关键所在。
但对于云厂商而言，这并不意味着，大模型时代之于小模型时代，是“从零再出发”。
实际上，随着大模型应用的深入，Agent（智能体）等技术领域越来越受到关注。核心在于，大模型基于自身能力，在实际应用中连接调度成熟的小模型去解决问题，这样的模式被认为在生产场景中落地更快、更具价值。
因此，在大模型开启的“新时代”里，对于AI/ML平台的“领导者”而言，小模型时代的技术积淀和大模型时代的技术创新，两者是相辅相成，缺一不可的。
百度AI平台在“新时代”交出的答卷百度智能云千帆大模型平台就是一例。
作为一个一站式企业级大模型平台，百度智能云千帆平台本质上是百度在芯片层、框架层、模型层和应用层均有深度积累后的产物。
具体体现在五个方面：
第一，在算力层面，百度智能云千帆平台可以提供高效、高性价比的异构算力服务。
在大模型训练环节，通过分布式并行训练策略和微秒级互联能力，百度千帆平台上万卡规模集群训练的加速比可以达到95%。同时万卡集群有效训练时间占比能达到96%，大幅降低算力和时间成本。
第二，在模型层面，百度千帆平台纳管了包括文心大模型、Llama系列、ChatGLM等在内的44个国内外主流大模型，支持用户快速调用API，直接获取大模型能力。
对于第三方大模型，百度千帆平台还针对性地进行了优化，包括中文增强、性能增强、上下文增强等等。
百度透露，百度千帆平台的大模型API调用量正持续高速攀升。目前，百度千帆平台已经服务了超过2万家客户。
第三，对于希望基于现有大模型进行二次开发的客户，百度千帆平台为大模型的再训练、微调、评估和部署等环节提供全生命周期工具链，以及41个高质量数据集，能实现针对具体业务场景的模型快速调优。
第四，在应用层面，针对企业基于大模型开发AI原生应用的需求，百度千帆平台提供了一系列能力组件和框架。
比如，内置226个Prompt模板，让开发者在不熟悉提示工程的情况下，也能快速让大模型的回答质量更上一层楼。
而在10月17日的百度世界大会上，百度智能云还发布了“百度千帆AI原生应用开发工作台”。具体而言，这个“工作台”由两部分组成：应用组件+应用框架。
应用组件服务由AI和基础云两大类组件构成。
其中AI组件，即大模型能力的组件化封装，包含问答、思维链（CoT）等大语言模型组件，以及文生图、语音识别等多模态组件。
基础云组件，则包含向量数据库、对象存储等传统云服务能力。
应用框架则面向具体的场景任务，可以理解为以大模型能力为基础，上述应用组件的有效组合应用。
目前，百度千帆平台提供了检索增强生成（RAG）和智能体（Agent）等常用的AI原生应用框架。
其中，RAG框架可以把企业专有领域内的知识，和大模型问答能力结合起来，对专业知识做出更为精准的回答。
三一重工就基于这一RAG框架，快速实现了官网智能客服应用的开发和上线。
百度集团执行副总裁、百度智能云事业群总裁沈抖透露，搭建这样一个“小助手”，即使需要处理几千篇万字长文档，成本也只需几百块钱；之后用户每次资讯，成本仅需几分钱。
基于Agent框架，大模型则可以对人类给定的任务进行自动拆解，自动规划并调用各种组件协同完成任务，同时根据任务完成效果自我反馈，改进自身能力。
目前，中天钢铁已基于这一Agent框架，打造了智能化的“企业调度中枢”，实现了任务指令的自动感知、分解和执行。
比如，在发现钢铁产量不达标时，只需提问一次，大模型就可以自动调用平台纳管的各种资源和API，找出未达标原因，及时调整排产计划并发送邮件通知调度人员。
最后，百度千帆还上线了“AI原生应用商店”，连接起了AI原生应用的供应方和需求方，提供了一个大模型商业机会的汇集地。
不难看出，一方面，百度智能云千帆大模型平台的快速推出得益于百度自身大模型技术的发展；另一方面，百度AI平台多年以来积累的产品能力，以及丰富的工业界实践经验，使得百度千帆平台在应用侧率先发挥出了实效。
根据IDC数据，2022年中国AI公有云服务市场逆市呈现出80.6%的正增长，整体市场规模达到79.7亿元人民币。
IDC分析认为，生成式AI、大模型的落地目前正处于起步阶段，这些能力在公有云上能看到更快速的更新迭代，短期内将为AI公有云服务带来明显利好。
Gartner也指出，生成式AI由大模型驱动，这就对计算基础设施提出了强大、高可扩展的要求。“云提供了完美的解决方案和平台，生成式AI竞赛的关键参与者必然是头部云厂商。”
结合Forrester这份最新报告，可以看出对于云厂商而言，AI云服务已经成为新的竞争焦点。
而竞争力如何衡量，现在评价的标准也逐渐清晰。
归结起来，核心还是两个方面：
其一，站在开发者、企业用户的角度，是依托于AI云服务平台的能力，能否真正高性价比地解决复杂业务中面临的实际问题，以及智能化升级过程中，尤其是大模型浪潮下专业人才短缺的问题。
其二，从技术趋势的角度来讲，是跟大模型更为紧密的结合。
百度AI平台的布局，可以视作这种最新竞争格局变化之中，头部AI云厂商给出的一份参考答案。
至于成效如何？更多的落地案例中，可见真章。
