近日在2023云栖大会上，阿里云开源大数据产品进行了年度发布：E-MapReduce、Elasticsearch等开源大数据产品全面Serverless化；创新性推出Flink与Paimon搭档的新一代流式湖仓；拥抱AI，推出Milvus全托管服务，升级智能运维工具EMRDoctor以及FlinkAdvisor。
核心组件全面Serverless化
在大会上，阿里云开源大数据平台负责人王峰，回顾了阿里云开源大数据技术演进路线：自2009年起，经历了以大数据上云为代表的1.0时代，以数据湖和实时化为代表的2.0时代，如今阿里云开源大数据平台迈向了3.0时代，随着云原生架构的深入落地，已将开源大数据平台的核心计算组件Flink、EMRSpark、StarRocks和存储组件OSS-HDFS等全部实现Serverless化。
产品性价比飙升2倍
阿里云开源大数据产品总监陈守元表示， 阿里云开源大数据产品通过底层技术优化，包括集成倚天710芯片和自研引擎功能增强等，用户使用成本大幅降低50%，引擎性能相比于开源版本提升1～3倍，综合性价比提升超2倍。
黄金搭档Flink+Paimon：新一代的流式湖仓
数据分析正从传统Hive模式向湖仓架构升级 ，阿里云从大量实践中推断，实时化是湖仓分析下一步的演进方向。在这种技术趋势下，阿里云基于黄金搭档Flink+Paimon，打造出新一代的流式湖仓新方案，为用户提供一站式数据入湖、实时加工和探查分析能力，拓展数据湖场景的实时计算能力，Flink批计算已在云上实现生产可用，支持湖上批量数据处理和作业调度。在5亿条数据入湖场景中，与开源Hudi方案相比，阿里云流式湖仓方案Upsert性能提升超过4倍，Scan性能提升超过10倍。
更智能的开源大数据
当前AI全面爆发，阿里云开源大数据平台也将AI技术引入大数据平台体系中，升级了智能化运维工具EMRDoctor、FlinkAdvisor，并已广泛应用于客户和阿里云内部平台运维，平均集群问题识别时间减少30% ，集群资源有效利用率提升75%，帮助阿里云开源大数据平台实现智能化运维和数据管理。同时，阿里云推出了Milvus全托管服务，为多模态数据提供向量检索能力，加速客户AI应用。
