"我手上就是一颗邃思推理芯片，它的整个封装尺寸水平和垂直各是55毫米，这在业内的推理芯片上是非常领先的。"燧原科技COO张亚林说，它的存储由2颗HBM2E构建，单芯片容量达到16GB，最大带宽达到819GB/s；封装上采用2.5D的高级封装，整合了五颗芯片！
“大芯片，加上两颗HBM2E存储的护航，构建了计算加存储的互促，使得AI的推理在带宽、存储容量和算力上能够进行极致的发挥。”
12月7日，燧原科技发布第二代云端人工智能推理加速卡“云燧i20”，其拥有迄今为止业内最大的AI加速卡存储带宽，高达819 GB/s，远超行业同类产品水平；同时全面支持从FP32、TF32、FP16、BF16到INT8的计算精度。
据了解，燧原科技第1代训练和推理产品已经在国家重点实验室，互联网，智慧城市，智慧金融等几大方向上实现了突破，已产生了过亿的订单和收入，并通过多种业务模式和产学研结合，建立了强大的朋友圈和生态圈。
“算力即生产力，正在各行各业的转型升级中体现出来。”燧原科技CEO赵立东梳理人工智能发展时表示，整个人工智能分成训练和推理，训练的比例跟整个数据科学家的生产力直接相关，而推理却跟整个用户和海量的应用直接相关，与用户和用户所持应用的数量乘积成直接正比例的关系。
赵立东说，从2017年到2023年的六年时间内，整个AI云端市场训练和推理的比例分布来看，训练产品和推理产品比例在逐渐发生变化，推理产品比例在慢慢变高。
“AI的业务从传统的单一的机器视觉、声音、文字，还有决策、推荐这样一些方向性的算法，已经变成多场景、多应用的落地。”从视觉相关的车辆追踪到内容检测，到人群密度分析，到身份识别，到很多的商品推荐应用，这些所有的AI算法方向被分解成各种各样应用场景落地在生活中。
面对广泛客户推理业务和市场需求，燧原科技如何解决这样的市场热点？燧原科技发布的第二代云端人工智能推理加速卡“云燧i20”，也是基于这样的痛点，给出解决方案。
据了解，目前以语音识别、图片识别、视频内容分析为主的感知类应用，内容推荐和欺诈交易拦截等决策类应用在云端大部分都是以实时在线的方式提供服务；同时神经网络的参数越来越多，数据带宽需求也越来越高，兼顾高带宽和低延迟变得至关重要。
云燧i20创新性地采用了高带宽HBM2E存储，实现了高达819GB/s的超大带宽，为各类云端推理业务提供高吞吐、低延时的性能，保障其准确、平稳、高效的运行。
而对比燧原科技的第一代推理产品，云燧i20将浮点算力提升到1.8倍，整型算力提升到3.6倍。升级后的“驭算TopsRider”软件栈，在性能、开发效率和模型覆盖面上得到大幅提升。
同时，通过引入通用高层图优化和大规模算子融合技术，充分释放了大容量片内存储和高带宽存储的利用率，将模型平均性能提升3.5倍，硬件算力利用率平均提升2倍；通过升级的编程模型以及算子自动分片、自动生成技术，自定义算子开发效率翻倍，模型迁移成本大大降低；此外，驭算增强了对动态性的支持，使云燧i20在检测、语音识别、语义理解等场景更具竞争力。
据了解，自第一代云端AI推理加速卡“云燧i10”发布后，以其国产AI算力产品为核心，以商业生态和科研生态为支撑，燧原科技云端AI推理产品在互联网、金融、政务等多家客户实现了商业落地，并获得认可。
今年3月，之江实验室与燧原科技成立联合研究中心，围绕人工智能应用场景，共同开发具有标杆性的技术解决方案，构建开源开放的创新生态系统。之江实验室发展合作部副部长吴丽娟说：“目前，燧原科技的第一代人工智能训练产品‘云燧T11’正在之江实验室搭建千卡高性能计算的液冷集群，打造符合国家碳中和政策导向的低碳绿色数据中心。未来，我们还会在智能计算的更多领域合作研发。”
在智慧金融领域，上海银行自贸区陈行长表示，上海银行和燧原科技已经签署了深度战略合作协议，在智慧金融领域开展了战略合作，通过场景化、智能化、融合化的创新产品，将金融科技融入银行服务的全流程，用便捷流畅的客户体验、优质高效的服务品质，实现传统银行服务方式的突破式变革。
此外，浪潮信息与燧原科技通过元脑生态联合创新，在AI整机系统、AI算力优化、场景方案落地等多方面深入合作。
“此次云燧i20的发布，标志着燧原从训练到推理全面进入2.0时代，这也是国产AI算力发展的里程碑。我们期待和燧原一起紧密合作，共同推进中国人工智能产业的快速发展。”浪潮信息副总裁刘军说。
“第2代训练和推理两条产品线逐步量产，以及软件生态的不断优化和完善，业务的加速落地和规模化正按计划逐步实现。未来，我们除了继续大力拓展上述的几个业务方向之外，还会在高性能计算，交通和能源等领域投入资源，拓展商机。”燧原科技CEO赵立东说。
