云原生和AI都是现在时下的热词,“云原生AI”又是什么?是不是有凑热闹的嫌疑?
“云原生AI”意味着数据从采集、落地到使用都是在云上直接实现,而且通过人工智能运用这些数据,产生更有效的模型进行投产,让模型基于云化,使用DevOps技术等,让云化的内容和CI/CD这样的逻辑搭配在一起,就更灵活的把AI能力部署到终端,例如用PRC控制机械臂,产生更大的价值。
云原生与AI结合可以说优势多多,红帽资深解决方案架构师赵锡漪表示,在制造业场景中,通过DevOps或CI/CD的方法把容器调度起来,同时把人工智能的逻辑也调度进去,就会快速实现生产的转型,实现一条生产线上今天和明天生产不同的产品,甚至在焊接时,根据算法不断调整焊接位置,达到可预期的未来。
数据引擎、数据科学、应用开发都是一个CI/CD过程,需要一个平台将其串联,实现多段联合。
红帽的云原生AI能力就体现在OpenShift上,OpenShift可以实现两点,第一,隔离,让有限的项目有限的资源使用在特定的事情上;第二,共享,按政策相互间可以联通协作。
OpenShift可以同时调度英特尔OpenVINO和英伟达GPU框架,并将两者进行协同。而且OpenShift支持软性的多GPU共享,一个数据中心可以将GPU分给了很多用户。
红帽是一家开源、中立、平台型的厂商,其优势就是集合大家的优势,将这些优势应用到整个AI算法构建过程中,就变成了一个逐步可完善的过程。
赵锡漪表示,使用AI能力包括两种方式:一种是研究数据,之后进行模型构建,这也是红帽Open Data Hub产品的核心;第二种是已经写好的更底层代码,直接使用GPU资源,可以用OpenShift虚拟化,将GPU切成多个vGPU。
Prometheus、Grafana、Seldon、Spark、Jupyterhub、Ceph、Kafka、Argo组件都可以由Open Data Hub进行调度。Open Data Hub可通过MLflow模式,将这些组件经提供好的参数,直接匹配成一套可运行的环境,用户在Python上直接写代码即可,不需要再进行底层配置,这些都是红帽围绕AI构建的整个生态环境。
云上管理AI有一个组件SELODM很有价值,它可以把不同的AI模型组合在一起,通过Graff的组件把它描述成一个协同工作的模型。比如三个模型中先做两个模型的运算,然后通过前两个模型算出谁的接近率到90%以上,就把它用到的B模型的输入里面,然后B模型再输出,最终形成一个总运算结果。
用户使用SELODM组件可以同时将几个模型下发到生产中,按照比例设置这边和那边各用多少,最后评估谁的模型更有效,来发布一个更有效的模型。
在AI实践中数据科学家有两个瓶颈,第一,怎么开始,因为拿到的数据和设计的数学公式和业务目标并不是真正匹配起来;第二,怎么投产,已有模型但不知道谁来做、怎么做。赵锡漪指出,使用SELODM组件的框架可以把模型和科数学科学家偶合,变成一种平台化的对接行为,减少沟通方面的瓶颈。
在OpenShift快速搭建数据科学实验室,可以用一个典型的工业制造项目MANUfacturing Edge Lightweight Accelerator来进行解读。
MANUfacturing Edge Lightweight Accelerator项目包括多域、多云如何组合、这些云如何协同、怎样在传统系统上独立构建出一个新的数学科学实验室,然后把原来已经在生产线的数据采集之后交给数学实验室,由数学实验室形成一些AI模型,再下发给生产线上的一些监控设备和监控窗口,形成一个对原有监控体系的完整体系。
项目有基础的框架,同时它是轻量级的,所以无论你想做什么样的事情,都可以在这个架构上开始。赵锡漪表示,项目还带有边缘计算特性,对于一些边缘计算的场景应用也是个很好的起步项目。
红帽还将推出AI/ML on OpenShift动手实验营,提供一个免费的培训环境,并且红帽AI/ML Innovation Lab创新实验室也将进入中国,为中国客户提供咨询服务。红帽首席架构师张家驹表示,红帽AI/ML Innovation Lab创新实验室可以帮助企业从Open Source环境搭建选择,以及需求整理、设计,直到最终做一个原型的过程。