展会信息港展会大全

亚马逊云科技,如何解决生成式 AI 落地的四个关键问题?
来源:互联网   发布日期:2024-06-25 09:31:47   浏览:5436次  

导读:今天,可能是成为创业者的绝佳时机。 但再强大的大模型 api,距离产品落地,仍有不少距离。 如何寻找最佳落地场景,根据场景找到最合适的大模型,解决模型的工程化部署以及数据的实时交互,以及如何在和用户进行互动时,保证模型本身的的安全性以及用户数据...

今天,可能是成为创业者的绝佳时机。

但再强大的大模型 api,距离产品落地,仍有不少距离。

如何寻找最佳落地场景,根据场景找到最合适的大模型,解决模型的工程化部署以及数据的实时交互,以及如何在和用户进行互动时,保证模型本身的的安全性以及用户数据的安全性……

技术的落地,面临着各种苦难和挑战。

所幸,我们不是在 PC 互联网早期的年代,需要手搓代码、自行搭建服务器,所有业务完全从 0 起步。

我们有了云服务,以及围绕云服务诞生的各种上下层的服务,让创业,尤其是 AI 创业这件事,变得「如此简单」。

在 AGI Playground 2024 上,亚马逊云科技大中华区产品部 大数据与人工智能产品总监 Troy Cui,分享了亚马逊云科技在帮助创业者如何实现 AI 应用、乃至应用出海上的优秀经验。

以下内容基于公开演讲,经 Founder Park 整理。

01 让企业更轻松拿下全球市场

英国著名科幻作家亚瑟克拉克曾提到:「任何非常先进的技术,初看都与魔法无异」,在人类历史上,这句话被一次次的印证。

19 世纪,用电能驱动灯泡的时候,1979 年爱迪生发明电灯泡,极大地推动了第二次工业革命。

1947 年开始的数字革命,晶体管和运算放大器的创新引发了电子学的「大爆炸」,导致了手机和笔记本电脑的诞生,这场革命也彻底改变了通信方式,使科技成为我们日常生活的一部分。

1983 年,TCP/IP、互联网技术的诞生,诞生了基于互联网的各种新业务。亚马逊也应运而生。

亚马逊在线的零售业务,服务于全球数以亿计的客户。这些强大的技术也让亚马逊云科技在早期就关注到怎么去做管理和配置我们的基础设施服务。

不管客户规模大小,不管他有多新,也可以应用到和大公司同等能力的基础设施服务,不管是存储网络还是数据服务,应该有一个拥有同等安全、按需付费、可靠且足够经济的方案。

时至今日,亚马逊云科技在全球 33 个国家和地区有 105 个可用区,提供超过 200 个服务。

而且,这些服务仍旧在持续创新中。

哪怕是已经存在 18 年之久的 Amazon S3 存储服务、数据库服务,在去年也进行了新的发布Amazon S3 Express。这已经是上一个 18 年,大家认为非常成熟的服务,亚马逊云科技至今仍在做进一步的更新和迭代。

而借助亚马逊云科技的服务,我们让大量客户可以更方便地服务全球客户,开拓更多商业市常

原来做录像带租赁的 Netflix,用了亚马逊云科技的大量服务,如今在全球 190 多个国家和地区做流媒体服务。

对于中国企业的出海,也有像 OPPO 这样借由亚马逊云科技在海外进行布局的企业,他们已经成功做到全球手机出货量 Top5。

02 构建 AI 应用第一步:选择合适的模型

2023 年,ChatGPT 引领的 AI 之年。

亚马逊云科技在帮助客户做 AI 落地的过程中,也观察到 2023 年是「生成式 AI 的 POC(概念验证测试)年」。我们更多是做原型的验证,以及可行性的验证。

但是从去年年底到今年上半年,我们看到很多场景下,AI 已经真的逐渐被客户用于生产了。很多企业客户已经开始走这一步了,在这中间我们认为不可避免地会有以下四个内容要做。

首先要选好应用场景、切入场景;第二是要选择一个合适的工具帮助落地;第三是真正落地后涉及到的三公里问题:工程化怎么解决?

这个问题很重要,当做到生产的时候就需要考虑规模化应用。今天是一个人、十个人、一百个人做 POC testing(proof of concept,概念验证测试),但当开始生产的时候,DAU 要做到千万级,你的工程化一定和 100 个人用完全不一样。上线之后,一定会面临非常多的监管,这又涉及到安全的问题怎么解决。

关于业务场景的选择,首先是目标的创新,我们看到一些 toC 的业务,尤其是新的 workflow(工作流),往往是基于「目标」的创新。很多企业客户,他们在思考创新从哪开始的时候,往往想的是从大处着眼、小处着手,think big but start small。先从一个具体的场景做可行性验证,之后才在企业里面争取更大的投入。

在场景选择之外的另外三项,亚马逊科技就有比较强大的能力,能够支撑创业者依次实现项目的落地。

首先是模型和模型工具的选择:Performance & Accepability(高性能,可触达)。

大家普遍都会非常关注性能,在涉及选择 AI 模型的时候,大家首先会思考「我要选择什么样的模型」,「我要保证这个模型在能力上能满足自己应用的需求」。

在进行可行性验证的时候,我们得知道「上限」在哪,选择一个最棒的模型来保证自己的上限达标。

但是当我们去思考生产布局的时候,一个「上限」的 performance,不见得是你需要思考的全部。我们还需要考虑一个大模型的 inference status 能不能保证终端客户的实时性要求?当你开始规模化做业务的时候,单一模型的推理成本是不是可以保证 ROI 在你的口径空间里?

很多时候,我们在很多行业都会碰到一个三角难题,没办法同时满足三项都达到完美。这里面一定会是一个折中的结果。

质量、时延和成本的不可能三角

这也是为什么亚马逊云科技会推出 Amazon Bedrock 这款产品,我们致力于给大家提供广泛的有头部能力的模型选择。

大家可以看到,今年我们陆续更新了 Claude 3.0、Mistral、Llama 3 等模型。6 月 21 日,Claude 3.5 Sonnet 也刚刚上线了亚马逊科技的 Amazon Bedrock,它比 Claude 3 拥有更智能的能力,但价格只有 1/5。模型的迭代在我们看来是非常快的,Claude 3 上线三个月不到,我们就又上线了 Claude 3.5 这个模型。

赞助本站

人工智能实验室
相关内容
AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港