一年前的亚马逊云科技re: Invent 2022大会上，生成式AI几乎没有被提及。但几天之后横空出世的OpenAI ChatGPT聊天机器人瞬间掀起变革的狂潮，裹挟着整个世界进入生成式AI新时代。
短短一年之间，生成式AI已经成为科技领域的发展重心。亚马逊云科技在今年的re: Invent 2023会议上突显了该技术如何成为这家云巨头议程的首要任务。
在今年的主题演讲中，亚马逊云科技首席执行官Adam Selipsky表示：“围绕生成式AI模型的创新具有爆炸性。”他补充说：“它将重塑我们在工作和家庭中交互的每一个应用程序。我们正在以一种跟以往完全不同的方式来探讨生成式AI的整个概念。”
并且他还具体介绍了亚马逊云科技的“生成式AI技术堆栈”，旨在为客户提供生成式AI应用程序、用于构建大型语言模型的新工具，以及加速模型训练和推理的基础设施。
全新生成式AI技术堆栈
在快速发展的AI领域中构建和部署生成式AI模型与应用，往往会带来一系列独特的挑战。亚马逊云科技的应对之法是一套新的生成式AI基础设施，由三层技术栈组成，分别是基础设施层、基础模型服务层和AI应用层，希望能帮助客户在这三层之上轻松进行创新。
在今年re:Invent上近两个半小时的主题演讲中，Selipsky提供了有关生成式AI策略的很多细节，Selipsky认为，他们的全新AI技术栈在模型选择、芯片成本和性能方面都有优势，能够帮助AI开发者在构建、训练和运行生成式AI应用时立足基础模型占得先机。
堆栈第一层：存储和计算重大革新
随着对生成式AI的需求不断增长，GPU供应出现了短缺。据报道，Nvidia性能最优越的芯片在2024年之前可能已经售罄。台积电首席执行官最近表示对前景不太乐观，认为Nvidia以及Nvidia竞争对手的GPU短缺情况可能会一直持续到2025年。为了减少对GPU的依赖，一些有能力的科技巨头正在研发定制芯片，用于创建、迭代和产品化人工智能模型，亚马逊云科技就是其中之一。
凭借着Nitro虚拟机管理程序以及Graviton、Trainium和Inferentia等芯片家族，亚马逊云科技已经积累起丰富的芯片开发技术经验，这也使其在云和生成式AI领域拥有显著优势。Selipsky在此前接受外媒采访时解释了这些创新的切实好处，并强调了在计算能力与成本水平间取得平衡的重要意义。“生成式AI工作负载有着极高的计算密度，因此性价比绝对至关重要。”
在本次大会上，亚马逊云科技推出了为生成式AI和机器学习训练设计的云端AI芯片Amazon Trainium2，以及第四代自研服务器CPU芯片Amazon Graviton4。
Amazon Trainium2为拥有数千亿甚至数万亿个参数的基础模型训练做了优化，性能相比2020年12月推出的第一代Trainium提高了4倍，同时能效提高了2倍。Trainium2将在亚马逊云科技中的Amazon EC Trn2实例中使用，这是一个由16个芯片组成的集群，同时在Amazon EC2 UltraCluster产品中可扩展到多达10万个芯片。亚马逊云科技表示，用由10万个Trainium芯片组成的集群来训练3000亿个参数的AI大模型，可将训练时间从数月缩短为仅几个星期。
发布的另一款芯片是基于Arm的Graviton4，专注于推理环节。Selipsky称，与在Amazon EC2上运行的上一代Graviton处理器Graviton3（但不是更新的Graviton3E）相比，Graviton4的处理速度提高了30%，内核增加了50%，内存带宽增加了75%。
此外，亚马逊云科技宣布其S3对象存储服务推出重大更新：一种新的高性能、低延迟层S3存储类别Amazon S3 Express One Zone，旨在为延迟敏感的应用提供个位数、毫秒级的每秒数十万次数据访问。Amazon S3 Express One Zone的数据访问速度比Amazon S3标准版快10倍，请求成本降低50%，计算成本降低60%。
堆栈第二层：联手OpenAI最强竞争对手反击微软
在此前接受外媒采访时，针对Sam Altman的突然离职和最终回归这一列事件，Selipsky分享了自己的看法，“对企业来说，必须努力扩大技术获取来源；任何单一模型或者供应商都不应占据主导地位。最近发生的一切，也再次证明亚马逊云科技所选定路线的合理性。”Selipsky认为“可靠的模型与可靠的供应商至关重要，而提供选项并致力于支持相关技术的云服务商也同样重要。”
Selipsky重点介绍了Amazon Bedrock平台，表示已经有上万用户在使用Bedrock。Amazon Bedrock平台是亚马逊云科技4月推出、9月全面开放的大模型开发平台，支持用户调用来自亚马逊自己的泰坦（Titan）模型，以及AI21 Labs、Anthropic、Stability AI等第三方的多样化模型进行调用和定制化开发。
特别的是，亚马逊云科技还特地邀请了Anthropic CEO Dario Amodei到现场分享。在对谈中，他们提到Anthropic围绕亚马逊云服务打造了独家定制功能，用户只能通过Amazon Bedrock加Anthropic的第一方产品才能享受得到。“这些服务将提供重要的微调与定制功能，且在限定时期内仅在Amazon Bedrock上通过Anthropic的第一方产品对外发布。只此一家，别无分号。”
Anthropic由前OpenAI工程师于2021年创立，其创始人“从一开始就在模型安全性方面有着不同的愿景”。今年9月25日，亚马逊云科技与Anthropic宣布达成战略合作，亚马逊云科技称将向Anthropic投资至多40亿美元，在体量上几乎可以与OpenAI同微软之间的合作相媲美。可以说，在争夺先进AI基础模型的竞赛当中，亚马逊云科技与Anthropic之间的战略合作伙伴关系已经成为其基础模型服务层中的重要组成部分。
-
定制化AI
具体来说，Amazon Bedrock是一个可对托管基础模型进行访问的平台。其中既包括亚马逊云科技内部开发的Amazon Titan系列大语言模型（LLM），也提供来自其他厂商及开源生态系统的神经网络选项。亚马逊云科技此次还公布两项新功能：微调与持续预训练，允许客户针对特定任务对Bedrock中的大模型进行定制。
定制神经网络就是使用知识库中未包含的新数据进行模型训练。例如，电子商务企业可以利用产品文档进行模型训练，使其学会回答客户提出的产品相关问题。这种定制过程能够显著提高大模型的回答准确率。
亚马逊云科技此次推出的首个定制化功能为fine-tuning微调，允许开发人员在标记数据集上训练受支持的Bedrock模型。此类数据集包含样本输入、常见提示词以及针对这些提示词预先编写的AI答案。这些记录以问答形式组织而成，可供AI模型通过示例快速进行学习。
亚马逊云科技推出的另一项定制功能为continued pretraining持续预训练，面向的则是另外一组用例。它允许企业在规模极大的数据集上对Bedrock大模型进行定制，例如涉及数十亿token的代码库。所谓token，就是对应几个字符或数字的数据单元。这项新功能还可使用新信息对训练数据集做定期刷新。
它还允许客户在未经标注的数据集上进行持续预训练。此类数据集包含样本输入，但往往并不具备AI模型所需要的输出示例。现在用户无需创建输出示例，因此能够大大减少创建训练数据集的工作量，从而降低AI定制成本。
亚马逊云科技生成式AI首席开发者布道师Antje Barth在博文中表示，“用户可以指定最多10万条训练数据记录，且一般在至少提交10亿条token后即可看到显著的定制效果。”
-
AI安全性
这个月，有报道称，微软员工被禁止使用其斥巨资投资的OpenAI的产品ChatGPT。“出于安全和数据方面的考虑，许多人工智能工具不再供员工使用，”据说当时这是在微软内部网站上的消息。微软称，“虽然微软确实投资了OpenAI，ChatGPT也有内置的保护措施来防止不当使用，但该网站仍然是第三方外部服务。”
在本次的主题演讲中，有一个很有意思的点，在Selipsky讲述Bedrock很注重安全性和隐私保护能力时，大屏幕上则展示出了这则有关ChatGPT的新闻报道。
Selipsky并没有点名微软，但他表达了对“友商”在缺少全面安全保障的情况下发布AI产品早期版本的行为表示惊讶，“令我难以置信的是，某友商居然在缺少全面安全保障的情况下发布AI产品的早期版本。他们对自己的模型以及数据的安全性没有信心。”
堆栈第三层：AI助手Amazon Q预览版正式发布
在今天的主题演讲中，亚马逊云科技还宣布推出Amazon Q预览版，该应用处于技术栈的最上层。有分析师认为Amazon Q是本届re: Invent上最具份量的发布。“这是在用AI武装开发者，帮助他们取得成功。”
Amazon Q能够回答诸如“怎样使用亚马逊云科技构建Web应用程序？”之类的问题。经过亚马逊过去17年积累下的知识进行训练，Amazon Q能够解答各种问题并提供相应的原因解释。
亚马逊云科技CEO Adam Selipsky在演讲中表示，“你可以使用Amazon Q轻松进行对话、内容生成并执行操作。Amazon Q完全了解你的系统、数据存储库和运营需求。”
用户可以将Amazon Q接入组织指定的应用程序和软件（例如Salesforce、Jira、Zendesk、Gmail以及Amazon S3存储实例等），并据此进行自定义配置。Amazon Q能够根据所有关联数据及内容进行索引，“学习”关于当前业务的方方面面，包括组织结构、核心概念和产品名称等。
例如，公司可以通过Web应用程序要求Amazon Q分析客户在使用哪些功能时遇到了问题、应该如何改进这些功能；也可以像使用ChatGPT那样直接上传文件（支持Word文档、PDF、电子表格等）并询问与内容相关的问题。Amazon Q则通过联系、整合和数据（包括特定业务数据）提供响应与参考。
Amazon Q不仅能够回答问题，还能作为助手生成或总结博文内容、新闻稿和电子邮件。它还为工作中的常规操作提供一组可配置的插件，包括自动创建服务工单、通过Slack中的特定团队以及更新ServiceNow中的仪表板等。为了防止错误，Amazon Q要求用户在行动之前检查其操作建议，并展示结果以供验证。
如大家所想，Amazon Q可以通过亚马逊云科技的管理控制台、各类Web应用程序以及Slack等聊天应用进行访问，而且对亚马逊云科技家族的产品和服务有着透彻了解。亚马逊云科技表示，Amazon Q能够理解亚马逊云科技上各种应用工作负载间的细微差别，哪怕是只需运行短短几秒的应用、或者极少访问存储内容的程序也可以接受Amazon Q的指引和操作。
在台上，Selipsky展示了一段高性能视频编码与转码应用示例。Selipsky表示，在被问及哪种EC2实例最适合当前用例时，Amazon Q列出了一份涵盖性能与成本因素的清单。
“我坚信这将是一场生产力层面的变革，希望来自不同行业、从事不同岗位的人们都能从Amazon Q身上获益。”
Amazon Q与Amazon CodeWhisperer服务相结合，可以生成并解释应用程序代码。在受支持的IDE（例如亚马逊云科技的CodeCatalyst）当中，Amazon Q可以为客户代码生成测试，借此衡量其质量水平。Amazon Q还能创建软件新功能、执行代码转换，并为代码包、存储库和框架更新草案和文档，使用自然语言对计划进行完善和执行。
Selipsky表示，亚马逊云科技内部的一支小团队就成功在短短两天之内，使用Amazon Q将上千款应用程序从Java 8升级到了Java 17，甚至完成了相应的测试。
Amazon Q的代码转换功能仅支持从Java 8和Java 11升级至Java 17（后续将推出.NET Framework到跨平台.NET转换），且所有代码相关功能（包括代码转换）都需要配合CodeWhisperer Professional订阅服务。不清楚这方面要求后续是否会有所放松。
Selipsky还再次强调了亚马逊云科技重视安全责任，让潜在生成式AI客户更加放心，“如果你的用户本来就无权访问某些内容，那么在使用Amazon Q之后也仍然无权访问。Amazon Q理解并尊重用户的当前身份、角色和权限……我们也永远不会使用业务内容来训练底层模型。”
写在最后
很明显，亚马逊云科技在AI云领域维持统治地位的核心战略，就是继续增强其云基础设施并为市场开发出独特的生成式AI技术栈。
Selipsky认为亚马逊云科技的生成式AI技术栈有独特优势，“我们独特的生成式AI技术栈为客户提供了优于其他云厂商的比较优势。并不是每家竞争对手都愿意在各个层上开展创新，而客户也不清楚他们需要多长时间才能消弭这部分差距。”
生成式AI的兴起为大型云提供商开辟了一个巨大的新市场，在这个快速发展变化的过程中，行业已经深切感受到生成式AI适应性和创新能力的重要性。正如Selipsky所说，“适应能力是你可以拥有的最有价值的能力。”亚马逊云科技也通过Graviton前沿芯片、Trainium等专用芯片、模型平台以及Amazon Q应用产品展示了这些创新要素。
可以看到，亚马逊云科技在其独特的三层生成AI技术栈上投入了巨大心力，希望借此支撑起多样化的AI模型与平台、战略合作伙伴关系、最具性价比的服务以及更丰富的技术选项。
