AWS 宣布推出生成式 AI 新工具

采用机器学习典范转移协助业务发展已经存在了几十年。

随着足够的可扩充运算力的到位、海量数据的爆炸，以及机器学习技术的快速进步，各行各业的客户开始对业务进行重塑。 最近，像ChatGPT这样的生成式AI应用引起了广泛的关注，引发了诸多想象。 我们正处在一个机器学习被大规模采用的令人兴奋的转折点上，我们也相信生成式AI将会重塑大量客户体验和应用程序。

二十多年来，人工智能和机器学习一直是亚马逊关注的焦点。 亚马逊提供客户的许多功能都是由机器学习驱动的，例如我们的电商推荐引擎、运营中心捡货机器人的路径选择，以及我们的供应链、预测和产能规划。 Prime Air（亚马逊无人机）和Amazon Go（亚马逊实体无人零售实体店，消费者可以自选商品后直接离开，无需现场排队结账付款）中的计算机视觉技术都使用了深度学习。 Alexa每周响应客户数十亿次关于管理智能家居、购物、信息取得和娱乐的请求，这也得益于来自 30 多种不同的机器学习系统的支持。 亚马逊有数千名工程师专注于机器学习研究，这既是我们的宝贵资产，也是我们现在最关注的理念，和面向未来的实力之所在。

在AWS，我们致力于不断降低机器学习的使用门槛。 我们已经帮助超过十万家来自各行各业的不同规模的客户使用机器学习进行创新。 我们在人工智能和机器学习堆栈的三个层级都拥有至深至广的产品组合。 长期以来，我们不断投入、持续创新，为机器学习提供高效能、可扩展的基础设施，和极具性价比的机器学习训练和推论; 我们研发了Amazon SageMaker，所有开发人员能更便利地建构、训练和部署模型; 我们还推出了大量服务，使客户通过简单的API调用就可添加AI功能到应用中，如图像识别、预测和智能搜索。 得益于此，Intuit、汤森路透、AZ（AstraZeneca）、法拉利、德甲联赛、3M和BMW等客户，以及全球数千家初创企业和政府机构正在通过机器学习进行数字转型，带动产业升级，重新定义机器学习的使命。 我们同样致力于推动生成式AI技术的普及：我们将这些技术从研究和实验领域释放出来，不只是少数初创和资金雄厚的大型科技公司，而是让更多企业都能从中受益。 因此，我今天非常兴奋宣布数项创新，帮助我们的客户更简单、更容易地在业务中使用生成式AI。

生成式AI是人工智能的一种，能够创造新内容和想法，包括对话、故事、图像、视频和音乐。 与所有人工智能技术一样，生成式AI的能力由机器学习模型提供。 这些模型是基于大量数据进行预先训练的大模型，通常被称为基础模型（Foundation Models）。 机器学习的最新进展（特别是基于transformer的神经网络架构的发明）直接带来这一种模型的爆发式增长，这种模型通常包含数十亿个参数或变量。 2019年最大的预训练模型是3.3亿个参数。 现在，最大的模型包含的参数超过5千亿个，相当于几年间增加了1600倍。 如今的基础模型，例如大型语言模型GPT3.5或BLOOM，以及由Stability AI开发的文生图模型Stable Diffusion，可以执行跨多个领域的多种任务，例如撰写博客文章、生成图像、解决数学问题、对话聊天、基于文档回答问题等。 基础模型的规模和通用场景的性质使其不同于传统的机器学习模型，后者通常仅执行特定的任务，例如分析文本观点、分类图像和预测趋势等。

基础模型包含大量参数，能够学习复杂的概念，因此可以执行更多任务。 透过基于互联网规模的、各种形式和模式的海量数据进行预先训练，基础模型学会在各种语境中应用所习得的知识。 尽管预训练基础模型所带来的功能和可能性已足够令人惊叹，而真正让客户为此兴奋不已的是，这些通用模型也可以被定制化加工，执行专属于其业务领域的特定功能，帮助业务建立差异化竞争优势，与从零开始训练模型相比，仅需使用一小部分数据和运算资源。 客制化的基础模型可以带来独特的顾客体验，体现公司的观点、风格和服务，适用于众多消费者产业，如金融银行、旅行和医疗等。 例如，一家金融公司如果需要将所有相关交易自动生成每日报告以供内部流通，它可以使用包括既往报告在内的专有数据来定制模型，以便基础模型了解如何阅读报告和使用哪些数据来生成日报。

基础模型拥有巨大的潜力，但我们仍处在初级阶段。 ChatGPT率先吸引了客户对生成式AI的关注。 对生成式AI展开研究的人很快意识到，多家公司已经在基础模型上耕耘多年，可用的基础模型也有很多，且各有各的优势和特点。 在过去的数年间，我们都经历了技术的快速发展，机器学习的演进也是日新月异。 我们期待未来会涌现全新的体系和架构，而基础模型的多样化会推动新一波的创新浪潮。 此前所未闻的新应用体验在今天已经成为现实。 很多客户都在询问我们，如何快速利用现今以及未来可能出现的技术，如何快速使用基础模型和生成式AI立刻为公司业务大幅提升生产效率和变革产品与服务。

客户对我们提出了他们主要的需求。 首先，他们需要能直接找到并存取高效能基础模型，这些模型需要能够给出最匹配业务场景的优秀回馈结果。 其次，客户希望无缝与应用程序整合，且无需管理大量基础设施丛集，也不会增加过高的成本。 最后，客户希望能够轻松上手，基于基础模型，利用自己的数据（可多可少）建构差异化的应用程序。 由于客户进行定制的数据是非常有价值的IP，因此需要在处理过程中确保数据安全和隐私保护。 同时，客户还希望能控制数据的分享和使用。

听取了客户的意见，今天我们很高兴宣布推出Amazon Bedrock。 这项新服务允许用户通过API访问来自AI21 Labs、Anthropic、Stability AI和亚马逊的基础模型。 Bedrock是客户使用基础模型构建和扩展生成式AI应用的最简单方法，为所有开发者降低使用门槛。 在Bedrock上，用户可以通过可扩展、可靠且安全的AWS托管服务，存取从文本到图像的一系列强大的基础模型，以及我们今天发布的Amazon Titan基础模型。 Amazon Titan基础模型目前包括了两个全新的大语言模型。 凭借Bedrock所带来的无服务器体验，客户可以轻松找到适合自身业务的模型，快速上手，在确保数据安全和隐私保护的前提下，使用自有数据基于基础模型进行定制化，并使用他们已经熟悉的AWS工具和能力，将定制模型整合并部署到他们的应用程序中，同时无需管理任何基础设施。 比如，客户可以将基础模型与Amazon SageMaker机器学习功能整合，使用Amazon SageMaker Experiments测试不同模型和使用Pipelines大规模管理基础模型等。

客户也可使用Bedrock访问一些目前最领先的可用基础模型。 这将包括AI21 Labs开发的Jurassic-2多语种大语言模型系列，能够根据自然语言指令生成文本内容，目前支持西班牙语、法语、德语、葡萄牙语、意大利语和荷兰语。 还有Anthropic开发的大语言模型Claude，它是基于Anthropic对于训练诚实和负责任的AI（responsible AI）系统的大量研究，能够执行多种对话和文本处理任务。 客户还可以通过Bedrock轻松访问Stability AI开发的文生图基础模型Stable Diffusion，这是文生图领域目前最流行的模型，能够生成独特、写实、高品质的图像、艺术作品、商标和其它设计图。

Bedrock最重要的能力之一是极其容易客制化模型。 客户只需向Bedrock展示Amazon S3中的几个标注好的资料范例，Bedrock就可以针对特定任务微调模型，最少仅需20个范例即可，且无需标注大量数据。 假设一位时装零售产业的内容营销经理，想为即将推出的手提包新品系列开发新颖且用户导向的广告创意。 他向Bedrock提供了一些表现最佳的过往营销广告示例，以及新品的相关描述，Bedrock将能自动为这些新品生成有效的社交媒体推文内容、展示广告和产品网页。 没有任何客户数据被用于训练底层模型，所有数据都进行了加密，且不会离开客户的虚拟私有云（Virtual Private Cloud，VPC），确保客户的数据安全和隐私保护。

Bedrock目前提供有限预览，Coda等客户的开发团队对使用Bedrock充满期待。 Coda的联合创始人兼CEO Shishir Mehrotra表示：「作为AWS的长期客户，我们对Amazon Bedrock带来的高质量、可扩充性和效能充满期待。 我们所有的数据已经存储在AWS上，我们能够利用Bedrock快速采用生成式AI，并能充分保证我们数据的安全和隐私。 目前，包括Uber、纽约时报、Square在内的成千上万个团队都在采用Coda，因此，可靠性与可扩展性十分重要。」

一些客户已经预览了亚马逊全新的Titan基础模型，在未来几个月内，我们会进一步扩充其可用范围。 我们将首先发布两个Titan模型。 第一个是针对总结、文本生成（如原创博客文章）、分类、开放式问答和信息撷取等任务的生成式大语言模型。 第二个是文本嵌入（embeddings）大语言模型，能够将文本输入（字词、短语甚至是大篇幅文章）翻译成包含语义的数值表示（即embeddings 嵌入编码）。 虽然这种大语言模型不生成文本，但对个性化推荐和搜索等应用程式却大有裨益，因为相对于匹配文字，对比编码可以帮助模型产生更相关、更符合情境的结果。 实际上，Amazon.com 的产品搜寻能力就是采用了类似的文本嵌入模型，能够帮助客户更好地查找所需的商品。 为了持续推动负责任使用AI的最佳实践，Titan基础模型可以识别和删除客户提交给定制模型之资料中的有害内容，拒绝用户输入不当内容，也过滤模型输出结果中的不当内容，如仇恨言论、脏话和语言暴力。

任何规模的企业都可以通过Bedrock访问基础模型，加速机器学习在组织内部的应用，并凭借其轻松上手的特性，构建自己的生成式AI应用程序。 我们相信，Bedrock将是基础模型普及化过程中的一大步。 埃森哲、德勤、Infosys和Slalom等合作伙伴都在建构最佳实践，帮助企业借助生成式AI实现快速发展。 C3AI和Pega等独立软件开发商（ISV）对于利用Bedrock轻松访问大量基础模型，兼具安全性、隐私性和可靠性充满期待。

无论执行、建构还是定制化基础模型，客户都需要高效能、低成本且为机器学习专门建构的基础设施。 过去五年，AWS持续加大投入自研芯片，不断突破效能和价格的极限，以支持对此有极高要求的机器学习训练与推论等工作负载。 AWS Trainium和Inferentia芯片可以提供在云上训练模型和执行推论的最低成本。 正是因为我们在成本和性能方面的优势，像AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI等领先的AI初创公司都选择执行在AWS上。

由Trainium支持的Trn1执行个体与其他任何EC2执行个体相比，都可以节省高达50%的训练成本，并经过优化，可以在与高达800Gbps的第二代EFA（弹性结构适配器）网络相连的多个服务器上分发训练任务。 客户可以在超大规模集（UltraClusters）中部署Trn1执行个体，数量可以扩充到在同一可用区中3万个Trainium芯片，相当于超过6 exaflops的运算能力，并具有PB级网络。 许多AWS客户，包括Helixon、Money Forward和亚马逊的搜寻团队，都使用Trn1执行个体将训练最大规模的深度学习模型所需的时间从几个月缩短到几周甚至几天，并且降低了成本。 800 Gbps的带宽已经很大，但我们仍不断创新、扩充带宽。 今天我们宣布全新的、网络优化型Trn1n执行个体正式可用，它可以提供1600 Gbps的网络带宽，专为大型网络密集型模型设计，其效能比Trn1高出20%。

现今基础模型花费的时间和金钱主要用于训练，这是因为许多客户才刚刚开始将基础模型部署到生产中。 但是，未来，当基础模型进入大规模部署时，大部分成本将用于执行模型和进行推论。 客户通常会定期训练模型，于是生产应用程序会不断生成预测（称为推论）——每小时可能生成数百万预测。 而且这些预测需要实时发生，这就需要极低延迟和高吞吐量的网络。 Alexa就是一个典型的例子，它每分钟都会接受数百万次请求，处理这些请求占所有运算成本的40%。

我们相信，未来大部分机器学习成本将来自推论的执行。 因而，几年之前，当我们开始研发新型芯片时，就已经将推论优化型芯片置于首位。 2018年，我们发布了首款推论专用芯片Inferentia。 每年，亚马逊都运用Inferentia执行数万亿次推论，并节省数亿美元成本。 这是十分显著的成果，然而我们认为继续创新的空间依然很大，因为随着越来越多的客户将生成式AI整合到他们的应用程序中，工作负载的规模和复杂性只会越来越大。

因此，我们今天宣布由AWS Inferentia2提供支持的Inf2执行个体正式可用，这些执行个体专门针对执行数千亿个参数模型的大规模生成式AI应用程序进行了优化。 与上一代相比，Inf2执行个体不仅吞吐量提高了4倍，延迟降低了10倍，还可实现加速器之间的超高速连接以支持大规模分布式推论。 与同类Amazon EC2执行个体相比，这些能力将推论性价比提高了40%，并把云中的推论成本降到最低。 与同类Amazon EC2执行个体相比，Runway等客户有望利用Inf2将部分模型的吞吐量提升至原来的两倍。 受益于高性能和低成本的推论，Runway能够引入更多功能，部署更复杂的模型，并最终为自己的数百万用户提供更优质的体验。

我们深知，对客户而言，利用正确的基础模型进行构建，并在最佳性能的云基础设施上大规模执行生成式AI应用程序，将带来颠覆性变革。 同时，这也将带来革命性的全新用户体验。 当应用程序或系统具备内建的生成式AI能力时，用户可以获得更自然、更流畅的交互体验。 这就如同现今手机的人脸识别解锁功能，我们无需了解这一功能背后强大的机器学习模型，却可以做到看一眼手机就解锁了。

我们预见，编程将是生成式AI技术可快速应用的领域之一。 现今，软件开发者需要花费大量时间编写相当浅显和无差别的代码。 他们还需要花费不少时间学习复杂的新工具和技术，而这些工具和技术总在不断演进。 因此，开发者真正用于开发创新的功能与服务的时间少之又少。 为应对这一难题，开发者会尝试从网上复制代码片段再进行修改，但可能无意中就复制了无效代码、有安全隐患的代码、或对开源软件的使用没有进行有效的追溯。 而且这种搜索和复制的方式也浪费了开发者用于创新的时间。

生成式 AI 可以通过「编写」大部分无差别的程式码来大大减少这种繁重的工作，让开发人员能够更快地编写程式码，同时让他们有时间专注在更具创造性的编程工作上。 因此，我们去年宣布推出了 Amazon CodeWhisperer 预览版，这是一款 AI 编程助手，通过内嵌的基础模型，可以根据开发者用自然语言描述的注释和集成开发环境（IDE）中的既有程式码实时生成程式码建议，从而提升开发者的生产效率。 开发人员只需要向 CodeWhisperer 提出任务命令，例如「解析一个含有歌曲信息的 CSV 字符串」，并要求它回传一个基于艺术家、标题和排行榜最高排名等资料的结构化清单，CodeWhisperer 就可以解析字符串并回传指定的列表，从而大幅提升工作效率。 CodeWhisperer 预览版发布后得到了开发者们的热烈响应。 我们始终相信，帮助开发人员编写代码可能成为未来几年生成式 AI 得以发挥巨大效力的应用场景之一。 在预览期间，我们还进行了一项生产力测试，与未使用 CodeWhisperer 的参与者相比，使用 CodeWhisperer 的参与者完成任务的速度平均快57%，成功率高 27%。 这是开发人员生产力的巨大飞跃，而我们相信这才仅仅是个开始。

今天，我们很高兴宣布 Amazon CodeWhisperer正式可用，在适用 Python、Java、JavaScript、TypeScript 和 C#之外，新增支持Go、Kotlin、Rust、PHP 和 SQL等10 种开发语言。 开发者可以通过在VS Code、IntelliJ IDEA、AWS Cloud9等一体化开发环境中的AWS Toolkit IDE插件使用CodeWhisperer。 CodeWhisperer 也可在AWS Lambda控制台中使用。 除了从数十亿行公开代码中学习之外，CodeWhisperer 也基于亚马逊的代码进行了训练。 我们相信CodeWhisperer是目前为AWS（包括Amazon EC2、AWS Lambda和Amazon S3）生成代码的最准确、最快和最安全的方式。

如果生成式 AI 工具建议的代码包含隐藏的安全漏洞或未能负责任地处理开源代码，开发人员则无法真正提高工作效率。 CodeWhisperer是唯一具有内建安全扫描功能（通过自动推论实现）的 AI 编程助手，用于查找难以检测的漏洞并提出补救建议，例如十大开放式Web应用程序安全项目（OWASP）中的漏洞，以及不符合加密库最佳实践的漏洞等。 为了帮助开发人员以负责任的方式开发代码，CodeWhisperer会过滤掉可能被认为有偏见或不公平的代码建议，同时，由于客户可能需要参考开源代码或获得其使用许可，CodeWhisperer是唯一可以过滤和标记类似开源始程式码之生成结果的编程助手。

我们相信生成式AI将改变开发者的游戏规则，因此希望它能尽可能被更多人所用。 所以，CodeWhisperer将开放所有个人用户免费使用，并不设任何次数或使用时间的限制！ 任何人都可以通过email账户在几分钟内注册CodeWhisperer进行使用，而无需具备AWS账号。 对于企业客户，我们则提供了CodeWhisperer 专业版，其中包括更多高级管理功能，如整合了AWS Identity and Access Management（IAM）身份与访问管理服务的单点登入（single sign-on，SSO），以及使用更高程度的安全扫描。

建构像 CodeWhisperer 这样强大的应用程序，对开发人员和我们所有的客户来说，都带来巨大的变革性。 我们还有更多创新的产品在规划中，也期待更多的客户和开发者在AWS上构建更加创新和颠覆性的生成式AI应用。 我们的使命是，让各种技能水平的开发人员和各种规模的组织都有机会使用生成式AI进行创新。 我们相信，新一波机器学习技术创新才刚刚开始、方兴未艾，未来还有无限可能。