问世六年即登顶IDC报告亚马逊云科技AI平台Amazon SageMaker究竟有何魅力-3809游略网

在数字技术与实体经济加速融合的趋势下，人工智能与产业结合的场景越来越深入，正在持续为数字经济注入新动能。作为一种渗透性强且具有颠覆性的通用技术，人工智能正逐渐成为企业智能化转型的核心，并加速产业智能化转型的步伐。因此，越来越多的企业和组织都会选择AI解决方案来制定技术决策，从而实现服务的进一步创新。

近日，全球市场研究机构IDC发布《2022年亚太地区（不含日本）AI生命周期软件工具和平台供应商评估》报告。在IDC评估的8家供应商中，亚马逊云科技凭借其机器学习旗舰产品Amazon SageMaker强大的功能、不断提升的交付能力以及在保持开源方面的领先优势，被IDC列入“领导者”阵营，并居于图中最高最远位置。

IDC Market Scape评估模型是IDC推出的重要研究方法及评估工具，通过综合考量厂商在产品、服务、能力和策略等方面的表现能力及竞争力，对特定市场进行定量和定性评估。它以完整的研究报告形式呈现，并以清晰易读的图形进行总结，为行业用户及IT厂商制定技术决策提供必要信息。如上图所示，在这份报告中，亚马逊云科技在能力和战略两个维度都获得最高分，在以圆圈为代表的市场份额方面，亚马逊云科技也位居前列。

亚马逊云科技参与评估的解决方案是Amazon SageMaker。它可为客户的数据准备、模型构建、训练、评估、部署、MLOps和可信度提供端到端的完全托管服务，为企业的整个机器学习生命周期提供支持。IDC报告指出，凭借在功能和产品、服务交付和增长方面的强大优势，Amazon SageMaker成为亚马逊云科技有史以来推出的增长最快的云服务之一。

事实也是如此，目前Amazon SageMaker的应用非常广泛，例如最近以AI绘画走红全球的新晋独角兽公司Stability AI，该公司推出的开源AI模型Stable Diffusion可以让完全不具备绘画能力的人通过提供一段文字创作出精妙绝伦的绘画作品。据悉，自2022年8月推出以来，Stable Diffusion已经被全球超过20万开发者下载和授权。此外，由Stability AI面向消费者推出的Stability AI注册用户也已经超过100万，遍布全球50多个国家，创作图像超过了1.7亿张，而Stable Diffusion和Stability AI这两个产品的背后，就有Amazon SageMaker的身影。

具体来说，Stable Diffusion这样的模型训练起来非常困难，需要使用数千个GPU或Amazon Trainium机器学习训练专用芯片。Stability AI选择了亚马逊云科技作为首选云提供商。通过使用SageMaker托管的基础设施和优化库，Stability AI能够使其模型训练具有更高韧性和性能。例如对于GPT NeoX等模型，Stability AI使用SageMaker及其模型并行库将训练时间和成本减少了58%。这些优化和性能改进适用于具有数百或数千亿参数的模型。

除了Stability AI之外，LG人工智能研究院也在积极应用Amazon SageMaker，近期LG人工智能研究院推出了由超大“人工智能语言模型”EXAONE驱动的人工智能艺术家Tilda。Tilda是一个超级巨型的人工智能系统，可以处理2.5亿个高清图像-文本对数据集，并且通过多模态人工智能创造全新的图像。Amazon SageMaker以其扩展和分布式训练能力，在开发EXAONE时发挥了至关重要的作用。训练Tilda需要大量的计算，因此高效的并行处理至关重要。对大规模数据实现可持续管理，灵活处理新获取的数据也是必要条件。LG人工智能研究院通过使用Amazon SageMaker训练模型和分布式训练库，在未对训练代码进行重大修改的情况下，训练模型的速度提高了59%。

虽然Amazon SageMaker已经在业界得到了广泛的应用，但实际上这项服务是在2017年的re:Invent全球大会上推出的，是一个还算年轻的服务。在当时，亚马逊云科技推出Sage Maker的初心就是为了打破机器学习的壁垒，推进这项尖端技术的普惠化，把机器学习能力真正从研究实验室交到企业手中。作为一项完全托管的旗舰版机器学习服务，Amazon SageMaker由包括SageMaker Data Wrangler、SageMaker Studio、SageMaker Autopilot、SageMaker Canvas和SageMaker Clarify在内的十几种工具组成，并在这几年里不断根据客户用户需求推出新的功能和特性。

可以说，Amazon SageMaker的出现极大地的改善了机器学习的普惠化，在亚马逊云科技推出Amazon SageMaker之前，从事机器学习仍然需要专门的技能，通常由数量有限的开发人员、研究人员或以机器学习为主要业务的公司所有。开发人员和数据科学家必须首先将数据可视化、转换和预处理为算法可用训练模型的格式，涉及大量的算力、漫长的训练周期，并需要设立专门的团队来管理环境。这些环境通常跨越多个支持GPU的服务器，以及需要大量的人工性能调整。此外，在应用程序中部署经过训练的模型需要一套不同的应用程序设计和处理分布式系统的专业技能。随着数据集和变量的增加，新信息的出现，旧模型变得不再可用，企业不得不重复上述过程。这导致除了资金充足的企业和研究机构外，大多数人都无法接触到机器学习。

而Amazon SageMaker的出现改变了这一现状，通过其推出的全球首个用于机器学习的集成开发环境（IDE），开发人员、数据科学家和商业分析师得以快速、轻松地准备数据，并在规模上构建、训练和部署高质量的机器学习模型。具体来说，Amazon SageMaker Canvas可以为没有机器学习经验的商业分析师提供的无代码环境；而Amazon SageMaker Studio Lab则能为学生提供无需设置、不收费的机器学习环境，让他们能够更快地学习机器学习技能。

不但如此，在过去的六年时间里，亚马逊云科技为Amazon SageMaker增加了超过290项新的功能和特性，包括调试器(SageMaker Debugger)、模型监视器(SageMaker Model Monitor)、剖析器(SageMaker Clarify)、AutoML(SageMaker Autopilot)、特征商店（SageMaker Feature Store）、无代码功能(SageMaker Canvas)，以及第一个专门用于机器学习持续集成和持续交付（CI/CD）的工具，使机器学习在云端和边缘设备上变得更为简便，可扩展性更强。

在去年年底的2022re:Invent全球大会上，Amazon SageMaker也获得了八项新功能，使得众多开发人员、数据科学家和业务分析师可以基于Amazon SageMaker提供的全托管基础设施、工具和工作流，轻松快速地构建、训练和部署机器学习模型。

具体来说，在机器学习治理方面，新的Amazon SageMaker机器学习治理功能可以在整个机器学习生命周期中提供对模型性能的可见性，其中Amazon SageMaker Role Manager让管理员可以更轻松地控制访问并为用户定义权限。管理员可以根据不同的用户角色和职责选择和编辑预建模板；Amazon SageMaker Model Cards则在亚马逊云科技控制台提供了单独的位置存储模型信息，从而在整个模型生命周期中简化文档管理；Amazon SageMaker Model Dashboard则全面概览已部署的模型和端点，让专业人员只需在一个地方就可以跟踪资源和模型行为。通过模型看板，客户还可以使用内置集成的Amazon SageMaker Model Monitor（具备模型与数据偏移监控功能）和Amazon SageMaker Clarify（具备机器学习偏差检测功能）。

此外针对Amazon SageMaker Studio Notebook，亚马逊云科技为专业人员提供了三项新功能帮助客户协调和自动化Notebook代码，进一步为用户提供最佳Notebook体验。具体来说，新的Amazon SageMaker Studio Notebooks让客户只需点击几下即可检查和解决数据质量问题，以促进数据科学团队之间的实时协作，通过将Notebooks代码转变到自动化作业加速机器学习实验到生产的过程。

在自动验证新模型方面，Amazon SageMaker Inference现在提供了一种功能，让专业人员可以更轻松地实时使用相同的真实推理请求数据，将新模型的性能与生产模型的性能进行比较。开发人员可以轻松地将测试同时扩展到数千个新模型，而无需构建自己的测试基础设施。

而Amazon SageMaker全新的地理空间功能让客户可以更轻松地使用卫星和位置数据进行预测，在该功能的支持下，AmazonSageMaker将客户丰富数据集、训练地理空间模型并将结果可视化的时间从数月缩短到数小时，从而加速和简化地理空间机器学习预测的生成。客户只需几次点击或使用API就可以使用Amazon SageMaker访问各种地理空间数据源，例如亚马逊云科技的位置服务Amazon Location Service、开放数据集Amazon Open Data、客户自有数据和来自PlanetLabs等第三方供应商的数据。

尽管今天的互联网和算力的渗透已经无处不在，但还远远不够，AI的到来为算力的发展带来了全新的可能。能预见的是，作为未来二三十年的科技发展趋势，人工智能会为更多行业注入创新的活力，推动企业在生产模式、运营模式、产品服务等诸多方面利用新技术实现创新，而Amazon SageMaker这样的机器学习解决方案，正在让AI加速在千行百业之中普惠。