2023年5月11日 亚马逊云科技宣布,其大数据分析服务Amazon EMR Serverless在由光环新网运营的亚马逊云科技中国(北京)区域和由西云数据运营的亚马逊云科技中国(宁夏)区域正式上线。Amazon EMR是行业领先的大数据分析服务,适用于使用开源框架进行PB级数据处理、交互分析和机器学习,同时其性能远优于开源版本。Amazon EMR性能比开源Apache Spark 3.3快3.9倍, 成本仅为其40%;比开源Presto 0.338 快3.1倍,成本仅为其80%。Amazon EMR Serverless是Amazon EMR的无服务器部署选项,客户无需配置、管理和扩展集群或服务器即可运行大数据分析应用程序。
Amazon EMR Serverless是一种快速、可扩展、弹性的分析服务,为企业提供了有效的大规模数据处理方式,并且不需要企业预先配置或管理服务器。这一服务具备敏捷、可以快速启动、高度可扩展、具备成本效益、高度安全和支持多可用区域部署六大独特优势。
敏捷:Amazon EMR Serverless可以快速启动和关闭,并且只在需要处理数据时才会消耗资源,从而帮助用户快速构建数据处理任务并有效地控制成本。Amazon EMR Serverless优化了性能,且兼容Spark、Hive等开源框架,其性能最多可比开源解决方案提升2倍。
快速启动:借助Amazon EMR Serverless,用户可以立即开始处理数据,无需预先配置或管理服务器。亚马逊云科技负责所有底层过程,包括初始化、配置、升级和维护所需的硬件和软件。这意味着用户可以在几分钟内启动服务并开始分析数据。因此,Amazon EMR Serverless可以帮助分析团队节省大量时间和精力,缩短数据分析应用的上线时间。
高度可扩展:Amazon EMR Serverless是高度可扩展的分析服务,可以自动缩放以处理大规模数据集。这意味着用户不必提前预测未来需要多少容量,也不必在系统上做任何修改,只需专注于分析数据而不是管理基础架构。
成本效益:Amazon EMR Serverless使用按需定价模型,这意味着用户只需支付实际使用的资源,而无需购买或租赁整个服务器。这种灵活的定价模型使其非常具有成本效益,特别是对于需要处理大规模数据集但无法准确预测当前和未来工作负载的企业。
高度安全:亚马逊云科技一直是云计算行业中最受信任的品牌之一。Amazon EMR Serverless继承了亚马逊云科技的安全性,提供多层安全保障,包括网络安全、身份验证和访问控制、加密和合规,用户可以放心地在Amazon EMR Serverless上进行分析工作。
多可用区域设计:Amazon EMR Serverless服务原生设计支持多可用区域部署,用户提交作业会自动在一个可用区域内执行。在容灾情况下,失败的作业会被自动提交给其他可用区域执行而无需人工干预,保障了服务的高可用性和任务处理的稳定性。
行业前沿实践
流媒体巨头Disney+率先采用Amazon EMR Serverless。Disney+的数据平台涵盖了100个账号,20PB的数据,并且来自Disney+、ESPN+和Hulu的15个以上团队都在这些数据上进行分析。由于业务场景非常复杂,需要支持多团队和跨部门的数据协作以及海量数据场景,因此强大的数据基础设施必不可少。Disney+采用了Amazon EMR Serverless作为大数据平台。Amazon EMR Serverless在多租户、多应用、多任务场景下具有高性能和弹性伸缩特性,帮助Disney+解决了遇到的性能和管理问题。与在Amazon Elastic Compute Cloud上使用Amazon EMR相比,Disney+使用Amazon EMR Serverless,将所需时间降低了30%,将成本降低了75%。
全面的Serverless数据分析服务选项
除Amazon EMR Serverless之外,亚马逊云科技还提供了包括Amazon Redshift数据仓库、Amazon Glue数据集成、Amazon OpenSearch日志分析、Amazon QuickSight商业智能工具、Amazon Managed Streaming for Apache Kafka (Amazon MSK)实时数据分析等众多服务,且所有服务都提供Serverless选项。这些服务可以帮助企业收集、存储、处理和分析海量数据,以便更好地理解客户行为、优化业务决策并探索新机会。此外,亚马逊云科技还提供了一系列与数据相关的托管服务,例如Amazon Relational Database Service(Amazon RDS)关系型数据库、Amazon DynamoDB云原生数据库,以及Amazon Simple Storage Service(Amazon S3)对象存储服务,可以轻松快速地创建基于云的数据库、数据湖和数据仓库,为企业提供高性能、可扩展和安全的数据管理解决方案。
亚马逊云科技全面的Serverless数据分析服务选项