腾讯云大数据技术已经从第一代的离线计算,第二代的实时计算,第三代的机器学习,发展到如今以隐私计算、数智融合以及云原生为代表的第四代。
刚刚获悉,腾讯云在首届大数据峰会上公布,其大数据平台算力规模已经突破千万核,日实时计算量达百万亿级、日运行容器数超亿级,日计算数据量数百PB,服务的企业客户数超2万家,开源社区代码贡献量超800万行,进一步呈现了自身在大数据领域的顶级实力。
腾讯云副总裁黄世飞表示,基于全新的技术架构、数据治理理念以及产品能力,从底层的大数据基础引擎、中层的一站式大数据开发治理平台,再到上层的智能推荐、隐私计算和BI应用,腾讯云已经构筑了国内领先的大数据产品矩阵。
腾讯云大数据产品矩阵
大数据与云原生技术的结合成为解决目前大数据技术门槛高、运维部署难度大等问题的最优解,企业在利用大数据过程中真正需要的是一套开箱即用的云原生产品服务。腾讯云大数据基于开源开放理念,以及内部单集群超万节点的大规模技术实践,沉淀了国内领先的企业级云原生大数据技术架构的构建能力。
弹性MapReduce (EMR)、Elasticsearch Service (ES)、云数据仓库CDW、数据湖计算DLC、流计算Oceanus、数据集成DateInLong等构成了腾讯云大数据基础产品的核心引擎。以EMR来说,基于云原生技术的安全、低成本、高可靠开源大数据计算框架,帮助客户构建可弹性扩展的企业级大数据技术架构,轻松应对 PB 级海量数据的价值挖掘挑战。数据湖计算DLC基于存算分离的产品架构,可以实现数据资产统一建设,帮助用户敏捷、低成本地管理和分析海量数据。
全新升级的一站式大数据开发治理平台WeData,基于业内独创的 DataOps 数据开发模式, 通过协同、效率、一体三大核心优势, 实现了数据集成、数据资产、数据开发、数据服务等全方位的数据治理能力。凭借其基于开源、简单易用、安全稳定、降本增效的优势,腾讯云 WeData 能帮助企业大幅提升数据管理效率和数据质量, 为业务创造价值, 目前已经在企业级数据仓库构建、数据资产治理等场景中被广泛应用。
大数据和AI技术的融合不仅让大数据的运维、部署更加智能,还可以打通数据和业务智能化之间的阻隔,实现价值闭环。腾讯云大数据正在加速推进和自主研发的人工智能平台Ti-One的紧密结合,让经过腾讯内部海量业务训练过的智能化真能融入大数据业务中。新一代智能推荐平台采用业界领先的AI技术和推荐算法,能够为信息流分类页推荐、短视频个性化推荐、信息流猜你喜欢等场景提供强大技术支撑。
为打破数据孤岛实现数据协同,全自研Angel PowerFL隐私计算框架和首创的基于Spark + MQ的隐私计算模式,为政务、金融、广告营销等众多行业提供了数据安全保障。凭借该技术,腾讯云大数据团队连续两年获得iDash世界隐私计算大赛冠军,安全性能领冠全球。
同时,腾讯云大数据BI产品,支持腾讯云上各类数据源、数据处理平台快速接入,拖拽式敏捷分析方式,让非技术人员可快速构建报表满足复杂业务分析需求。
值得一提的是,这些公有云上的大数据基础引擎、数据开发治理平台、智能推荐、隐私计算、BI等能力,也可以通过腾讯云大数据处理套件TBDS在私有云或非云化环境等比例获取。
腾讯云副总裁刘煜宏表示:“未来,腾讯云大数据还将在自适应计算架构、流批一体的实时湖仓、大数据‘自动驾驶平台’、云原生大数据等方向上进一步发力,携手合作伙伴,为客户提供更智能、更安全的大数据产品服务。在更加基础底层的编译器领域,我们将深入打造自主可控的数据科学编译器引擎,为上层的大数据产品发展提供强大的技术保障。”
本次峰会上,腾讯云大数据还首次对外宣布“智理无数,心中有数”的品牌理念。同时,为推动云原生大数据技术发展,共建云原生大数据生态,腾讯云联合英伟达、Elastic、StarRocks、Apache Alluxio、SelectDB等多家软硬件技术厂商与开源社区,共同发起成立云原生大数据技术生态联盟。