参数是 ChatGPT 的近 6 倍!英特尔公布 AI 大模型 ,具备 1 万亿参数
来源 | InfoQ2023-06-02 18:38:04
英特尔公布 AI 大模型 Aurora genAI,具备 1 万亿参数wccftech 报道,英特尔近日公布了旗下生成式 AI 大模型 Aurora genAI。据悉,Aurora genAI 参数量

英特尔公布 AI 大模型 Aurora genAI,具备 1 万亿参数

wccftech 报道,英特尔近日公布了旗下生成式 AI 大模型 Aurora genAI。

据悉,Aurora genAI 参数量高达 1 万亿,其开发依赖于 Megatron 和 DeepSpeed 框架,这些结构增强了模型的强度和容量。而 ChatGPT 模型参数量是 1750 亿,这也意味着,Aurora genAI 的参数量是ChatGPT 的近 6 倍

据悉,Aurora genAI 模型是英特尔是与阿贡国家实验室和 HPE 合作开发的,它是一个纯粹以科学为中心的生成式 AI 模型,将被用于各类科学应用,包括分子和材料设计、乃至涵盖数百万来源的综合知识素材,据此为系统生物学、高分子化学、能源材料、气候科学和宇宙学等提供值得探索的实验设计思路。这些模型还将用于加速癌症及其他疾病的相关生物过程的识别速度,并为药物设计提供靶点建议。

除了科研之外,Aurora genAI 还具有在自然语言处理、机器翻译、图像识别、语音识别、金融建模等商业领域的应用潜力。

阿贡实验室副主任 Rick Stevens 介绍称,“这个项目希望充分利用 Aurora 超级计算机的全部潜力,为能源部各实验室的下游科学研究和其他跨机构合作计划提供资源。”

根据介绍,Aurora genAI 模型将由生物学、化学、材料科学、物理学、医学等学科的常规文本、代码、科学文本和结构化数据训练而成。阿贡实验室正带头组织国际合作以推进该项目,参与方包括英特尔、HPE、能源部各下辖实验室、美国及其他国际性高校、非营利组织,以及 RIKEN 等国际合作伙伴。

Aurora genAI 模型将运行在英特尔为阿拉贡国家实验室开发的 Aurora 超算上,其性能达到了 200 亿亿次,是当前 TOP500 超算冠军 Frontier 的 2 倍。近日,英特尔和阿贡国家实验室还公布了 Aurora 的安装进度、系统规格和早期性能测试结果:

  • 英特尔已完成 Aurora 超级计算机 1 万多块刀片服务器的交付。

  • Aurora 的完整系统采用 HPE Cray EX 超算架构,将拥有 63744 个 GPU 和 21248 个 CPU,辅以 1024 个 DAOS 存储节点。Aurora 还将配备 HPE Slingshot 高性能以太网络。

  • 早期性能结果显示,Aurora 超算系统在实际科学和工程负载上具有领先性能,性能表现比 AMD MI250 GPU 高出 2 倍,在 QMCPACK 量子力学应用程序上的性能比 H100 提高 20%,且能够在数百个节点上保持近线性的算力扩展。作为 ChaGPT 的有力竞争者,Aurora genAI 的公布预示着 AI 大模型赛道又迎来了新的重磅玩家,并极有可能在未来对各种科学领域产生重大影响。不过目前,Aurora genAI 更像是处于概念阶段,英特尔的目标是到 2024 年完成 Aurora genAI 模型的构建。

对于英特尔的万亿参数 AI 大模型 Aurora genAI,有网友表示:“我不相信仅仅增加参数数量就能改进模型,我认为我们不应该发布新闻稿追逐增加参数数量。我在研究中还发现,较大的模型通常不会表现得更好,但由于不负责任的营销,这变得越来越难以向非技术人员解释。如果我们对这些营销放任不管,我们会让很多人失望,并降低大家对 AI 未来增长潜力的信心——我们不想要另一个 AI 寒冬。训练这些大型模型会产生巨大的环境成本,而且理解、使用和控制这些非常大的模型(即使作为研究人员)也变得更加困难。”

AI 军备竞赛进入“万亿参数模型”对抗时代?

近几年,随着 AI 大模型赛道持续升温,越来越多的科技巨头加入进来,并不断打破参数规模记录。

2021 年 1 月,谷歌大脑团队重磅推出超级语言模型 Switch Transformer,该模型有 1.6 万亿个参数,是当时规模最大的 NLP 模型。同年 6 月,智源研究院发布悟道 2.0,该系统参数数量已超过 1.75 万亿,是当时全球最大的大规模智能模型系统。同年 11 月,阿里达摩院发布多模态大模型 M6,其参数已从万亿跃迁至 10 万亿,是当时全球最大的 AI 预训练模型。

有分析指出,中美 AI 军备竞赛的核心战场正是万亿级预训练模型。打造千万亿参数规模的预训练模型是人类的一个超级工程,可能会对国家甚至人类社会产生重大影响。

那么,模型参数越大就越好吗?

鹏城实验室网络智能部云计算所副所长相洋曾在接受 InfoQ 采访时指出:

我们最初见到的一些模型是几万个参数,后来就到了几亿、几十亿、百亿、千亿,还有可能上万亿。目前从事实来说,的确是模型越大数据越多,且质量越好,带来的性能是越高的。但是我个人认为,这个提升曲线可能会有一个瓶颈期,到了瓶颈或者平台期的时候,它的上升速度可能就会缓慢,或者说基本就达到稳定了。就目前而言,可能我们还没有到达平台期。所以说,“模型参数越大越好”这个说法在一定程度上是成立的。

但是,判断一个大模型是否优秀,不能只看参数,还要看实际表现。模型得出来的任务效果好,我们就可以认为这个模型是个好模型。参数不是问题,当机器无论是在存储还是计算能力都足够强的时候,大模型也可以变成小模型。

此外,还要考虑模型的可解释能力,以及是否容易受噪声的攻击。如果该模型有一定的解释能力,那这个模型就是一个好模型;如果该模型不易被噪声数据或是其他因素影响的话,那这个模型也是一个好模型。

本文转载来源:

https://www.infoq.cn/news/bx7SvZNNgOd63b2hI1yz