百度大模型加速市场化。
6月6日，百度在成都举办了文心大模型技术交流会，会上，百度智能云推出“Comate”代码助手，并正式开放邀测。
从介绍中可以看到，代码助手“Comate”可以实现代码的快速补齐、自然语言推荐代码、自动查找代码错误，全面提升开发者研发效率。之后，开发者可以通过插件等形式，在主流开发软件中使用“Comate”代码助手。
同时在活动现场，百度智能云也公布了大模型业务的新进展。
文心一言方面，3月开始内测两个月以来，百度文心一言的推理性能已经提升10倍;基于文心千帆大模型平台提供的完备的工具链，文心一言的高性能模式“文心一言-Turbo”推理服务性能已经提升了50倍，目前企业可以在文心千帆大模型平台上申请测试“文心一言-Turbo/ErnieBot- Turbo” 高性能模式。
此外，文心千帆也在数据导入/任务标注、Prompt管理器、强化学习机制、大模型插件产线、大模型评估、大模型压缩等等能力上进行了持续升级，同时还能支持更多第三方大模型。
1.推出大模型时代的代码助手Comate
具体来看，“Comate”代码助手可以实现编码、回看、测试等全流程的辅助编码。比如，在编写程序时，可实现代码智能搜索、推荐、自动补全;也可查找代码错误;同时，在测试阶段，也可基于代码直接生成单元测试脚本，实现代码验证。
与国外的开发工具相比，“Comate”基于文心大模型在中文理解上的独特优势，可以理解代码中的中文注释，并通过上下文触发、语义触发等能力，完成相应指令，更匹配中国开发者的习惯。
据了解，Comate的研发最早可以追溯到2021年，当时百度云在基于文心大模型进行代码辅助工具的研究，2022年4月，Comate进行了内测，2022年9月代码辅助工具开始在百度内部开发中全面应用。
“Comate”代码助手背后是高质量Github代码库以及百度内部代码的积累。目前，“Comate”覆盖了30余种编程语言，包含 C/C++、Python、Java等多个主流语言。此外，“Comate”支持程序员最常使用的主流IDE，开发者可以通过插件等形式，在不同软件中使用“Comate”。“Comate”可确保推理单次请求300ms左右。
现场，百度智能云AI平台副总经理施恩还使用“Comate”进行了实时演示，并生成了“贪吃蛇”小游戏。演示中可以看到，“Comate”自动联系上下文理解指令，补全代码，并在多条推荐代码之间切换，选择合适代码，直接生成了可运行的“贪吃蛇”小游戏。
百度智能云对Comate的产品规划是：
第一阶段主要实现辅助代码撰写，目前开发者已经可以通过自然语言的方式写代码;
第二阶段，“Comate”将在特定领域、场景的自然语言代码生成;
第三阶段将实现全领域的自然语言开发。
百度智能云AI平台副总经理李景秋告诉「甲子光年」，从整体落地效果来看，目前百度内部，Comate的采纳率达到30%-50%，最高有50%的代码由Comate生成。她也提到，这大大增加了工程师的编码质量和效率，“以百度的工程师为例，原本更高级别的T6工程师开发的代码，现在T5、T4的工程师也可以开发出来。”
2.百度千帆大模型再升级
文心千帆大模型平台是一站式企业级大模型平台，能够提供包括文心一言在内的大模型服务，提供开发AI应用的各种工具链及整套环境，还支持各类第三方的开源和闭源的大模型。
此次，文心千帆也进行了最新升级，推出了文心一言的高性能模式——ErnieBot-turbo，并在数据标注、调优、插件市场和服务部署方向进行全面迭代：
借助ErnieBot-turbo大模型，一方面可以批量生成标注数据，大大降低数据标注成本;另一方面在一些高频、核心场景，其推理服务的整体性总共提升了50倍。
大模型调优方面，ErnieBot-turbo大模型支持SFT训练;同时针对不同场景和效果提供多种训练方式。
插件市场方面也有了新的动作，百度透露，文心千帆将开放插件协议，能够让第三方企业基于插件协议共享插件。比如能源企业，就可以通过插件的方式，给他提供检索增强的样板，把内部的数据完全接入，同时实现更好的大模型效果。
服务部署的升级上，百度宣布在整体服务部署上可以支持ERNIE Bot、ERNIE Bot-Turbo、Bloom等大模型服务，支持对模型进行评估、压缩及部署，且还能支持基于应用的QPS分流。
Prompt工程方面，百度千帆目前升级提供一部分预制的Prompt模板，支持Prompt模板的增删改查，支持参数插值的调用模板，支持通过服务接口形式调用Prompt模板，用于获得更好的推理效果。
未来，基于文心千帆不断的升级，百度也将把大模型商业化落地真正落地到不同场景。目前，面向企业市场，文心千帆有公有云服务和私有化部署两种落地模式。
其中，公有云提供推理、微调、托管三种服务模式面向不同开发能力和不同需求的企业和开发者。比如，通用大模型或者微调出来的行业大模型，都可以直接托管在百度智能云的云端。
私有化部署支持软件授权、软硬一体、租赁服务三种交付模式。
软件授权指的就是，百度智能云将打包的AI软件系统授权给客户，由客户自行搭建部署在本地的数据中心或私有云环境中，百度负责软件的安装调试、培训与维护支持等;企业自己需要具备AI运维能力，并承担相应的服务器成本。
软硬一体模式交付成本和价格最高，指的是百度智能云提供包括AI软件系统授权、配置AI服务器集群、存储系统交付等整体解决方案的部署、调试和日常的技术支持与维护。租赁模式相对价格没那么高，指的是百度智能云提供机器和平台的租赁，训练完客户的数据，百度将自己的设备回收。
百度智能云AI平台副总经理施恩告诉「甲子光年」，目前，软件授权和软硬一体是百度智能云优先推进的模式，也是市场主流的模式，同时对百度而言这两种交付模式也更标准化。
大模型将进一步拉动AI公有云市场的增长，接下来，百度智能云也有机会借此进一步乘势追击，进一步收窄与头部云厂商的差距。
