在万亿级训练数据的滋养下,文心大模型不仅掌握了自然语言的能力,还学会了代码的奥秘,实现了从思考到执行的完整过程。基于这一独特能力,百度打造了代码智能体和智能代码助手,为AI助手的发展注入了新的活力。
4月16日,以“创造未来”为主题的Create 2024百度AI开发者大会在深圳国际会展中心盛大开幕。百度首席技术官王海峰以“技术筑基,星河璀璨”为题,分享了智能体、代码、多模型等多项文心大模型的关键技术和最新进展。
王海峰现场演示了用代码智能体为本次Create大会嘉宾定制邀请函的过程。代码智能体 理解了邀请函模版内容,然后生成代码并执行,将嘉宾姓名填写到合适位置,生成以嘉宾名字命名的邀请函文件,并输出打包好的多张邀请函。
自去年3月16日发布知识增强大语言模型文心一言以来,百度不断迭代升级文心大模型,技术创新不断,从知识增强、检索增强,进一步发展出知识点增强。依托飞桨平台,文心大模型能力愈加强大,效果和性能全面提升。
除了智能体、代码和多模型技术,文心大模型在其他方面也持续创新,包括基于模型反馈闭环的数据体系、基于自反馈增强的大模型对齐技术,以及多模态技术等。王海峰现场公布,文心大模型4.0的效果持续提升,发布后的半年时间,又提升了52.5%。
代码智能体由思考模型和代码解释器组成。思考模型理解用户需求,将完成任务的指令和相关信息整合成提示,输入给代码解释器;代码解释器根据提示,将自然语言表达的用户需求翻译成代码并执行,得到执行结果或调试信息;思考模型对代码解释器的执行结果进行反思确认,若正确,则将结果返回给用户,若不正确,则继续进行自主迭代更新。
文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的全栈布局,尤其是飞桨深度学习平台和文心的联合优化。文心大模型的周均训练有效率达到98.8%,相比一年前文心一言发布时,训练效率提升到当时的5.1倍,推理105倍。
Comate将代码理解、生成、优化等能力无缝集成到研发流程的各个环节,帮助提升代码开发质量和效率。通过一条简单的指令,工程师可以快速了解整个代码的架构,甚至每个模块的具体实现逻辑,还可以根据当前的项目代码以及第三方代码自动生成满足要求的新代码。
王海峰解读了智能体的思考过程,演示了智能体如何经过思考调用工具。在文心大模型4.0工具版上,提问“我要到大湾区出差一周。想了解一下天气变化,好决定带什么衣服。请帮我查一下未来一周北京和深圳的温度,告诉我出差应该带什么衣服,并整理成表格。”智能体就像人一样,通过思考、规划,把用户需求拆解成多个子任务,调用相应工具完成任务。
高效低成本模型生产方面,百度研制了大小模型协同的训练机制,可以有效进行知识继承,高效生产高质量小模型,也可以利用小模型实现对比增强,帮助大模型的训练。同时,建设了种子模型矩阵,数据提质与增强机制,以及从预训练、精调对齐、模型压缩到推理部署的配套工具链。
在演讲中,王海峰强调了智能体在AI领域的重要性,表示智能体将在基础模型上进一步进行思考增强训练,包括思考过程的有监督精调、行为决策的偏好学习、结果反思的增强学习,从而得到更智能的思考模型。