百度王海峰:文心大模型4.0最新技术阐述产业模式

11月8日至10日，以“构建包容、普惠、韧性的数字世界——携手构建网络空间命运共同体”的2023世界互联网大会乌镇峰会成功举行。 今年是乌镇峰会召开十周年。 百度首席技术官、深度学习技术与应用国家工程研究中心主任王海峰出席前沿数字技术创新与安全论坛及人工智能赋能产业发展论坛，解读最新文心大模型4.0技术，制定大规模产业模型。 王海峰透露，温馨一言目前已经达到7000万用户、4300个场景。

王海峰表示，人工智能是新一轮科技革命和产业变革的重要驱动力。 深度学习作为人工智能的核心技术，具有很强的通用性，具有标准化、自动化、模块化工业生产的特点。 大模型的兴起进一步拓展了人工智能应用的深度和广度。 人工智能已进入工业化量产阶段。

例如，在标准化方面，框架和模型联合优化，统一适配多种硬件，应用模型简单高效，大大降低了人工智能应用的门槛； 自动化方面，从训练、适配、到推理部署，提高整个人工智能研发流程的效率； 模块化方面，丰富的工业级模型库支撑人工智能在广泛场景下的便捷应用。

王海峰认为，人工智能具有多种典型能力，其中理解、生成、逻辑、记忆是基本能力。 这四种能力越强，就越接近通用人工智能。 大语言模型具备这四种能力，就越接近通用人工智能。 它越来越强，带来了通用人工智能的曙光。

3月16日，百度发布了新一代知识增强型大语言模型文心一言。目前，文心一言基础模型已迭代至文心大模型4.0。 知识增强型大语言模型从数万亿数据和数千亿知识中学习，获得预先训练的大模型。 在此基础上，利用监督微调、人类反馈强化学习、提示等技术，实现知识增强和检索增强。 和对话增强的技术优势。

此外，文心大模型4.0在输入和输出阶段都进行了知识点增强。 逻辑增强方面，通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合、符号神经网络等提升逻辑能力。 插件方面，通过数据驱动、提示构建、插件增强等方式进行场景适配和协同优化。 文心一言推出了百度搜索、浏览文档、E字易图、说图绘、一景流影等原生插件，拓展了大模型能力的边界，更适应场景需求。

据了解，百度进一步开发了智能代理机制，包括理解、规划、反思和进化，可以实现可靠执行和自我进化，并在一定程度上将思维过程白盒化，让机器思考和行动像人类一样，自主完成复杂的任务，并在环境中不断学习，实现自主进化。

正是通过飞飘和文心的协同优化，文心大模型平均每周训练效率超过98%，训练效率提升至3月份发布时的3.6倍，推理性能提升50倍。 文心4.0的理解、生成、逻辑、记忆四大能力都有显着提升。 理解和生成能力以相似的速度提高，而逻辑和记忆能力提高得更快。 逻辑性的提升达到了理解力和记忆力的近三倍。 提升率也达到了理解的2倍以上。

自8月31日向全社会开放以来，温馨一言用户规模已达7000万，场景4300个，应用2492个。 飞票和文信生态已聚集800万开发者，服务22万家企事业单位，创造80万个模型。

面对大模型产业化的挑战，王海峰表示，与芯片代工模式类似，可以采用“集约化生产、平台化应用”模式，即在算法、算力、数据等方面具有综合优势的企业可以整合将模型制作的复杂流程封装起来，通过低门槛、高效率的制作平台，为数千个行业提供大模型服务。

目前，这一产业化路径已在文心大型模型产业实践中得到验证。 百度与合作伙伴共同打造了能源、金融、航空航天、制造、媒体、城市、社科、影视等10多个行业大型模型。 ，正在加快推进大车型产业化。

继续阅读：