文心大模型新增11个大模型 构建产业大模型体系

https://tech.gmw.cn/2022-12/02/content_36205036.htm

11月30日，由深度学习技术与应用国家工程研究中心主办、百度飞桨承办的WAVE SUMMIT+2022深度学习开发者峰会如期举行。百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜带来了文心大模型的最新升级，包括新增11个大模型，大模型总量增至36个，构建起业界规模最大的产业大模型体系，并通过大模型工具与平台的升级和文心一格、文心百中等基于大模型技术的产品应用，进一步降低大模型产业化门槛，让更多企业和开发者步入AI应用的新阶段。

百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜

　　文心大模型全景图刷新，构建产业大模型体系

　　近年来，大模型的出现，为人工智能进一步发展带来新机遇。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在峰会上表示，深度学习平台加大模型，贯通AI全产业链，夯实产业智能化基座，将进一步加速智能化升级。

　　百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜表示，产业级深度学习平台飞桨和产业级知识增强大模型文心，相互促进、共同发展，已然成为产业智能化的基础性平台。文心大模型持续围绕“产业级”、“知识增强”两大特性，延续“降低应用门槛”的发展路线，进行创新突破。在此次峰会上，文心大模型全景图再一次迎来全面升级。

文心大模型全景图

　　在模型层，文心大模型一次性发布11个大模型，涵盖基础大模型、任务大模型、行业大模型的三级体系，全面满足产业应用需求；在工具与平台层，全面升级大模型开发套件、文心API和提供全流程开箱即用大模型能力的EasyDL和BML开发平台，全方位降低应用门槛；新增产品与社区层，包括AI艺术与辅助创作平台“文心一格”、产业级搜索系统“文心百中”和旸谷社区，让更多人零距离感受到最先进的AI大模型技术带来的新体验。

　　作为推进大模型在行业深度应用的关键举措，本次峰会上，百度联合深圳燃气、吉利、泰康保险、TCL、上海辞书出版社重磅新发5个行业大模型：深燃-百度·文心、吉利-百度·文心、泰康-百度·文心、TCL-百度·文心和辞海-百度·文心。吴甜表示，文心行业大模型是百度与行业头部企业、机构联合探索出的行之有效的大模型产业落地方式，让大模型在实际应用场景中“不但能用还便捷好用”。截至目前，文心已累计发布11个行业大模型，涵盖电力、燃气、金融、航天、传媒、城市、影视、制造、社科等领域，加速推动行业的智能化转型升级。

文心行业大模型家族

　　除行业大模型外，此次还发布了5个基础大模型和1个任务大模型，包括：知识增强轻量级大模型ERNIE 3.0 Tiny、跨模态理解大模型ERNIE ViL 2.0、跨模态生成大模型ERNIE ViLG 2.0、文档智能大模型 ERNIE-Layout、单序列蛋白质结构预测大模型HelixFold-Single和代码大模型 ERNIE-Code。

　　其中，知识增强轻量级大模型ERNIE 3.0 Tiny是以ERNIE 3.0千亿参数大模型为师，通过多任务知识蒸馏手段将千亿多任务大模型的所学迁移至轻量级模型中，训练了10亿级、亿级、千万级不同体量大小的轻量级大模型。ERNIE 3.0 Tiny具备非常优秀的泛化能力，同时相对于超大参数模型，推理速度提升数十倍到百倍，能够显著降低超大参数模型落地的成本。ERNIE 3.0 Tiny和ERNIE ViLG大模型将上线“鹏城云脑”，在云脑上精调训练、部署服务，进一步降低大模型开发和应用的门槛。

　　文心大模型工具平台全面升级，全流程支撑大模型开箱即用

　　为了让开发者更加方便、快速地使用大模型的最新能力，文心大模型工具与平台进行了全面更新。吴甜介绍，在工具方面，文心大模型开发套件全面升级，发布行业大模型定制工具，同时提供更加完备的场景化建模工具、更为丰富的模型精调工具，以及大模型可信学习工具，让大模型开发训练更加灵活高效；文心API服务支持多种模型尺寸的精调，体验专区提供更多可体验能力，同时基于大规模集群算力分布式推理加速能力，可满足大规模高性能产业级调用。

　　大模型的开发、训练、推理部署的门槛是非常高的。为了更好地支持大模型应用落地，飞桨发布了端到端大模型开发套件PaddleFleetX。针对大模型的训练挑战，PaddleFleetX基于框架自适应分布式训练能力，根据模型和硬件平台的特点，自动感知硬件特性，支持在异构硬件上进行自适应并行训练。同时，充分发挥飞桨动转静能力优势，进行训练加速，实现端到端的极致性能优化。训练过程还支持弹性容错训练，大幅提升训练过程的鲁棒性。针对大模型推理部署的挑战，PaddleFleetX提供了大小模型无缝联动的能力，以满足大模型推理对性能的极致要求。同时，PaddleFleetX支持自适应分布式推理技术，真正做到分布式策略的训推一体，大可支持超大模型的服务化部署，小可协同极致小型化策略，支持端侧轻量化部署。

　　飞桨企业版AI开发平台EasyDL和BML也围绕大模型的技术应用进行了全新升级，发布了提供全流程开箱即用的大模型平台能力，加速大模型的产业化落地。

飞桨企业版全面升级

　　据百度AI平台部总监忻舟介绍，在EasyDL零门槛AI开发平台预置了各种通用任务场景大模型，可以让AI应用开发者获得更好的模型训练效果。在BML全功能AI开发平台上，端到端的并行训练优化方案大幅提升了大模型训练性能；预置的基于大模型的场景模型生产线，让开发者在主流的场景开箱即用，快速构建大模型场景应用；新增的自动化推理服务监控能力，及时感知变化和问题，驱动反馈和迭代，让AI应用的高效迭代闭环。

　　AI作画产品“文心一格”推出三大新功能，产业级搜索系统“文心百中”首次亮相

　　为了进一步降低应用门槛，让广泛的用户可以使用文心大模型，百度发布和升级2个由大模型为核心驱动的应用产品。

　　首先是AI艺术与辅助创作平台“文心一格”。在文心一格上，用户仅需输入文字创想，即可完成别具一格的画作，受到用户广泛好评。值得一提的是，文心一格深谙中国文化精髓，所创画作尽显中国风骨。本次峰会上，吴甜发布了文心一格的三大全新功能：支持以图生图、支持可控的增删改等图片二次编辑和一键生成视频，进一步激发创造力，降低内容生产成本。

　　继文心一格之后，以文心大模型为核心驱动的第二个产品——产业级搜索系统“文心百中”在峰会上发布，该产品由百度搜索与文心大模型联合研制，命名寓意搜索结果精准，百发百中。

产业级搜索系统文心百中

　　文心百中具有三大特性：极简、强大、高效。文心百中采用纯神经搜索架构加数据驱动搜索效果优化策略设计而成，应用起来极其简便，仅需三步即可在线完成搜索引擎的构建；文心百中拥有强大的语义理解能力，相比传统模型实现了质的提升，已在多个场景展现惊艳的搜索效果；文心百中具备搜索系统从0到1的高效建设能力，相比传统搜索系统可减少人力成本90%以上；同时，基于小样本学习能力极强的文心大模型，文心百中仅需少量的数据，即可实现不同行业的搜索效果优化，十分高效。

　　文心大模型与飞桨共享生态，围绕“产业级”和“知识增强”两大特色，持续构建适合产业应用的模型体系。未来，将有越来越多的企业和开发者通过大模型加深度学习平台的模式，步入AI应用的新阶段，进一步加速产业智能化升级。（柯岩）