5月20日,在北京举办的百度AI Day活动上,百度集团副总裁吴甜、中国信息通信研究院人工智能研究所平台与工程化部主任曹峰,以及文心一言的用户代表陈君航,共同就文心大模型的最新技术进展、全球大模型的发展态势、大模型能力测评以及文心一言的使用感受等方面进行了现场交流。在活动过程中,中国信通院揭晓了大模型推理能力的评估成果。结果显示,在24项能力评估中,百度文心X1 Turbo取得了优异的成绩,其中16项达到了5分的高分,7项获得4分,1项则是3分。凭借这样的综合表现,它荣获了当前最高的“4+”级评级,成为国内首个通过此项测评的大规模模型。在逻辑推理、代码推理、推理效果优化等技术能力方面,以及工具支持度、安全可靠度等应用能力上,文心X1 Turbo均实现了满分。
文心大模型新版本技术详解
在活动现场,吴甜详细阐述了文心大模型最新版本的技术革新,并对相关内容进行了全面深入的讲解。她指出,文心大模型4.5是一款多模态的基础大模型,而文心4.5 Turbo则是基于文心4.5进行研发,它在效果上更为出色,成本上更为低廉;在文心4.5 Turbo的基础上,文心X1进行了升级,变成了X1 Turbo,不仅性能得到了显著提升,还拥有了更为先进的思维链,问答、创作、逻辑推理、工具调用以及多模态能力也得到了进一步增强。
百度集团副总裁吴甜
文心4.5及4.5 Turbo版本均支持对文本、图像以及视频进行综合性的训练处理。考虑到不同模态数据在结构、规模和知识密度方面的区别,我们采用了多种技术手段,如多模态异构专家建模、自适应分辨率视觉编码、基于时空重排列的三维旋转位置编码以及自适应模态感知损失计算等,显著增强了跨模态学习的效率以及多模态融合的效果。这些技术使得学习效率提高了近两倍,而多模态理解的效果也提升了超过30%。
在训练领域,百度研发了一套自反馈增强的技术体系,这一体系依托于大模型本身的生成与评估反馈功能,成功构建了“训练-生成-反馈-增强”的模型迭代闭环。此举使得大模型具备了自我迭代的“超级大脑”功能。这不仅有效解决了大模型在数据对齐过程中遇到的难度大、成本高、速度慢等问题,还显著减少了模型的幻觉现象,大幅提升了模型对复杂任务的理解和处理能力。
在训练过程中,我们采用了结合偏好学习的强化学习策略,构建了综合性的奖励系统,从而显著提高了对结果质量进行评估的精确度。通过整合离线偏好学习与在线强化学习,我们优化了数据应用的效果和训练的稳定性,同时增强了模型对优质结果的识别能力。而且,通过整合偏好信号与奖励信号,模型在理解、创作、逻辑推理和记忆等方面的能力得到了全面提升。
在深度思考领域,我们打破了仅依赖思维链优化的传统模式,将工具的运用融入思考过程,创建了集思考与行动于一体的复合型思维链。这一创新显著增强了模型解决复杂问题的能力,其输出的结果思路明确、逻辑缜密,表达流畅自然。此外,通过引入多元统一的奖励机制,我们实现了思考与行动链的全面优化,大幅提高了模型在跨领域问题解决方面的能力。
在数据领域,构建了“数据挖掘与合成、数据分析与评估、模型能力反馈”的完整数据建设体系,为模型训练持续提供知识密集、种类丰富、覆盖广泛的大规模数据。此外,该数据建设流程具有出色的可扩展性,能够便捷地适应新的数据类型,确保数据生产的快速与高效。
此外,吴甜强调,随着大模型能力的不断扩展和效率的持续提高,我们有望挖掘出更具前瞻性和创意的全新应用场景。
以数字人为例,超拟真数字人需具备卓越的表现力、吸引人的内容,以及与场景、物品的互动能力,这要求综合运用多模态人工智能技术。百度研发了“剧本”驱动的多模协同超拟真数字人技术,成功实现了语言、声音和形象的和谐统一。这套技术目前已助力超过十万位数字人主播,其直播转化率高达31%,同时有效降低了80%的直播开播成本。在代码应用领域,依托文心大模型强大的语言及代码处理能力,百度成功研发了代码智能体以及智能代码助手——文心快码。在百度每日新增的代码中,由文心快码生成的代码比例已超过40%。截至目前,文心快码已面向公众全面开放,为总计760万位开发者提供了服务。
文心大模型在能力上的扩展与效率上的增强,主要归功于飞桨文心的协同优化,这不仅涵盖了框架模型层面的联合优化,还涉及到了框架算力方面的联合优化。得益于训练与推理技术的创新,文心 4.5 Turbo 的训练吞吐量实现了对文心 4.5 的5.4倍提升,而推理吞吐量更是达到了8倍的增长。公开资料揭示,飞桨文心平台的开发者群体已突破2185万大关,其服务的企业数量超过67万家,所构建的模型总数已达到110万个。依托飞桨深度学习平台与文心大模型,百度在沪、穗、宁、汉、厦、甬、昌、锡等城市设立了产业赋能中心、数据生态中心以及教育创新中心,通过科技融合人才与创新的策略,构筑区域性的AI公共服务技术平台。该平台汇集了高价值行业数据集,培育了新型复合型人才,助力本地AI产品研发,并建立了以人工智能为核心能力的政产学研用协同发展体系,从而加速了区域产业的智能化转型。
我国首例!文心X1 Turbo荣获信通院“4+”级顶级评价。
曹峰,中国信息通信研究院人工智能研究所平台与工程化部主任,在活动现场,从多个角度对大模型的发展趋势进行了深入剖析。他提到,2024年,人工智能的进化能力不断增强,在诸如多任务语言理解、竞赛级数学以及博士级科学问题等以往对人类构成挑战的基准测试中,大模型的表现已经超越了人类。
中国信息通信研究院人工智能研究所平台与工程化部门负责人曹峰,在活动现场进行了经验交流。
在活动现场,曹峰揭晓了信通院对大模型推理能力的测评成果。百度文心X1 Turbo在24项测评项目中,有16项获得了5分、7项获得了4分、1项获得了3分,其综合评级达到了目前最高的“4+”级,从而成为国内首个通过此项测评的大规模模型。
他补充说明,评估数据显示,文心X1 Turbo在结构化逻辑思维方面表现突出,且掌握了在模型性能与效率之间实现平衡的优化技术。该模型凭借其高效的数据处理机制,确保了模型的可靠性和实用性,其推理服务也广泛适用于不同应用场景。此外,文心X1 Turbo增强了推理的泛化能力,扩展了工具链的应用范围,强化了安全机制,并构建了保障应用可信度的防线。
16 岁高中生:打开文心一言,就像打开新华字典一样
在活动现场,一名16岁的高中生陈君航讲述了他运用文心一言的经历。自2023年起,他便开始接触并使用文心一言,而这款工具也几乎全程伴随了他备战中考的历程。
君航回想起,当他首次接触到文心一言时,正因语文作文的修改而烦恼不已。于是,他将自己的作文连同老师的点评一同发送给了文心一言,请求其对每一句进行细致分析并提供修改意见。他直言不讳地说:“我频繁地打开文心一言,就如同翻阅新华字典一般。在它的陪伴下,我的写作水平得到了显著的提高。”
君航强调,文心一言不仅为他精心设计了阶段性的学习计划,而且还能够解答那些搜题软件无法解决的独创题目。在学习领域,文心一言就如同一位全天候陪伴我的全能导师。