点击右上角
微信好友
朋友圈

请使用浏览器分享功能进行分享

1月22日,百度发布并上线原生全模态大模型文心5.0正式版。该模型参数达2.4万亿,采用原生全模态统一建模技术,具备全模态理解与生成能力,支持文本、图像、音频、视频等多种信息的输入与输出。目前,个人用户可在文心APP、文心一言官网体验,企业与开发者可通过百度千帆平台进行调用。
据百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜介绍,与业界多数采用“后期融合”的多模态方案不同,文心5.0的技术路线采用统一的自回归架构进行原生全模态建模,将文本、图像、视频、音频等多源数据在同一模型框架中进行联合训练,使得多模态特征在统一架构下充分融合并协同优化,实现原生的全模态统一理解与生成。
此外,文心5.0采用超大规模混合专家结构,具备超稀疏激活参数,激活参数比低于3%,在保持模型强大能力的同时,有效提升推理效率。同时,基于大规模工具环境,合成长程任务轨迹数据,并采用基于思维链和行动链的端到端多轮强化学习训练,显著提升了模型的智能体和工具调用能力。
基于强大的原生全模态统一建模技术,与2.4万亿参数的海量算力,“文心5.0”已具备让AI应用走进真实行业与复杂场景,提供更高效解决方案的能力。全球AI行业经历过去几年快速发展,正进入一个新的快车道,但在AI应用领域,以对话或文字输入为主的Chatbot仍是主流形式。AI如何应用于真实世界与行业,从而进一步产生价值,是行业都在探索的方向。
作为国内最早发布大模型的企业之一,百度正基于多年积累的技术实力,形成以芯片为底座,智能云为平台框架,以模型支撑各类智能体应用的“芯云模体”全栈自研生态闭环,持续探索赋能行业的AI解决方案。(张伟)
