点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:百度CTO王海峰:知识增强大语言模型具备人工智能的四项基础能力
首页> IT频道> 今日头条 > 正文

百度CTO王海峰:知识增强大语言模型具备人工智能的四项基础能力

来源:环球网2023-09-22 18:47

  9月21日,由科学技术部、中国工程院、清华大学共同发起主办的长城工程科技会议“人工智能赋能高质量发展”主题大会在清华大学召开。科技部党组书记、部长王志刚、清华大学党委书记邱勇致辞,中国工程院潘云鹤院士、中国科学院张钹院士等多位学术界、产业界专家围绕人工智能技术前沿与产业发展分享了真知灼见。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰以《人工智能技术生态与产业模式》为题作主旨报告。会上,王海峰表示,人工智能具有多种典型能力,理解、生成、逻辑、记忆是其中的核心基础能力,这四项能力越强,越接近通用人工智能,而大语言模型具备了这四项能力,为发展通用人工智能带来曙光。

  早在2019年,王海峰就曾提出,深度学习具有很强的通用性,并具备标准化、自动化和模块化的工业大生产特征,推动人工智能进入工业大生产阶段。四年来,深度学习技术和应用的发展充分验证了这一观点。深度学习技术的通用性越来越强,深度学习平台的标准化、自动化和模块化特征越来越显著,而预训练大模型的兴起,使得人工智能应用的深度和广度进一步拓展,技术生态更加完善。人工智能已进入工业大生产阶段。

  标准化方面,框架和模型联合优化,多硬件统一适配,应用模式简洁高效,大幅降低人工智能应用门槛;自动化方面,从训练、适配,到推理部署,提升人工智能研发全流程效率;模块化方面,丰富的产业级模型库,支撑人工智能在广泛场景的便捷应用。

  据了解,得益于飞桨产业级深度学习开源开放平台和文心大模型的互相促进,贯通了深度学习全产业链,飞桨生态愈加繁荣,已凝聚800万开发者,服务22万家企事业单位,基于飞桨创建了80万个模型。伴随大模型的发展,百度推出了星河大模型社区,寓意“文心加飞桨,翩然赴星河”,与开发者共享共创大模型生态。

  王海峰表示,人工智能具有多种典型能力,理解、生成、逻辑、记忆是其中的核心基础能力,这四项能力越强,越接近通用人工智能,而大语言模型具备了这四项能力,为发展通用人工智能带来曙光。

  具体而言,人工智能的典型能力如创作、编程、解题、规划等都依赖于理解、生成、逻辑、记忆等核心基础能力,依赖程度有所不同。以解题为例,从读懂题目、解答题目到最后写出答案,需要理解、记忆、逻辑及生成能力的综合运用。

  知识增强大语言模型文心一言充分验证了这一点。在训练数据规模和参数规模相同的情况下,纯中文模型比多语言模型生成能力强,理解和逻辑能力弱。文心一言首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。在检索增强和知识增强的基础上,通过知识点增强,提升对世界知识的掌握和运用;通过逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络,提升逻辑推理能力。进一步地,通过多种策略优化数据源及数据分布、基础模型长文建模、多类型多阶段有监督精调、多任务自适应有监督精调、多层次多粒度奖励模型等技术创新,全面提升基础通用能力。

  效率方面,通过飞桨端到端自适应混合并行训练技术以及压缩、推理、服务部署的协同优化,文心大模型训练速度达到原来的3倍,推理速度达到原来的30多倍。根据人民数据、新华网等多个公开测评,文心大模型3.5支持下的文心一言综合能力超过ChatGPT,遥遥领先于国内其他大模型。IDC《AI大模型技术能力评估报告,2023》显示,文心大模型3.5拿下12项指标的7个满分,得到“综合评分第一,算法模型第一,行业覆盖第一”三个绝对第一。

  应用方面,通过数据驱动、提示构建,以及插件增强进行场景适配,协同优化。文心一言已上线百度搜索、览卷文档、E言易图、说图解画、一镜流影等原生插件,使模型具备生成实时准确信息、长文本摘要和问答、数据洞察和图表制作、基于图片的创作和问答、文生视频等能力。插件机制扩展了大模型能力边界,更适应场景需要。

  数据显示,文心一言在8月31日率先面向全社会开放服务,首日回答了网友3342万个问题,细分应用场景丰富,包括文案创意、教育咨询、代码生成等,目前已有15万企业和2万多插件开发者申请接入。

  面对大模型产业化的挑战,王海峰表示,类似芯片代工厂,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务。这一产业化路径已在文心大模型产业实践中得到验证,百度与各行业头部企业、机构共建了包括能源、金融、航天、制造、传媒、城市、社科以及影视等行业大模型。以文心一言等大语言模型为代表的人工智能正在深入千行百业,加速产业升级和经济增长。

阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 巴基斯坦与印度宣布停火

  • 张海琴打破女子55公斤级三项世界青年纪录

独家策划

推荐阅读
2025年4月10日,安徽省芜湖市无为市昆山镇三公山茶叶种植基地,千亩高山野生杜鹃在翠绿的茶园之间绚丽绽放,美轮美奂,美不胜收
2025-04-10 15:13
近年来,江苏省泰州市姜堰区以科技创新赋能产业发展、以产业创新带动技术突破,持续优化营商环境,迭代升级“堰商汇”数智亲商服务平台,厚植民营经济发展沃土,以高质量服务促进民营企业高质量发展。
2025-04-06 18:06
2025年4月1日,北京怀柔慕田峪长城内外山花盛开,美丽的春花把古长城打扮的多姿多娇,犹如春天里一幅壮美的风景画
2025-04-02 15:44
2025年4月1日,船舶航行在安徽省合肥市庐江县境内的引江济淮航道上,标志着菜子湖湿地候鸟越冬季禁航结束,菜(子湖)巢(湖)线恢复通航
2025-04-01 15:40
2025年3月31日,江苏苏州吴中区光福镇,太湖之滨,桃花、樱花、油菜花等竞相绽放,生态优美,春景如画
2025-04-01 15:31
用镜头记录城市更新 青岛首届“百家媒体看改变”活动圆满闭幕
2025-03-20 10:14
"昭君杯"首届全国老年合唱大赛在北京国家大剧院正式启动
2025-03-19 16:10
2025年2月25日,云南省昭通市绥江县,新市金沙江特大桥施工现场,工人正加紧施工。
2025-02-26 15:41
2025年2月7日,重庆市巫山县曲尺乡月明村一大片梅花竞相开放、灿若红霞,游客和市民前来游玩打卡,尽享春日的快乐和惬意
2025-02-08 14:52
2025年2月5日,福建省福清市石竹山风景区,一场非遗英歌舞、建瓯挑幡等非遗表演正在进行,让游客感受中华优秀传统文化魅力,丰富景区文化内涵和游览品质
2025-02-06 15:55
2025年1月20日,江西省赣州市章贡区城市中央公园内,游船与湖水、植被、高楼相互映衬,呈现出一幅冬日多彩美丽生态画卷
2025-01-20 15:30
2025年1月16日,受低温天气影响,山西省运城盐湖出现冬季独特的“硝花”景观,水面上的硝花形态各异晶莹剔透,美不胜收。
2025-01-16 15:56
一位“行者”行走在广袤的沙漠中,遮掩着绝世的面庞,一面“古镜”掩埋于厚重的沙下,刻满了时间的裂痕。
2025-01-13 17:25
2025年1月9日,重庆市酉阳土家族苗族自治县桃花源国家森林公园白雪皑皑,雪景如画
2025-01-09 15:24
关爱卡寒假公益行 助力云南各族青少年儿童梦想起航
2025-01-08 14:42
2025年1月5日,在山西太原南站开往呼和浩特东站的D4022次列车前,游客自拍合影。
2025-01-06 16:01
2024年12月8日,广西梧州岑溪市岑城镇木榔村,生态田园中阡陌纵横线条分明,冬韵如画。
2024-12-10 16:48
2024年12月10日,贵州省黔西市绿化白族彝族乡大海子村,青山环绕树木葱茏,构成一幅美丽的生态画卷。
2024-12-10 16:40
2024年12月6日,古城苏州街头,成片的银杏、红枫等树木色彩斑斓满目缤纷,成为一道迷人的风景。
2024-12-06 15:48
2024年12月6日,初冬时节,山东省青岛市即墨区灵山街道花卉种植基地的大棚里一片繁忙,种植户忙着管护花卉。
2024-12-06 15:48
加载更多