English


百度喻友平:AI发展的本质是深度学习的应用

2018-01-13 15:04 来源:光明网-IT频道 
2018-01-13 15:04:34来源:光明网-IT频道作者:责任编辑:赵艳艳

  日前,百度AI技术生态部总经理喻友平公开表示,AI发展的本质是深度学习的应用,百度在这一领域具有多年的经验,早在2013年,百度就成立了深度学习研究院,深度学习也渗透到了百度的各个环节。2016年,百度开放了首个开源框架PaddlePaddle,百度希望通过彻底开源,对业界提供更多帮助。

  以下为演讲实录:

  喻友平:

  今天我要讲的题目是“百度深度学习开源平台的演进、实践与思考”。

  相信在场各位都听说过百度的深度学习框架PaddlePaddle,今天主要给大家介绍一下PaddlePaddle在公司内部应用、开源的情况和它的特点。这一轮人工智能的浪潮本质是深度学习带来的。在深度学习的应用下,我也会重点介绍百度AI的开放战略。

  人工智能只有60年的历史,在它的发展过程中经历几次高潮,但都没有发展起来,一些小波动过去以后,又消失了。最近几年人工智能的发展是真正落到了工业领域,有真正可以实际应用的产品。最主要的原因是数据采集能力得到有效的提高。这是第一个要素,也就是所谓的有大的数据。第二个原因是有大的计算能力,比如GPU等新的硬件出现。此外,还出现了深度学习的算法,可以从过去处理不了、加工不够的数据中提取出更多有效的信息。这一轮人工智能的快速发展,深度学习的广泛应用,最核心的是要有数据、算法和计算力这三个条件。恰巧,这三个条件,在近两年中都全部具备。

  这也是跟互联网快节奏相关,有了PC互联网,再到移动互联网。移动互联网采集数据的速度迅速,储备的信息量巨大,可有效地推动人工智能的发展。其中,深度学习在互联网领域的应用最多。工业和其他领域的同行与互联网行业的人对深度学习的了解和热爱是很难相比的。这也说明互联网行业在数据采集和数据应用方面更加便利。

  人工智能也受到国家层面的关注。国务院于2017年7月发布了《新一代人工智能发展规划》,将人工智能开源软硬件技术平台作为非常关键的内容。深度学习框架在人工智能产业链中是非常关键的一环。因为它下面承接的是硬件,无论是服务器上的硬件,还是端上的硬件。最近,端上的硬件也非常火热,它的上面是各类应用。深度学习最典型的应用场景,包括语音、图像、语言处理、大数据等等相关领域。这些都是在这个大背景下出现的。深度学习框架起到承上启下的作用,而且关键算法都沉淀在这个平台上,它对产业链的影响力是非常大的。在国家层面上,深度学习框架也是发展人工智能的重要因素之一。

  据了解,目前有几家公司都推出了深度学习框架,深度学习框架同时也是国家战略的一部分。百度于2016年9月份正式开源了深度学习框架PaddlePaddle。我们的开源时间稍微晚一点,但发展速度还是比较迅速的。深度学习框架也是国家人工智能战略的重要组成部分。

  PaddlePaddle的意思是“并行分布式的深度学习”这几个字母的简称。因为Paddle已经被人注册了,我们提议叫PaddlePaddle,会更有趣,也更容易记忆。所以在正式开源的时候就把它叫做PaddlePaddle。我们的目标是希望做一个最能满足中国开发者需要的开源深度学习平台。百度作为国内的公司,我们可以感受到因国情的差异,国内开发者的需求也会不同。

  近期,百度在以下几个方面取得了进展。一是社区方面的发展相当迅速,因为社区框架是一个开源的平台,它需要社区的支持,需要更多的开发者来平台上贡献模型,也需要有更多的厂商来支持这个框架。二是易学易用,任何一波技术浪潮的到来,刚开始的技术都显得非常深奥,只有少数人知道,少数人可以理解。随着技术的发展,它的门槛才会慢慢降低。开发者不需要了解里面深奥的算法,只需要了解外面的表层接口就可以加以应用,这是任何一个技术的发展历程。PaddlePaddle在简单、易学易用方面做了大量工作。三是工业应用,对于应用者来说,缺乏好的数据是无法写出一个好的模型,然后再跑数据,而这种问题在开发者中是普遍存在的。百度内部拥有经过大量的数据洗涤之后的模型,这也可以帮助开发者们快速上手,将好的模型应用于他们的产品中。

  PaddlePaddle开源框架的基本特点和应用环境主要包括训练部分和预测部分。训练的时候可以通过很多方式调用,比如通过浏览器、客户端。PaddlePaddle的计算资源池和数据资源池,也起到了很好地支撑作用,现在集成了CNN、RNN等多种神经网络及深度学习算法,同时支持CPU、GPU、FPGA等硬件。此外,我们跟英特尔、英伟达也达成了合作。最重要的是它支持大规模稀疏训练,上亿级的特征都是可以得到支持。PaddlePaddle是并行分布式深度学习的平台,支持多机多卡并行、数据并行、模型并行等等特征。在大规模分布式计算领域,率先支持Kubernetes。也支持私有化的部署。

  百度深度学习框架的开放程度是非常彻底的,从基础训练到预测、分布式的整套架构,全部是完全彻底开放的。我相信百度是深度学习开源做得最彻底的。对私有化的并行部署也做得非常好,云服务厂商也可以拿PaddlePaddle整套架构来搭一个云服务。

  PaddlePaddle在2016年9月份左右开放,开源以前,在公司内部已经用了2、3年时间。公司内部大量产品线都是基于PaddlePaddle,且两次获得百度百万美元的最高奖。PaddlePaddle在开源以后还可以支持Python API。2017年12月份,我们发布了最新版本PaddlePaddle Fluid。

  从PaddlePaddle的活跃度情况,最近1、2个月,已经超过了同期TensonFlow的数据。

  在社区中,它的各个环节,包括Training、分布式方面都有广泛的合作伙伴,他们都跟我们进行很好的互动。

  PaddlePaddle Fluid是新一代的深度学习框架。四年前,更多的是基于Layer的深度学习框架,像Torch、Caffe和PaddlePaddle的老版本都是这个方式。现在更多的是命令式的深度学习框架,使用编程语句去寻找神经网络,这是PaddlePaddle Fluid正在做的,大家可以选择0.10 1.0。它最大的特点是可以像高级语言一样编写深度学习程序。PyTorch在运行效率方面做得是比较好的。我们用了一年的时间解决它们两个兼容的问题,让编程变得特别便捷,运行效果又不受损失。公司内部也在把原来的PaddlePaddle替换成PaddlePaddle Fluid。

  我们跟Kubernetes合作了PaddlePaddle EDL弹性深度学习,支持多种作业,实现集体的资源配置。深度学习对资源的消耗是非常惊人的。通过EDL的整体资源调配,使得资源利用率提高很多。PaddlePaddle完全可以支撑中大型企业实现分布式深度学习计算的需求,而且是经过整体优化的平台。

  我们开放了大量的应用模型,现在已经开放了将近20种模型,而且每种模型,从模型原理的介绍,到使用PaddlePaddle的实现,以及所有的代码,全部开放。各个公司都可以直接使用,在业务领域起到最直接辅助作用。目前,点击率预估、语音识别、文本分类、图像分类、机器翻译、物体识别等等,所有模型都已经开源。其中,有很大一部分是通过PaddlePaddle Fluid实现的。旧版本上有更多的模型,我们也在逐步把这些模型迁移到PaddlePaddle Fluid上。

  PaddlePaddle的开源资源,包括云的资源,基于PaddlePaddle Cloud的一整套代码。

  PaddlePaddle是一个开源的社区,我们这个团队的round的方式跟其他公司也不一样,我们是从内至外的开源。我们也支持外部开发者作为社区的主人翁。真正的开源社区不仅仅是发布代码而已,关键是让更多的人参与进来,我们非常欢迎外部开发者加入。去年12月份,我们对给平台做过贡献的工程师进行了一系列的奖励,PaddlePaddle的代码贡献者有四分之三都是百度以外的工程师。当他们有好的点子的时候,就可以发一个PR,请社区里的人来做审阅讨论。如果这个点子不错,大家认为设计是合理的,就可以分工,请更多的人来参与。目前,有很多外部工程师在百度的平台做出了共享,也让内部外部的交流更多,百度也可以通过这种方式让外部优秀的工程师加入PaddlePaddle团队。大家在团队中的工作氛围也非常平等和开放。PaddlePaddle的开放项目组模式在国内还是比较少见的。

  总结一下PaddlePaddle的整体框架,这是追随技术浪潮的必然趋势。让框架的使用成本更低,更加简单易用。开放非常彻底,我们将高性能的分布式框架全部开放出来,同时进行大量模型的开放。目的是让深度学习帮助更多企业和开发者。百度在这个方面的开放力度是前所未有的,陆奇总在这个方面的决心和思路也是非常清晰的。

  除了框架和技术以外,现在有一个很大的缺口就是人才。

  这是国外两家网站Indeed.com、Monster.com统计的北美地区跟人工智能和深度学习相关的人才需求趋势。最近几年,关于深度学习、机器学习和人工智能方面的职位需求是呈现数倍的增长。拉勾网最近一年跟人工智能相关的职位增长了4.2倍。在整个业界,深度学习的人才还是比较匮乏的。在国内,千级别的人才规模对深度学习能够熟练掌握和应用。但是,可以想像,未来在各行各业都有更多的对数据加以提炼、学习、应用的场景,因此人才需求只会越来越大。

  除了框架以外,我们也做了大量的工作。我们组建了PaddlePaddle训练营。编写了深度学习的入门教材,梳理了市面上最常见的深度学习的算法、基本原理。我们还编写了框架应用手册。公开课一共录了18门关于深度学习的课程,我们争取在近期将其全部公开。我们跟AI服务供应商也有很多合作案例,百度为这些服务供应商背书,给他们提供大量资源,帮助他们的产品行业内部快速落地,让企业了解深度学习带来的巨大变化。

  去年12月,我们发起了国内第一个深度学习教育联盟,希望可以更加全方位的支持深度学习人才培养,开发者和学生经过训练可以成为深度学习工程师。在线上学习、线上教育、实战竞赛、标准认证几个环节做更多工作。我们也贡献了百度技术学院的全部课程,跟极客学院、计蒜客做了很多的课程。

  在实战方面,我们做了第一期PaddlePaddle深度学习的竞赛,准备10万元作为奖金,也得到了广泛关注,目前大概有170多个来自全世界的队伍参赛。竞赛题目是基于百度开放的视频数据集,据了解,全世界的研究者都对这些数据都非常感兴趣,我们也在通过行业协会建立相应的标准。

  在内容方面,百度可以给缺少经费的学生提供贷款。百度云提供全套平台支持。同时,百度还有科研方面的支持,PaddlePaddle的团队也是深度学习及应用的国家工程实验室种的一员,百度在这些方面都可以帮助教育工作的快速推进。

  百度还开放了三个数据集,包括视频、场景和OLP相关的数据集。现在,这三个数据集都需要先下载下来进行计算。未来,百度会将其做成算法、计算、数据一体化的平台,让这个数据集在云端提供一个计算环境,便于开发者应用。我们也会请科学家定义出更多最前沿的研究课题,帮助行业内做好数据服务。

  这是我们最近跟科赛做的首期PaddlePaddle AI大赛,对综艺节目精彩片段的预测。

  下面有一些机器深度学习的案例。比如,去年我们做过一个农业领域的分桃。农业分拣看起来很简单,但其实对于桃子的大小、颜色、品相的判断还是比较复杂的。这是我们跟北京农业大学的学生团队合作的项目,也这是一个把图像识别技术应用在农业领域的典型案例。同时,可以让传统行业了解人工智能对他们所产生的巨大变革。

  最近我们还跟一家做生鲜零售的CM厂商进行了合作,帮助厂家更加准确的预测生鲜食品的销量。通过深度学习采集的数据,在70多个维度的200个特征上进行预测,对利润率和报损率有很大的改进。

  通过PaddlePaddle,首钢在钢板残次率的自动识别上的应用效果显著提升,节省了很多人力。

  保险核验也是典型的大数据的问题,也是深度学习和大数据结合进行更好的预测。我们跟中国人寿合作了保险核保,也得到了很好的效果。

  我们还跟新华社合作了“语音识别+语音合成+搜索+智能推荐、+智能机器人交互、云基础资源”,为他们提供了综合解决方案。同时,我们可以为AI解决方案和AI集成的厂商提供更多的解决方案,帮助他们进行落地。

  还有一些公共安全领域的应用,也取得了很好的社会效应。

  其实,由深度学习孕育、推动和升级的领域非常多,几乎所有领域都可以通过深度学习的应用获得更多的改造。

  除了PaddlePaddle框架以外,我们在上层还提供了API接口、解决方案等等各种领域,现在有80多项开放领域,包括语音技术、OCR、人脸识别、图像识别、视频、知识图谱、AR、数据智能、开放数据集等,还包括一整套的解决方案。百度还希望通过“燎原计划”,帮助更多合作伙伴实现方案的落地。

  下面重点介绍一下百度AI平台提供的能力。

  人脸识别方面有一系列的技术,包括人脸检测、人脸对比、人脸查找、活体检测等。这些能力已经全部开放出来。目前,雨诺、CELLA都是人脸识别解决方案的厂商,我们正在为他们提供相应的技术支持。

  此外,我们还提供了针对场景化的解决方案,比如人脸核身,百度深度学习教育贷的贷款发放也是基于这个方案,还有人脸会场签到、人脸会员识别等可满足各领域需求的解决方案。目前,基于百度人脸识别技术的人脸闸机已经在全国几十个旅游景区落地。

  值得一提的是,面向中小企业开发者,百度人脸识别技术是永久免费开放。只要中小企业满足认证要求,就可以得到5QPS的永久免费,这个调用量可以满足大部分人脸识别的场景需求。对于超出的部分,我们会收取一定的费用,以便让企业更好的提供客户。

  在语音方面,百度的语音服务和语音技术是非常全面和强大的。语音包括近场、远场、耳语、方言等,每个场景都需要大量的数据去训练,还包括了语音合成、语音唤醒等服务。目前,百度有大量的语音合作伙伴。下面这个视频是这是远场语音识别的案例。

  目前,百度已开放远场语音识别技术,而且可以在多模式下集成,便于开发者和合作伙伴使用。

  百度语音全系列也是永久全面免费。默认的调用量的是5万/天/每接口,以及20万/天/每接口,如果有更大的需求也可以申请,申请通过以后的调用量依然可免费为使用者提供,这对开发者来说是非常大的便利。

  百度还有其他的服务,比如OCR,其效果也是市面上也相当出色。

  目前,百度图像识别和图像审核只开放了一小部分,之后百度也将陆续开放更多图像识别方面的能力。因为每个服务的开放都需要时间,同时需要达到开放的条件。开放的能力至少与市面上的能力持平,或者必须比市面上其他的能力更好,才能达到开放的要求。如果不能满足,百度会在内部将这些能力持续优化,达到标准以后再将其开放。

  在语言处理方面,我们提供了8种最常用的算法。这些算法对中文处理有很大的帮助,包括词法分析、句法分析、词向量表示等。

  百度现在还开放了机器人对话训练开发平台UNIT,也是市面上最好的自然语言开发的平台。下面是一个演示视频。

  这是UNIT在智能电视上的案例,集成了全套多轮对话技术,只要进行配置就可以实现虚拟机器人的服务。目前,该平台的用户和使用量基本上已到达国内最大的智能机器人对话服务平台标准。

  百度还有定制化的图像识别平台,只要上传做好分类的图片文件夹就可以进行自动化的训练。百度跟中国食品药品检验研究所合作的中草药真伪鉴定方案,在没有任何专业知识前提下就可以上传数据,进行训练以后的识别率也相当高。该平台只需通过数据上传、进行训练,便可提供服务。同时,服务可以直接嵌入到应用,通过调用,迅速提供服务环境。

  百度还为开发者提供学习和交流的环境。比如我们有一个AI社区,开发者可以在上面交流。

  除了技术服务以外,很多合作伙伴需要技术以外的更多服务。百度也推出了“燎原计划”。这个计划主要面向AI领域的相关公司,包括做技术落地解决方案、生态伙伴建设和服务的等。今天,GeekBang加入百度的“燎原计划”,也是希望百度一起帮助媒体行业方案的落地。

  AI发展的本质是深度学习的应用,百度在这一领域具有多年的经验,早在2013年,百度就成立了深度学习研究院,深度学习也渗透到了百度的各个环节。2016年,百度开放了首个开源框架PaddlePaddle,百度希望通过彻底开源,对业界提供更多帮助。此外,我们还提供各种行业解决方案,在技术、生态、营销、客户资源方面帮助更多的合作伙伴。希望百度的工作可以给业界带来更多的帮助,也希望大家多多支持百度的AI开放生态。

  谢谢大家!

[责任编辑:赵艳艳]

手机光明网

光明网版权所有

光明日报社概况 | 关于光明网 | 报网动态 | 联系我们 | 法律声明 | 光明员工 | 光明网邮箱 | 网站地图

光明网版权所有