百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

雷锋网按:8 月 7 日 - 9 日,由中国计算机学会(CCF)主办,雷锋网、香港中文大学(深圳)承办,鹏城实验室、深圳市人工智能与机器人研究院协办的第五届 CCF-GAIR 2020 全球人工智能与机器人峰会如期落地。

8 日,大会与 AI 研习社、OpenI 启智社区联合举办“AI 源创专场”,重点讨论了新基建背景下,国内开源创新建设将催生的新势能,以及其将引发和促进的新产业机会。

会上,百度深度学习技术平台部高级总监马艳军做了主题为《开源深度学习平台助力产业智能化:百度飞桨的实践》的分享,他从开源如何为产业赋能的角度切入,结合飞桨四年来的成长与实践案例,就开源深度学习框架如何进行生态构建、深度学习如何赋能产业、飞桨的智能化落地案例等给出了清晰的解读。雷锋网将马艳军的演讲进行了不改变原意的编辑,以下为全文:

我跟大家分享的主题是“开源深度学习平台助力产业智能化”,我会从开源如何给产业赋能这个角度分享。

飞桨在 2016 年已经开源了,时间是比较早的,在这个过程中,我们一直认为,技术的迭代有两个方面: 

首先,在百度内部会有大量的应用,并且非常注重配合大量的落地场景,这会驱动我们做一些事情,比如速度做得更快,部署做得更好。

 百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

然后,在这个循环过程中持续打磨开源项目。开源以后,我们社区里的开发者非常多,他们的要求非常苛刻。社区里开源的工程师把代码亮出来以后,大家都能知道你是如何设计的,以及你的代码、文档有没有问题。这就对整个编程的易用性、API 的完备性提出了新的要求,这些要求以前在公司内不做开源时就不会考虑太多。

这两个循环同时进行,就形成了一个产品。 百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

现在的飞桨框架部分已经满 70 万行代码,是工程量非常大的工作。如果再加上围绕核心框架的周边一系列的模型、工具,现在飞桨有 200 万行代码。这样规模的工程量,要想真正让它打磨得比较顺畅,需要慢慢做,确实没办法一下子放出一个跑起来不出问题的大型的工程系统。

飞桨经过这么长时间,已经形成完整的体系,现在有一些能力可以直接在平台上使用。

百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

开源深度学习框架的建设和很多开源项目有一定的差异性。很多开源项目是把这个开源项目做好,其他人拿去用就可以了。但深度学习框架上下游的生态比较复杂,我们经常说,它是一个生态系统的问题。生态系统里要和很多芯片做对接,因为要基于它做算法研发,再被集成解决方案,形成比较深的产业链条,由此就形成了生态。

所以,开源深度学习框架和一般开源项目的差异性就在于,它的生态体系构建非常关键,比如说 飞桨放在这儿没人用那它就挂了,因为没有生态体系和它一起联动。没有生态的构建很成问题,现在国内的深度学习框架一直朝着生态构建的方向发展,开源就是帮助构建生态的很好的方式。

百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

飞桨发展了这么长时间,在很多行业中已经被应用,使用的场景也很多。AI 在应用时和行业绑定非常紧密,需要结合很多行业专家的知识,并和 AI 技术平台一起设计可在企业中应用的更完整方案。

另一方面,深度学习框架需要和芯片做深度的对接适配才能达到高性能。现在芯片的种类还是蛮多的,把芯片设计好需要非常大的工作量,芯片企业要做更多的贡献才能把能力提升上来。

现在真实应用中使用的芯片类型也是不一样的,环境差别很大。真正要让深度学习框架在芯片上跑起来,是非常大的工程,可能得投入不小的工程团队开发一年左右,才能把整个硬件的功能进行很好的适配。

咱们国家做开源很重要,需要时间投入,耐心把这事儿做了,没有巧妙的办法把工程开发的时间绕过去。一定要投入时间,把这些工程开发做了才有更好的发展基础。

 百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

飞桨一直和国内外的芯片企业都有非常紧密的合作,做软硬件的适配,社区也有快速的成长。到现在,整个飞桨在 Github 共有 45000 的 Star。

做项目的过程中,第三方的生态贡献增长非常重要。第三方生态贡献增长是指什么?比如飞桨这个项目,很多的开发不是百度工程师做的,还有一些其他人在基于这个做出新的项目和更多的贡献,这就是第三方的贡献。我们很高兴地看到,今年上半年,由于疫情原因,大家的时间变多了,贡献也非常踊跃,Star 数增长速度非常快,整个生态也在快速成长。这说明国内的开发者也在积极主动做这样的事情。

飞桨也有一个开发者专家计划(PPDE),希望不同层次的开发者都能够加入到这里面做贡献,可以给框架做贡献,也可以贡献算法库,贡献各种各样的应用工具,由此形成整套开发体系。非常欢迎开发者加入这个项目。

飞桨核心技术 

我们常常说飞桨有几个特点:

一是框架层,我们是动态图和静态图统一设计的框架,希望可以从动态图编程转成静态图部署,并做到极致。 百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

另外是训练。百度做大规模的数据处理,天然需要有大规模训练能力。这个大规模训练也有很大的挑战,包括真正做了大规模、分布式,飞桨的大规模分布式训练已经经过了实践验证,比如速度提上来了,收敛性怎么样,精度是否有保证,这些都需要在实践检验中持续打磨。

再就是部署,对多种硬件的支持。飞桨目前已经支持非常多的硬件,尤其对国产芯片也进行了深入的适配融合。

最后是模型算法。飞桨开放了很多的算法,这上面的算法有 146 个,工业界使用比较广泛的基本都涵盖了。 

动态图的编程是飞桨主推的,代码的行数、编程灵活性都提升很多,语义理解的算法现在都是动态图实现。

大规模分布式训练在 CPU 和 GPU 上都有做,并且支持异构硬件的训练,我们也做了大规模的稀疏参数训练,这些在公司内用得很多,多种大规模的分布式训练模式都能支持。 百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

大家可以看到,部署是多种平台、多种操作系统都支持。这就是部署麻烦的地方,要适配的环境很多、很复杂,需要很多的工程化工作才能把部署做上去。

现在飞桨的模型库算法很多,涵盖的任务也很多,这些算法我们都做了比较多的调优工作,把算法的速度、训练的速度、参数本身设计到最优。

百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020 

飞桨助力产业智能化:案例剖析

互联网行业对深度学习的拥抱是非常明显的,但要进一步扩展到更多的行业,还有非常大的空间。今天的案例不是互联网行业,而是实体经济——无人巡检的场景。

我们是制造业大国,制造在我们国家占的 GDP 比重非常大。在真实的生活中,很多事情需要检测,比如设备是否可以正常运转;工厂里也常常有很多检查,比如听到设备发生异响,这些都是真实场景里遇到的。

深度学习在真实场景中的应用面临的挑战非常多,比如它有可能算力非常低,不像很多互联网公司有大型的服务器。在很多真实的行业场景,不仅很多算力很低,也没那么多的内存,这种情况下,要把深度学习技术真正应用到行业中就需要克服很多不一样的挑战。 百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

举一个例子,要监测哪儿有没有着火,需要在某个位置架设一个摄像头,把深度学习影像拍到。这是挺复杂的系统,深度学习的模型训练只是其中一环,行业里的业务系统是比较复杂的,即使设计了一个系统,跟业务系统再对接也是非常复杂的工作。这个过程就需要后台的训练,从数据标注到模型训练,通过摄像头、相机、光源一系列的因素,包括无人机的配合,在边缘端进行计算,和后台形成联动,最后形成预警系统。

百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

整个系统搭建需要很复杂的设计,这个理念会涉及比较难的技术点,比如检测有没有着火,需要目标检测技术。飞桨开源的目标检测工具 PaddleDetection 里面有一些非常经典和实用的算法,结合真实的场景、少量的数据,效果基本上足够你用。内存要求有限,ARM 算力有限,可以通过 PaddleSlim 把模型变小。

另外需要部署,要部署在 ARM 架构的芯片上面,快速运行,这其中的技术选型就非常关键。

我们通过技术使得很小的模型识别的精度也可以非常高。烟雾检测一方面要有高准确率,再就是推理速度,比如着火这种应急场景下,对性能的要求非常高。

这是今年在淄博发生的一件真实的事情。高压线底下着火,通过刚刚的技术方案,可以真正发现并解决问题。 百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

目标检测在真实场景中应用非常多,是复杂的技术,里面涉及到的组件非常丰富,另外还需要把压缩能力和部署能力打通,涉及到的工程化工作非常多。这些都是通过 PaddleDetection 开源的。我们提供了一系列的算法,开发者可以非常灵活地组合自己想要的算法。当然我们也提供了在什么场景下用什么最好的组合方案,直接给出了几款应用最多、效果最好的算法。

算法丰富性、精度、速度以及一系列的验证,这个套件已经在很多场景下做了很多工作,基本上可以放心用到工业、企业里。

百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020

训练完这些模型以后,我们需要做一些压缩工作。算力毕竟有限,部署的场景非常复杂,有可能是服务器,有可能是边缘端、网页端的程序,也有可能集成到软件上或是做服务,部署的环节是非常复杂的流程,需要做非常多的工作。

我们把主流的压缩方案都做了,跟检测、分割算法库结合可以直接实现模型的压缩和使用。通过 Paddle Lite,可以实现的算法适用比较多,现在在飞腾、寒武纪、百度昆仑、RK、华为NPU、MTK APU 等多种芯片都可以实现端到端的使用。

百度技术平台部高级总监马艳军:开源深度学习框架,生态构建是核心,产业赋能是试金石 | CCF-GAIR 2020 

飞桨在百度 AI 中是基础底座,对于整个 AI 平台而言是底层技术,这个基础上会有一系列的定制化开发以及 AI 能力,比如语音、语言、视觉,再结合一些场景化的方案,最终会形成一整套具备 AI 能力的完整方案。