雷锋网AI研习社按:近年来,随着深度学习在图像和语音上的快速发展,更多领域的开发者们纷纷将目光投入到这个新兴的领域,但是是否深度学习适用于大多数实际场景呢?是否深度学习一定优于传统的统计方法以及机器学习方法呢?在本次公开课中,作者结合实际在杉数科技的实际项目经验,为大家解析深度学习的技术细节以及实际效果。

 

分享嘉宾:添然,杉数科技高级算法工程师,美国明尼苏达大学本科及硕士学位,专业是自动化控制和计算机科学。2017年三月加入杉数科技,主要负责收益管理及需求预测。


公开课链接:http://www.mooc.ai/open/course/672?=from%20leiphone

 

分享主题:时序预测中深度学习介绍

 

分享提纲:

  • 深度学习背景介绍

  • 深度学习算法概述

  • 实际案例分析

  • 推荐阅读

 

雷锋网AI研习社将其分享内容整理如下:

简单自我介绍一下,我是杉数的算法工程师,主要负责机器学习、数据分析相应的工作,有一定零售业预测的经验,今天在这里主要跟大家分享一下相关经验,这是今天的主要提纲,如图:

杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

首先背景方面,相信大家对深度学习这个词语并不陌生,那什么是深度学习呢?如果结合图的话,他有不同的层,并且不用的层协调处理一些特征筛选,达到最终的目的。

杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

为什么使用深度学习呢?图中这三篇论文奠定了近年来深度学习的基础,不过我把为什么使用深度学习归结为两个点,第一个是大数据,企业中积累大数据为深度学习提供了燃料,第二个就是高性能计算,GPU在深度学习中大放异彩,这两个点在我看来是重要的推动因素。

杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

下面简单过一下一些基本的应用,如图像上的应用:

杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

 

NLP上的应用:

杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

接下来会简单提一下深度学习两个基础的框架构成,首先就是卷积神经网络,总结下来有五个部分,另一些卷积神经网络的变种,也是万变不离其宗,只是对这五部分做了一些针对性的调整,如下图:

杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

折射到今天的话题,假设要做一个持续预测,那如何利用卷积神经网络呢?一般遇到的预测问题都是偏一维的,比如预测天气、商店的销量等,借鉴这个思路,使用一维的卷积神经网络,据图示output是预测的样本点,可以利用之前的样本点进行输入。作为卷积神经网络,有滑动窗口这样一个概念,所以能够通过滑动序列来产生这样的特征。如何做到能够提取更多特征呢?那就需要叠加更多的卷积层,这样可以获得更多的特征提取能力。简单来说一维卷积神经网络是作为持续预测比较的一种方式,并且也是大家喜欢尝试的一个方向。

 杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

接着就是循环神经网络,他天然具有某些时序处理的能力。图中我列的是一个比较复杂的模型,不过原理几乎差不多。

 杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结 

Google提出的Encoder-Decoder模型主要用于语音生成等相关的部分,Encoder将模型储存成context,然后再传给Decoder。这个模型在当时Google翻译中是非常成功的。虽然这个模型很简单,但确实是一个非常经典的预测模型,在实际应用中也很常见。

杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结  

下面我来介绍一下案例,一个案例就是某大型出行平台的交通预测。要做的是预测给定地理区域未来某个时间段的出行供需缺口,比如北京东城区八点到八点半这段时间会有多少人要打车,订单数据可能是得到的最基础的数据,但还有一些其他数据,例如城市POI信息,交通拥堵信息、天气信息等,这些数据是我们预测时主要考虑的几个方面。

 杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结 

怎么构建深度学习的模型呢?把一些固有的属性用Embedding的方式处理,并将它们连接起来,就构成了Identity Block,Older Block和User Block就是针对订单相关的数据,Supply Block就是对应天气类交通类的特征。右边图示使用的残差连接可以使训练得到更好的收敛性,还可以有效缓解梯度消失这个问题。图示就是整个深度学习的框架。

 杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结 

那么效果如何呢?从这幅图看出,深度学习在一些峰值的预测上效果是非常不错的,有些可能跟机器学习的方式差不多,但在拐点的预测方式上优势还是比较明显。

 杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结

下一个例子就是件量预测,这也是时序问题,在预测的时候也会得到一些历史数据,方法也与上面的例子类似,因为知道了深度学习一些大的框架,其他细节方面做一些小的调整就行,基本的建模思路跟前者差不多。

 杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结 

来看看结果,这张图的结果可能比上一张更能反映深度学习的一些特性,同样深度学习模型在一些峰值和谷值的预测更准确一些。但从图中可以看出,如果将两种模型进行简单的融合,得到的结果会更准确一些。

 杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结 

总体来看,以上是在实际经验中比较有代表性的例子,在预测拐点这种问题上深度学习可能更容易发现某种规律,不过实际中如果想要一个更准确的模型,深度学习模型和其他模型融合起来的方式会比较好一点。

接下来给大家推荐一些读物,如图示:

 杉数科技添然——时序预测中深度学习介绍 | AI 研习社 155期大讲堂总结 

今天分享的内容大概就这么多,谢谢大家。

 

以上就是本期嘉宾的全部分享内容。更多公开课视频请到雷锋网(公众号:雷锋网) AI 研习社社区https://ai.yanxishe.com/?=from%20leiphone)观看。关注微信公众号:AI 研习社(okweiwu),可获取最新公开课直播时间预告。