PDF《院士寄语》

1 院士寄语

1 综合评论 深度学习发展现状及算法实现 郭培卿

02 高性能计算技术 GTC-P在大规模节点基于OpenACC的移植优化研究 …………………韦跃明 王一超等

09 基于申威众核处理器的RNNLM加速方法 王福全 李波

15 面向国产SW26010众核处理器的科学计算核心深度优化研究 …………许志耿 林新华

21 高性能计算应用 有限元结构分析的层级负载均衡并行计算方法 …………………苗新强 金先龙 丁峻宏

30 绕组损耗分布对油浸式变压器温升的影响分析…李德波 冯永新

38 大数据技术 大数据存储与处理关键技术研究…孙大为 张广艳等

46 要闻集锦 新 极光 有望成为美国首台E级超级计算机

08 美能源部投资千万进行量子计算研究

37 英国政府发布人工智能发展报告

45 目录2《高性能计算发展与应用》 2017年第四期 总第六十一期 深度学习发展现状及算法实现 ? 郭培卿 上海超级计算中心 上海

201203 摘要: 随着数据规模不断增大,深度学习在人工智能领域扮演着越来越重要的角色.

本文从深度 学习基本概念出发,介绍了近年来深度学习领域发展现状,展望深度学习的未来方向,以及算 法最终实现方案. 概述 传统学习算法中,数据规模的增加往往会导致 计算性能的下降.深度学习(Deep Learning)又称为 深度神经网络,是指使用包含复杂结构,或由多重 非线性变换构成的多个处理层对数据进行高层抽象 的算法,深度学习算法的性能随着数据规模增加而 增加,通过深度学习进行特征表示已经成为数据挖 掘社区迅速崛起的方法之一. 作为一种具有多个隐藏层、可以实现多层特 征学习和表示的深层学习结构,深度学习中每一层 神经元均基于前一层神经元所学习到的特征表示再 进行学习,并逐层形成更加抽象的高层属性特征表 示,从而获得数据特征的分布规律.深度学习以受 限玻尔兹曼机(Restricted Boltzmann Machine,RBM) 模块为基础,构建多层深度可信网络(Deep Belief Networks,DBN)的学习模型,对各个层次进行逐层 进行无监督预训练并完成初始化,一个典型的DBN可 以看成是由多个RBM堆叠组成.为了实现更好的训 练和学习效果,DBN的学习过程包括由低层到高层、 逐层独立的预训练以及误差回传调优,其基本工作 流程包括数据采集、聚合管理、模型开发、部署评 分、结果更新等各阶段. 深度学习算法有诸多分类体系,如按学习方 式、主动性、训练启动时间等标准分类,较为常见 的则是依据数据是否获得特定标签可分为有监督学 习、无监督学习以及半监督学习. 有监督学习(supervised learning) 有监督学习通过已有训练样本(即已知数据及 其对应输出),去训练得到一个最优模型,这个模 型属于某个函数的集合,最优表示在某个评价准则 下最佳,再利用这个最优模型将所有的输入映射为 相应的输出.有监督学习过程可以类比为:有一些 问题和它们的答案,学习这些已知答案的问题,从 而具备经验(学习成果)的过程,当遇到新的未知 答案的问题时,可以依据学习成果,得出这个新问 题的答案. 典型的有监督学习包括回归分析以及分类: 1.回归分析(Regression Analysis) 回归分析中,给定一个函数的一些坐标点,通 过回归分析算法来估计原函数模型,求出一个最符 合已知数据集的函数解析式,然后用来预估其它未 知输出的数据.输入一个自变量(特征向量),它 会根据这个模型解析式输出一个因变量(标签), 并且标签值范围连续. 2.分类(Classification) 输入有特征(feature)和标签(label)的训练数 据,找到特征和标签间的关系(mapping),这一过 程的算法实现即为分类(classification).经过学习 后,当有特征无标签的未知数据输入时,可以通过 已有关系得到未知数据的标签.深度学习能够将网 络中某一层的输出当作数据的另一种表达,从而将 其认为是经过网络学习到的特征,基于该特征可以 进一步利用大规模数据,使算法得以充分训练和验 证,并且准确性随着训练数据量的增加逐渐提高. 无监督学习(unsupervised learning) 与监督学习的不同,无监督学习事先没有任 何训练样本,直接对数据进行建模,所有数据只 有特征向量没有标签,相似类型的数据聚集在一 起,将没有标签的数据分类组合的过程即为聚类( Clustering).无监督学习可以类比为:有一些问 题,但是答案未知,无监督学习将其自动分组,每 组的问题具有相似的性质和内容结构,当有新问题

3 综合评论 出现时,可以实现自动聚类. 无监督学习本身的特点决定了聚类过程难以获 得如分类一样近乎完美的结果,但由于在实际应用 中,标签的获取常常依赖相当程度的人工介入,而 无监督学习则不存在人工计算量的问题,因此出现 了第三类学习方法――半监督学习. 半监督学习(semi-supervised learning) 有监督学习和无监督学习的中间带就是半监督 学习.对于半监督学习,其训练数据的一部分有标 签,另一部分则没有,并且没有标签数据的数量远 大于有标签数据的数量.隐藏在半监督学习下的基 本规律在于:数据的分布不是完全随机的,通过一 些有标签数据的局部特征,以及更多的无标签数据 的整体分布,就可以得到可以接受的分类结果. 半监督学习的出现,代表了基本认知规律从有 监督学习开始、发展到半监督学习、最后再到无监 督学习的发展方向. 发展现状 自2006年Hinton等人提出深度学习的概念以 来,几乎每年都有具有影响力的标志性事件发生: 2010年,美国国防部DARPA计划首次资助深度学习 项目;

2011年,微软研究院和谷歌的语言识别研究 人员先后采用DNN技术降低语音识别错误率20%- 30%,是该领域10年来最大突破;

2012年,Hinton将ImageNet图片分类问题的Top5错误率由26%降低至 15%,同年Andrew Ng与Jeff Dean搭建Google Brain项目,用包含16000个CPU核的并行结算平台训练超过 10亿个神经元的深度网络,在图像识别领域取得突 破性进展;

2013年,Hinton创立的DNN Research公司 被Google收购,Yann LeCun加盟Facebook人工智能实 验室;

2014年,谷歌将语言识别的精准度从2012年的84%提升到98%,移动端Android系统的语言识 别正确率提高了25%,同时,谷歌的人脸识别系统 FaceNet在LFW上达到99.63%的准确率;

2015年,微 软采用深度神经网络的残差学习方法将ImageNet的 分类错误率降低至3.57%,已低于同类试验中人眼识 别的错误率5.1%,其采用的神经网络已达到152层;

2016年,DeepMind使用由1920个CPU集群和280个GPU支持的深度学习围棋软件AlphaGo战胜人类围棋 冠军李世石;

2017年,升级完善后的AlphaGo三局完 胜柯洁,下半年AlphaGo Zero、Alpha Zero相继问世, 不断挑战人类对于棋类项目的认知极限. 深度学习近年来获得长足进步的因素主要有三 个方面: (1)海量数据.学习一个有效的表示需要大量 训练数据,根据2013年的数据[1] ,Facebook每天收到 超过3.5亿张图片,沃尔玛每小时产生2.5PB的用户数 据,YouTube每分钟有300小时视频被上传,云服务 商和相关企业拥有海量数据来训练算法. (2)充足的计算资源.摩尔定律依然有效,半 导体工业和计算机架构的进步提供了充足的计算能 力,同时获取计算资源途径越来越多,针对深度学 习芯片的不断问世,计算成本不断下降,使得在合 理的时间内训练算法成为可能. (3)算法进步.算法技术的进化极大地提高了 准确性并拓宽了深度学习的应用范围,早期的深度 学习应用打开了算法发展的大门,激发了许多深度 学习框架的发展、开源和共享,使得众多研究者和 从业者能够更为便捷地使用深度学习网络. 神经网络复兴的主要的三个发起人Lecun、 Bengio以及Hinton,2015年在Nature上联合发表深度 学习综述《Deep Learning》[2] ,总结了深度学习的三 大发展方向: (1)无监督学习 无监督学习在深度学习复兴最初几年具有重 要作用,主要利用无监督学习进行预训练,以得到 一个较好的初始值,随后再使用有监督训练进行微 调.但是随着计算能力........