PDF《《大数据处理技术Spark》》

《大数据处理技术》 厦门大学计算机科学系 林子雨 ziyulin@xmu.

edu.cn 厦门大学计算机科学系 2017年版 林子雨 厦门大学计算机科学系 E-mail: [email protected] 主页:http://www.cs.xmu.edu.cn/linziyu Spark课程介绍 (PPT版本号:2017年春季学期) 厦门大学研究生课程 《大数据处理技术Spark》 温馨提示:编辑幻灯片母版,可以修改每页PPT的厦大校徽和底部文字 扫一扫访问班级主页 http://dblab.xmu.edu.cn/post/7659/ 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 提纲 1.课程特色 2.教材介绍 3.内容提要 4.教学大纲 5.配套资源 6.班级介绍 附录A:主讲教师林子雨简介 附录B:《大数据技术原理与应用》教材 附录C:中国高校大数据课程公共服务平台 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 主讲教师 主讲教师:林子雨 中国高校首个 数字教师 提出者和建设者 2009年7月从事教师职业以来 累计免费网络发布超过100万字高价值教学和科研资料 网络浏览量超过100万次 数字教师LOGO 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 课程特色 开启Spark学习大门 扫除学习障碍,铺平学习道路 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 教材介绍 厦门大学林子雨编著《Spark入门教程》 免费在线访问 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 内容提要 ? Spark是当前热门的大数据处理技术 ? 本课程重点介绍Spark的技术原理与编程方法 ? Spark支持采用Scala、Java、Python和R语言进行编程, 本课程采用Scala语言编写Spark应用程序 ? 课程内容包括Scala语言、Spark简介、安装、运行架构、 RDD的设计与运行原理、部署模式、RDD编程、键值对 RDD、数据读写、Spark SQL、Spark Streaming等?通过本课程的学习,将帮助学生形成基础的Spark应用程 序编程能力,为学生使用Spark技术解决实际科研问题和 未来从事大数据相关工作奠定基础 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 教学大纲 章(或节) 主要内容 学时安排 第1章 大数据技术概述 大数据的基本概念、关键技术和代表性软件

2 第2章Scala语言基础 介绍Scala语言基础语法

4 第3章Spark概述 Spark简介、安装、运行架构、RDD的设计与运行原理、部署模式

4 第4章RDD编程 RDD编程、键值对RDD、数据读写

4 第5章Spark SQL Spark SQL简介、DataFrame、读写Parquet、通过JDBC连接数据库、 连接Hive读写数据

4 第6章Spark Streaming 流计算简介、Spark Streaming简介、DStream操作

4 第7章Spark MLlib Spark MLlib简介、spark.mllib库、spark.ml库4第8章Spark集群 Spark集群环境搭建、在集群上运行Spark应用程序

2 第9章Spark应用程序案例 Spark应用程序案例

4 合计

32 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源 扫一扫访问平台主页 http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/ 扫一扫观看3分钟FLASH动画宣传片 所有资料全部免费共享 支持电脑和手机浏览 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源 ?国内高校第一个大数据课程公共服务平台 ?为教师教学和学生学习大数据课程,提供全方位、一站式服务 ?平台所有资源全部通过网络免费共享(无需注册)、采用WORD和PPT可编辑格式 http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/ 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源 制作精美的平台宣传图册《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源――大数据课程学生服务站 学生服务站地址:http://dblab.xmu.edu.cn/post/4331/ 扫一扫访问学生服务站 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] http://dblab.xmu.edu.cn/post/xuanchuanpian/ 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 班级介绍 班级名称:《大数据处理技术》2017年春季学期班级 主讲教师:厦门大学计算机科学系 林子雨 博士/助理教授 班级网站:2017年春季学期班级http://dblab.xmu.edu.cn/post/7659/ 上课时间地点:每周三晚上7点10分 两节课 厦门大学海韵教学楼107教室 期末成绩:平时成绩(30%)+笔试成绩(70%) 平时作业:上机实验,提交上机报告 助教:厦门大学计算机系2015级硕士研究生 阮榕城 同学 (E-mail: [email protected]) (扫一扫手机访问班级主页) 《大数据处理技术》 厦门大学计算机科学系 林子雨 [email protected] 附录:主讲教师林子雨简介 单位:厦门大学计算机科学系 E-mail: [email protected] 个人网页:http://www.cs.xmu.edu.cn/linziyu 数据库实验室网站:http://dblab.xmu.edu.cn 主讲教师:林子雨 林子雨,男,1978年出生,博士(毕业于北京大学),现为厦门大学计算机科学系助理教授(讲师),曾任厦门大学信息 科学与技术学院院长助理、晋江市发展和改革局副局长.中国计算机学会数据库专业委员会委员,中国计算机学会信息系 统专业委员会委员,荣获 2016中国大数据创新百人 称号.中国高校首个 数字教师 提出者和建设者,厦门大学数据 库实验室负责人,厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013年度厦门大学奖教金获得者.主要研究 方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网,并以第一作者身份在《软件学报》《计算机学报》和 《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文.作为项目负责人主持的科研项目包括1项 国家自然科学青年基金项目(No.61303004)、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研 业务费项目(No.2011121049),同时,作为课题负责人完成了国家发改委城市信息化重大课题、国家物联网重大应用示范 工程区域试点泉州市工作方案、2015泉州市互联网经济调研等课题.中国高校首个 数字教师 提出者和建设者,2009 年至今, 数字教师 大平台累计向网络免费发布超过100万字高价值的研究和教学资料,累计网络访问量超过100万次. 打造了中国高校大数据教学知名品牌,编著出版了中国高校第一本系统介绍大数据知识的专业教材《大数据技术原理与应 用》,并成为京东、当当网等网店畅销书籍;