PDF《《Spark编程基础（Scala版）》》

2 第2章Scala语言基础 介绍Scala语言基础语法

6 第3章Spark的设计与运行 原理 Spark简介、运行架构、RDD的设计与运行原理、部署模式

3 第4章Spark环境搭建和使 用方法 Spark的基本安装方法,如何在spark-shell中运行代码以及如何开 发Spark独立应用程序

3 第5章RDD编程 RDD编程、键值对RDD、数据读写

4 第6章Spark SQL Spark SQL简介、DataFrame、读写Parquet、通过JDBC连接数据库、 连接Hive读写数据

4 第7章Spark Streaming 流计算简介、Spark Streaming简介、DStream操作

4 第8章Spark MLlib Spark MLlib简介、spark.mllib库、spark.ml库4综合案例 Spark应用程序案例

2 合计

32 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源 扫一扫访问平台主页 高校大数据课程公共服务平台精华资源http://dblab.xmu.edu.cn/post/8197/ 扫一扫观看3分钟FLASH动画宣传片 所有资料全部免费共享 支持电脑和手机浏览 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源 课程视频 课程在线视频地址:http://dblab.xmu.edu.cn/post/10482/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源 实验1-Linux系统的安装和常用命令 实验2-Scala编程初级实践 实验3-Spark和Hadoop的安装 实验4-RDD编程初级实践 实验5-Spark SQL编程初级实践 实验6-Spark Streaming编程初级实践 实验7-Spark机器学习库MLlib编程实践 课程实验 可以访问教材官网获取以上课程实验 http://dblab.xmu.edu.cn/post/spark/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源 本案例涉及数据预处理、存储、 查询和可视化分析等数据处理全 流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、 Hive、Sqoop、Eclipse、 ECharts、Spark等系统和软件的 安装和使用方法 案例访问地址:http://dblab.xmu.edu.cn/post/8116/ Spark课程综合实验案例1:淘宝双11数据分析与预测 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 课程配套教学资源 由厦门大学数据库实验室团队开发,旨在满足全 国高校大数据教学对实验案例的迫切需求.本案 例涉及数据预处理、消息队列发送和接收消息、 数据实时处理、数据实时推送和实时展示等数据 处理全流程所涉及的各种典型操作,涵盖Linux、 Spark、Kafka、Flask、Flask-SocketIO、 Highcharts.js、sockert.io.js、PyCharm等系统 和软件的安装和使用方法.案例适合高校(高职) 大数据教学,可以作为学生学习大数据课程后的 综合实践案例. 免费在线实验案例主页:http://dblab.xmu.edu.cn/post/8274/ 课程实验案例2:Spark+Kafka构建实时分析Dashboard案例 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 附录A:主讲教师林子雨简介 单位:厦门大学计算机科学系 E-mail: [email protected] 个人网页:http://www.cs.xmu.edu.cn/linziyu 数据库实验室网站:http://dblab.xmu.edu.cn 主讲教师:林子雨 林子雨,男,1978年出生,博士(毕业于北京大学),现为厦门大学计算机科学系助理教授(讲师), 曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长.中国计算机学会数据库专业委 员会委员,中国计算机学会信息系统专业委员会委员.国内高校首个 数字教师 提出者和建设者,厦门 大学数据库实验室负责人,厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013年度和2017 年度厦门大学教学类奖教金获得者,荣获2017年福建省精品在线开放课程和2017年厦门大学高等教育成 果二等奖.主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网,并以第一作者身份 在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学 术论文.作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No.61303004)、1项福建省 自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目(No.2011121049),主持的教 改课题包括1项2016年福建省教改课题和1项2016年教育部产学协作育人项目,同时,作为课题负责人完 成了国家发改委城市信息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉 州市互联网经济调研等课题.中国高校首个 数字教师 提出者和建设者,2009年至今, 数字教师 大平台累计向网络免费发布超过500万字高价值的研究和教学资料,累计网络访问量超过500万次.打造 了中国高校大数据教学知名品牌,编著出版了中国高校第一本系统介绍大数据知识的专业教材《大数据技 术原理与应用》,并成为京东、当当网等网店畅销书籍;