PDF《《Spark编程基础 （Python版）》》

2 第2章Spark的设计与运行 原理 Spark简介、运行架构、RDD的设计与运行原理、部署模式

3 第3章Spark环境搭建和使 用方法 Spark的基本安装方法,如何在spark-shell中运行代码以及如何开 发Spark独立应用程序

3 第4章RDD编程 RDD编程、键值对RDD、数据读写

4 第5章Spark SQL Spark SQL简介、DataFrame、读写Parquet、通过JDBC连接数据库、 连接Hive读写数据

4 第6章Spark Streaming 流计算简介、Spark Streaming简介、DStream操作

4 第7章Structured Streaming Structured Streaming简介、编程方法、输入源、输出操作、容错 处理、迟到数据处理、查询的管理和监控

4 第8章Spark MLlib Spark MLlib简介、spark.mllib库、spark.ml库4综合案例 Spark应用程序案例

4 合计

32 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 扫一扫访问平台主页 高校大数据课程公共服务平台精华资源http://dblab.xmu.edu.cn/post/8197/ 扫一扫观看3分钟FLASH动画宣传片 所有资料全部免费共享 支持电脑和手机浏览 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 实验1-Linux系统的安装和常用命令 实验2-Spark和Hadoop的安装 实验3-RDD编程初级实践 实验4-Spark SQL编程初级实践 实验5-Spark Streaming编程初级实践 实验6-Structured Streaming编程实践 实验7-Spark机器学习库MLlib编程实践 课程实验 可以访问教材官网获取以上课程实验 http://dblab.xmu.edu.cn/post/spark-python/ 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 本案例涉及数据预处理、存储、 查询和可视化分析等数据处理全 流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、 Hive、Sqoop、Eclipse、 ECharts、Spark等系统和软件的 安装和使用方法 案例访问地址:http://dblab.xmu.edu.cn/post/8116/ Spark课程综合实验案例1:淘宝双11数据分析与预测 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 由厦门大学数据库实验室团队开发,旨在满足全 国高校大数据教学对实验案例的迫切需求.本案 例涉及数据预处理、消息队列发送和接收消息、 数据实时处理、数据实时推送和实时展示等数据 处理全流程所涉及的各种典型操作,涵盖Linux、 Spark、Kafka、Flask、Flask-SocketIO、 Highcharts.js、sockert.io.js、PyCharm等系统 和软件的安装和使用方法.案例适合高校(高职) 大数据教学,可以作为学生学习大数据课程后的 综合实践案例. 免费在线实验案例主页:http://dblab.xmu.edu.cn/post/8274/ 课程实验案例2:Spark+Kafka构建实时分析Dashboard案例 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 附录A:主讲教师林子雨简介 单位:厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 个人网页:http://dblab.xmu.edu.cn/post/linziyu 数据库实验室网站:http://dblab.xmu.edu.cn 主讲教师:林子雨 林子雨,男,1978年出生,博士(毕业于北京大学),现为厦门大学计算机科学系助理教授(讲师), 曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长.中国计算机学会数据库专业委 员会委员,中国计算机学会信息系统专业委员会委员.国内高校首个 数字教师 提出者和建设者,厦门 大学数据库实验室负责人,厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013年度和2017 年度厦门大学教学类奖教金获得者,荣获2017年福建省精品在线开放课程、2018年厦门大学高等教育成 果特等奖、2018年福建省高等教育教学成果二等奖、2018年国家精品在线开放课程.主要研究方向为数 据库、数据仓库、数据挖掘、大数据、云计算和物联网,并以第一作者身份在《软件学报》《计算机学报》 和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文.作为项目负责人主持的 科研项目包括1项国家自然科学青年基金项目(No.61303004)、1项福建省自然科学青年基金项目 (No.2013J05099)和1项中央高校基本科研业务费项目(No.2011121049),主持的教改课题包括1项2016年 福建省教改课题和1项2016年教育部产学协作育人项目,同时,作为课题负责人完成了国家发改委城市信 息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉州市互联网经济调研等 课题.中国高校首个 数字教师 提出者和建设者,2009年至今, 数字教师 大平台累计向网络免费 发布超过500万字高价值的研究和教学资料,累计网络访问量超过500万次.打造了中国高校大数据教学 知名品牌,编著........