PDF《《Spark编程基础 （Python版）》》

《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 ziyulin@xmu.

edu.cn 厦门大学计算机科学系 2019版 林子雨 厦门大学计算机科学系 E-mail: [email protected] 主页:http://www.cs.xmu.edu.cn/linziyu 《 Spark编程基础(Python版)》课程介绍 (PPT版本号:2019年春季学期) 《Spark编程基础 (Python版)》 教材官网: http://dblab.xmu.edu.cn/post/spark-python/ 温馨提示:编辑幻灯片母版,可以修改每页PPT的厦大校徽和底部文字 扫一扫访问教材官网 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 提纲 1.学习路线 2.先修课程 3.课程特色 4.教材介绍 5.内容提要 6.教学大纲 7.配套资源 百度搜索厦门大学数据库实验室网站访问平台 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 主讲教师 主讲教师:林子雨 中国高校首个 数字教师 提出者和建设者 2009年7月从事教师职业以来 累计免费网络发布超过500万字高价值教学和科研资料 网络浏览量超过500万次 数字教师LOGO 2018年国家精品在线开放课程 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 大数据学习路线图 大数据学习路线图访问地址:http://dblab.xmu.edu.cn/post/10164/ 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 大数据学习路线图 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 先修课程 在学习本课程之前,需要学生已经学习过如下课程 ? 大数据技术导论 C 比如林子雨编著《大数据技术原理与应用(第2版)》 C 在线视频: http://dblab.xmu.edu.cn/post/bigdata-online-course/ ? 数据库系统原理 C 了解关系数据库与SQL语句 ? 编程 C 比如,C++或者Java,了解面向对象编程基础知识 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 先修课程 建议在学习本课程之前,先学习大数据导论课程《大数据技术原理与应用》 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 先修课程 建议在学习本课程之前,先学习大数据导论课程《大数据技术原理与应用》 厦门大学林子雨老师主讲《大数据技术原理与应用》课程视频 在线课程地址:http://dblab.xmu.edu.cn/post/bigdata-online-course/ 荣获 2018年国家精品在线开放课程 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 课程特色 开启Spark学习大门 扫除学习障碍,铺平学习道路 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 课程教材 Spark入门教程(Python版) http://dblab.xmu.edu.cn/blog/1709-2/ 扫一扫访问在线教程 纸质教材预期在2019年夏天上市销售 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 课程教材 《Spark编程基础(Python版)》 本书以Python作为开发Spark应用程序的编程语言,系统介绍了Spark 编程的基础知识.全书共8章,内容包括大数据技术概述、Spark的设 计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、 Spark Streaming、Structured Streaming、Spark MLlib等.本书每个 章节都安排了入门级的编程实践操作,以便读者更好地学习和掌握 Spark编程方法.本书官网免费提供了全套的在线教学资源,包括讲 义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等. 教材官网:http://dblab.xmu.edu.cn/post/spark-python/ (备注:官网将在纸质教材上市销售以后开放访问) 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 参考书籍 《Spark编程基础(Scala版)》 厦门大学 林子雨,赖永炫,陶继平 编著 披荆斩棘,在大数据丛林中开辟学习捷径 填沟削坎,为快速学习Spark技术铺平道路 深入浅出,有效降低Spark技术学习门槛 资源全面,构建全方位一站式在线服务体系 本书以Scala作为开发Spark应用程序的编程语言,系统介绍了Spark编程的基础知识. 全书共8章,内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、 Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等.本书每个章节都安排了入门级的编程实践操作,以便读者更好地学习和掌 握Spark编程方法.本书官网免费提供了全套的在线教学资源,包括讲义PPT、习题、 源代码、软件、数据集、授课视频、上机实验指南等. 人民邮电出版社出版发行,ISBN:978-7-115-48816-9 教材官网:http://dblab.xmu.edu.cn/post/spark/ 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 参考书籍 如果没有购买《Spark编程基础》纸质教材,也可以使用Spark在线教程开展学 习.Spark在线教程,比《Spark编程基础》纸质教材包含了更多的内容,并且 同时提供了Scala版本和Python版本的两种Spark编程教程.在具体知识点方面, 《Spark编程基础》纸质教材,要比Spark在线教程写得更加规范、详细和深入. 二者各有千秋,可以结合使用. Spark在线教程地址: http://dblab.xmu.edu.cn/blog/spark/ 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 课程内容提要 ? Spark是当前热门的大数据处理技术 ? 本课程重点介绍Spark的技术原理与编程方法 ? Spark支持采用Scala、Java、Python和R语言进行编程, 本课程采用Python语言编写Spark应用程序 ? 课程内容包括Spark简介、设计与运行原理、RDD编程、 Spark SQL、Spark Streaming、Structured Streaming、 Spark MLlib等?通过本课程的学习,将帮助学生形成基础的Spark应用程 序编程能力,为学生使用Spark技术解决实际科研问题和 未来从事大数据相关工作奠定基础 《Spark编程基础(Python版)》 厦门大学计算机科学系 林子雨 [email protected] 教学大纲 章(或节) 主要内容 学时安排 第1章 大数据技术概述 大数据的基本概念、关键技术和代表性软件