PDF《《Spark编程基础》》

《Spark编程基础》 厦门大学计算机科学系 林子雨 ziyulin@xmu.

edu.cn 厦门大学计算机科学系 2018版 林子雨 厦门大学计算机科学系 E-mail: [email protected] 主页:http://www.cs.xmu.edu.cn/linziyu 《 Spark编程基础》课程介绍 (PPT版本号:2018年2月) 《Spark编程基础》 教材官网: http://dblab.xmu.edu.cn/post/spark/ 温馨提示:编辑幻灯片母版,可以修改每页PPT的厦大校徽和底部文字 扫一扫访问教材官网 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 提纲 1.学习路线 2.先修课程 3.课程特色 4.教材介绍 5.内容提要 6.教学大纲 7.配套资源 百度搜索厦门大学数据库实验室网站访问平台 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 主讲教师 主讲教师:林子雨 中国高校首个 数字教师 提出者和建设者 2009年7月从事教师职业以来 累计免费网络发布超过500万字高价值教学和科研资料 网络浏览量超过500万次 数字教师LOGO 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 大数据学习路线图 大数据学习路线图访问地址:http://dblab.xmu.edu.cn/post/10164/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 大数据学习路线图 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 先修课程 在学习本课程之前,需要学生已经学习过如下课程 ? 大数据技术导论 C 比如林子雨编著《大数据技术原理与应用》 C 在线视频: http://dblab.xmu.edu.cn/post/bigdata-online-course/ ? 数据库系统原理 C 了解关系数据库与SQL语句 ? 编程 C 比如,C++或者Java,了解面向对象编程基础知识 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 先修课程 建议在学习本课程之前,先学习大数据导论课程《大数据技术原理与应用》 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 先修课程 建议在学习本课程之前,先学习大数据导论课程《大数据技术原理与应用》 厦门大学林子雨老师主讲《大数据技术原理与应用》课程视频 在线课程地址:http://dblab.xmu.edu.cn/post/bigdata-online-course/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 课程特色 开启Spark学习大门 扫除学习障碍,铺平学习道路 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 教材介绍 《Spark编程基础》 厦门大学 林子雨,赖永炫,陶继平 编著 披荆斩棘,在大数据丛林中开辟学习捷径 填沟削坎,为快速学习Spark技术铺平道路 深入浅出,有效降低Spark技术学习门槛 资源全面,构建全方位一站式在线服务体系 人民邮电出版社出版发行,ISBN:978-7-115-47598-5 教材官网:http://dblab.xmu.edu.cn/post/spark/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 教材介绍 《Spark编程基础》 本书以Scala作为开发Spark应用程序的编程语言, 系统介绍了Spark编程的基础知识.全书共8章,内 容包括大数据技术概述、Scala语言基础、Spark的 设计与运行原理、Spark环境搭建和使用方法、 RDD编程、Spark SQL、Spark Streaming、Spark MLlib等.本书每个章节都安排了入门级的编程实 践操作,以便读者更好地学习和掌握Spark编程方 法.本书官网免费提供了全套的在线教学资源,包 括讲义PPT、习题、源代码、软件、数据集、授课 视频、上机实验指南等. 教材官网:http://dblab.xmu.edu.cn/post/spark/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 教材介绍 如果没有购买《Spark编程基础》纸质教材,也可以使用Spark在线教程开展学 习.Spark在线教程,比《Spark编程基础》纸质教材包含了更多的内容,并且 同时提供了Scala版本和Python版本的两种Spark编程教程.在具体知识点方面, 《Spark编程基础》纸质教材,要比Spark在线教程写得更加规范、详细和深入. 二者各有千秋,可以结合使用. Spark在线教程地址: http://dblab.xmu.edu.cn/blog/spark/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 内容提要 ? Spark是当前热门的大数据处理技术 ? 本课程重点介绍Spark的技术原理与编程方法 ? Spark支持采用Scala、Java、Python和R语言进行编程, 本课程采用Scala语言编写Spark应用程序 ? 课程内容包括Scala语言、Spark简介、安装、运行架构、 RDD的设计与运行原理、部署模式、RDD编程、键值对 RDD、数据读写、Spark SQL、Spark Streaming等?通过本课程的学习,将帮助学生形成基础的Spark应用程 序编程能力,为学生使用Spark技术解决实际科研问题和 未来从事大数据相关工作奠定基础 《Spark编程基础》 厦门大学计算机科学系 林子雨 [email protected] 教学大纲 章(或节) 主要内容 学时安排 第1章 大数据技术概述 大数据的基本概念、关键技术和代表性软件