PDF《Spark架构原理》

2015 华为技术有限公司 目录 1. Spark应用场景 2. Spark 基本功能和技术架构 3. Spark组件介绍 ? Spark在FI界面呈现 ? Spark常用进程 ? Spark维护关键点 第21页 版权所有?

2015 华为技术有限公司 1.服务状态信息、角色信息以及开 放的配置项 2.管理操作:启停spark、下载 spark客户端、同步配置 3.服务总体概况 4.角色的显示和健康状况,点击相 应角色可查看角色下的实例 FusionInsight平台为Spark服务提供了管理监控的可视化界面,通过Web UI界面,可完成以下动作: Spark的WebUI呈现 第22页 版权所有?

2015 华为技术有限公司 Spark与其他组件交互 在FI集群中,Spark主要与以下组件进行交互: 1)HDFS:Spark在HDFS文件系统中读写数据(必选) 2)YARN:Spark任务的运行以来Yarn来进行资源的调度管理(必选) 3)DBService:Spark-sql的表存储在Dbservice的数据库中(必选) 4)Zookeeper,JDBCServer的HA的实现依赖于Zookeeper的协调(必选) 5)Kafka:Spark可以接收Kafka发送的数据流(可选) 6)Hbase:Spark可以操作Hbase的表(可选) 第23页 版权所有?

2015 华为技术有限公司 Spark常用进程 ? JDBCServer ? 实际上是一个长驻的spark应用,通过shell_start- thriftserver.sh脚本启动. ? 用户可以通过执行beeline脚本,连接JDBCServer,执行sql语句 ? JobHistory ? 是一个单节点进程,通过shell_start-history-server.sh脚本启动 ? 该进程用于提供HistoryServer页面,展示历史应用的执行信息 第24页 版权所有?

2015 华为技术有限公司 服务维护关键点 ? Spark在FusionInsight平台中主要有三个角色,其中 SparkResource主要为Spark任务执行提供必要的资源,JobHistory 和JDBCServer这两个角色提供服务. ? 当spark角色异常时,可到对应节点的/var/log/Bigdata/spark/路径下 查看相关日志;

? 当Spark任务运行失败时,可通过FI的链接在yarn原生界面查看对应任 务的日志信息或者到yarn.nodemanager.log-dirs的位置查看相应的 container日志;

如果任务已经运行完毕,且yarn上开启日志归集功能( 通过yarn.log-aggregation-enable配置),则日志应到hdfs文件系统中 查看. 第25页 版权所有?

2015 华为技术有限公司 本章总结 ? 本章主要介绍了Spark组件再FusionInsight平台中的使用和 日志的记录的查询读取. 第26页 版权所有?

2015 华为技术有限公司 学习推荐 ? 华为Learning网站 ? http://support.huawei.com/learning/Index!toTrainIndex ? 华为Support案例库 ? http://support.huawei.com/enterprise/servicecenter?lang=zh www.huawei.com 谢谢 谢谢