PDF《Introduction》

22 Spark Standalone #spark export SPARK_HOME=/opt/spark export PATH=$SPARK_HOME/bin:$PATH source /etc/profile 启动 启动集群 在master上su spark cd /opt/spark sbin/start-all.sh 不用sbin脚本的方式 启动Worker ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT 测试 提交Application: bin/spark-submit --class org.hansight.spark.examples.SogouQTotal --master spark://HDP125:7077 /opt/ex Spark 运维实战

23 Spark Standalone Spark Standalone基于ZooKeeper的HA 适用于生产环境 Spark Standalone使用多个Master节点,通过ZooKeeper推举一个为Active(激活)状态,其它的均为Standby(备用)状态. 当Active Master节点挂掉后,ZooKeeper会从所有的Standby Mater中推举会一个新的 Activer Master.新的Active Master恢复到旧有的Active Master的状态,然后恢复调度.从Activer Master失去作用,到新Active Master........