PDF《E-MapReduce》

1 --executor-memory 1g --executor-cores

2 /opt/apps/spark-1.6.1-bin- hadoop2.7/lib/spark-examples-1.6.1-hadoop2.7.2.jar

10 E-MapReduce 快速入门

3 创建集群流程 注意:集群除了名字以外,一旦创建完成就无法被修改.所以在创建时请仔细确认需要的配置. 要创建集群,您需要继续完成以下步骤: 输入基本信息 输入集群名称,长度限制为 1-64 个字符,仅可使用中文、字母、数字、 - 和 _ . 选择付费类型,默认是包年包月,您也可选择按量付费.包年包月会比按量的便宜很多 ,但是按量的会更加灵活些.若选择包年包月,则需要选择购买时长. 日志保存默认是打开的,您需要选择一个 OSS 日志目录作为该集群中作业日志的保存位 置.如果您不需要保存,可以关闭它.强烈建议打开 OSS 日志保存功能,这会对您的作 业调试有极大的帮助. 设置 Master 节点的登录密码,8 -

30 个字符,且需同时包含大写字母、小写字母和数字 .集群启动以后可以使用 root 账号用设置的密码 SSH 登录. 引导操作,可以在集群启动 Hadoop 前执行您自定义的脚本(可选).详细使用说明查看 引导操作. 输入软件配置 选择产品版本,一般低版本的集群无法升级到一个高版本上. 勾选需要的组件.但是请注意,您选择的组件越多,对您机器的配置要求就越高,否则很 可能无法有足够的资源来运行这些服务. 软件配置,可以在集群中进行软件的配置.详细使用说明参考软件配置. 硬件配置 选择集群所在的可用区(Zone),不同的 Zone 会有不同的机型和磁盘. E-MapReduce 快速入门

4 选择网络类型(经典网络和专有网络),专有网络需要额外提供所属VPC以及子网(交换 机).若还未创建,可单击页面上创建 VPC/子网(交换机)进入VPC的控制台进行创建 ,完成后单击刷新列表即可看到新创建的 VPC/子网(交换机).E-MapReduce 专有网 络详细使用说明查看专有网络. 注意:经典网络与专有网络不互通,购买后不能更换网络类型.ECS 实例系列,不同的可 用区有不同的实例系列,系列 I、系列 II,或者两者都有. 选择一个已有的安全组,一般用户初次创建集群时还没有安全组.打开 新建安全组 开关,在 安全组名称 里面填上新的安全组的名字. 选择集群模式,目前默认集群为非高可用模式,Master 节点数为 1;

若开启高可用模式 ,则Master 节点数为 2. 选择 Master 节点配置,Master 节点默认配置了 8MB 的公网,按量付费.该费用并未计 算在集群费用中,需要额外支付. 选择 Core 节点配置,可调节节点数,但集群至少需要

2 个Core 节点. 集群费用.页面右下角会显示集群费用,按需集群显示每小时费用,包年包月显示总费用. 确认创建.当所有的信息都有效填写以后, 创建 按钮会亮起.确认无误后单击创建将会创建集群 . 注意: 若是按量付费集群,集群会立刻开始创建.页面会返回集群列表页,就能看到在列表中有 一个 集群创建中 的集群.请耐心等待,集群创建会需要几分钟时间.完成之后集群的 状态会切换为空闲. 若是包年包月集群,则会先生成订单,在支付完成订单以后集群才会开始创建. 创建失败 如果创建失败,在集群列表页上会显示 集群创建失败 ,将鼠标移动到红色的感叹号上........