PDF《E-MapReduce》

E-MapReduce 快速入门 快速入门 在创建您的 E-MapReduce 之前,您需要先完成以下准备工作: 注册阿里云账号 在申请 E-MapReduce 集群之前,您需要有一个阿里云的云账号,用于标识您在整个阿里云生态系 统中的身份.

该账号不仅可以用来申请 E-MapReduce 集群,同时还能够开通阿里云的对象存储服 务OSS、云数据库 RDS等服务. 如果您还没有阿里云的云账号,请参见注册云账号进行申请. 创建 Access Key(可选) 由于 E-MapReduce 调用访问的需要,您至少需要创建一个 Access Key,创建步骤如下: 登录阿里云官网. 登录管理控制台. 单击 AccessKeys. 注意:若出现如下提示框,请单击继续使用 Accesskey. 单击创建 Access Key,然后再单击同意并创建. 输入短信校验码,单击确定.Access Key 创建成功. E-MapReduce 快速入门

1 1. i. ii. a. b. iii. a. b. c. d. e. iv. a. 开通阿里云 OSS 服务(必须) E-MapReduce 会将您的作业日志和运行日志保存在您的阿里云 OSS 存储空间中,所以需要您开通 阿里云 OSS 服务,操作步骤请参见开通 OSS 服务.并在您期望创建集群的相同地域创建 Bucket,参见创建Bucket. 开通高配机型(可选) 如果您需要在按量的集群中使用8核及8核以上的机型的时候,需要先在ECS处申请开通方能使用.申 请高配机型 准备足够的余额 目前根据阿里云 ECS 的规则,用户在购买按量付费 ECS 的时候,要保证阿里云账户中至少有

100 元的现金(注意:代金券无效).因此,在创建按量集群前,请确认您的账户中已至少充值

100 元 ,否则会创建失败.前往充值 当您使用完成并释放集群以后,在没有ECS或者其他按量产品在使用的情况下,您可以将这100元提 现,回到您自己的原有账户中. 创建 E-MapReduce 注意:请确认您已经完成了必选的准备工作 通过本教程,用户能够基本了解E-MapReduce中集群,作业和执行计划的作用和使用方法.能够创建一个 Spark Pi的作业在集群上运行成功,并最后在控制台页面上看到圆周率Pi的近似计算结果. 创建集群 在控制台左侧选择集群,并点击右上创建集群 软件配置 选择EMR-2.1.1产品版本 使用默认软件配置 硬件配置 选择按量付费 若没有安全组,打开新建,并填写安全组名称 选择 Master 4核8G 选择 Core 4核8G, 一台 其他保持默认 基础配置 填写集群名称 E-MapReduce 快速入门

2 b. c. v. 2. i. ii. iii. iv. v. 3. i. ii. iii. iv. v. vi. vii. 4. i. 5. i. ii. iii. 选择日志路径保存作业日志,务必开启.在集群对应的地域,创建OSS的Bucket 填写密码 创建集群 创建作业 在控制台左侧选择作业,并点击右上创建作业 填写作业名称 选择Spark类型 参数填写,使用如下 其他保持默认,创建作业 创建执行计划 确认之前创建的集群已经创建成功以后,在列表上的状态显示为空闲 在控制台左侧选择执行计划,并点击右上创建执行计划 创建时选择已有集群,并选择之前创建集群进行关联 将之前创建的作业,加入到运行队列中 填写执行计划名称 默认手动执行 创建执行计划 运行执行计划 在执行计划列表页面,点击立即运行 查看作业日志并确认结果 点击管理,进入管理页面,在下方查看运行记录 点击运行记录的右侧,查看作业列表 点击stdout能够查看到,Pi的近似计算结果,3.14xxxx 登录阿里云 E-MapReduce 控制台集群页面. 完成 RAM 授权,操作步骤请参见角色授权. 选择地域(Region),则集群将被创建在该地域内,如下图所示. 单击创建集群,如下图所示. --class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory 512m --num- executors