PDF《DataWorks V1.0》

DataWorks V1.

0 快速入门 快速入门 使用说明 本指南将指引您快速完成一个完整的数据开发和运维操作. 注意: 如果您是第一次使用大数据开发套件,请确认已经根据 准备工作 模块的操作,准备好账号和项目角色、 项目空间等内容,然后进入 大数据开发套件管理控制台 页面,单击对应项目空间后的 进入工作区,便可 进入大数据开发套件的 数据开发 页面开始数据开发工作. 通常情况下,通过大数据开发套件的项目空间实现数据开发和运维,包含以下操作: 步骤1:建表并上传数据 步骤2:创建工作流 步骤3:创建同步任务 步骤4:设置周期和依赖 步骤5:运维及日志排错 基本流程如下图所示: DataWorks V1.0 快速入门

1 步骤1:建表并上传数据 本文将以创建表 bank_data 和result_table 为例,说明如何创建表并上传数据.其中表 bank_data 用于存储 业务数据,表result_table 用于存储数据分析后产生的结果. 操作步骤 创建表 bank_data 进入项目空间后,在 数据开发 页面单击 新建,选择 新建表.如下图所示: 在新建表页面,输入建表语句,单击 确认.创建表的更多 SQL 语法请参见 MaxCompute 创建/查DataWorks V1.0 快速入门

2 看/删除表. 本示例的建表语句如下所示: 创建表后,可以在左侧导航栏 表查询 中输入表名进行搜索,查看表信息.如下图所示: CREATE TABLE IF NOT EXISTS bank_data ( age BIGINT COMMENT '

年龄'

, job STRING COMMENT '

工作类型'

, marital STRING COMMENT '

婚否'

, education STRING COMMENT '

教育程度'

, default STRING COMMENT '

是否有信用卡'

, housing STRING COMMENT '

房贷'

, loan STRING COMMENT '

贷款'

, contact STRING COMMENT '

联系途径'

, month STRING COMMENT '

月份'

, day_of_week STRING COMMENT '

星期几'

, duration STRING COMMENT '

持续时间'

, campaign BIGINT COMMENT '

本次活动联系的次数'

, pdays DOUBLE COMMENT '

与上一次联系的时间间隔'

, previous DOUBLE COMMENT '

之前与客户联系的次数'

, poutcome STRING COMMENT '

之前市场活动的结果'

, emp_var_rate DOUBLE COMMENT '

就业变化速率'

, cons_price_idx DOUBLE COMMENT '

消费者物价指数'

, cons_conf_idx DOUBLE COMMENT '

消费者信心指数'

, euribor3m DOUBLE COMMENT '

欧元存款利率'

, nr_employed DOUBLE COMMENT '

职工人数'

, y BIGINT COMMENT '

是否有定期存款'

);

DataWorks V1.0 快速入门

3 DataWorks V1.0 快速入门

4 - - - - - 创建表 result_table 进入 数据开发 页面,单击 新建,选择 新建表. 在新建表页面,输入建表语句,单击 确认.建表语句如下所示: 创建表后,可以在左侧导航栏 表查询 中输入表名进行搜索,查看表信息. 本地数据上传至 bank_data 大数据开发套件支持以下操作: 将保存在本地的文本文件中的数据上传到工作空间的表中. 通过数据集成模块将业务数据从多个不同的数据源导入到工作空间. 注意: 本文将使用本地文件作为数据来源.本地文本文件上传有以下限制: 文件类型:仅支持 .txt 和.csv 格式. 文件大小:不超过

10 M. 操作对象:仅支持导入数据到非分区表,不支持 MaxCompute 分区表. 以导入本地文件 banking.txt 到大数据开发套件为例,操作如下: 单击 导入,选择 导入本地数据.如下图所示: CREATE TABLE IF NOT EXISTS result_table ( education STRING COMMENT '