PDF《Digital SDP 平台架构技术》

www.

huawei.com Copyright ?

2016 Huawei Technologies Co., Ltd. All rights reserved. Digital SDP 平台架构技术 中间件开发培训 - DDS HUAWEI TECHNOLOGIES CO., LTD. 课程必备要求 ?

1、熟悉数据库的基本操作 ?

2、简单的Linux命令 ?

3、Zookeeper的基本操作 ?

4、Java的基础知识 Page

2 HUAWEI TECHNOLOGIES CO., LTD. 学习本课程后达成的目标 ?

1、了解DDS价值特性(DBA) ?

2、熟悉安装部署DDS, DDS集群配置(DBA) ?

3、掌握DDL语法知识(DBA) ?

4、客户端配置使用(业务开发人员) ?

5、数据库搬迁与拆分(DBA) Page

3 HUAWEI TECHNOLOGIES CO., LTD. 目录 DDS 简介 DDS安装部署 DDS分区策略样例

3 4

5 DDS路由规则以及数据迁移介绍 DDS业务开发指导 常见问题解答

6 DDS 架构介绍 DDS 简介

1 2 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

5 DDS 介绍--产品背景

1、如何解决多种类型数据库并存的问题?

2、如何解决客户的海量数据存储?

3、如何解决应用服务器对数据库的大量连接?

4、如何解决大量客户的并发数据访问?

5、如何达成数据存储和客户访问的弹性伸缩? IT行业 企业服务 IT系统集中化建设日益加速. 例如:联通CRM&

Billing集中化 . 企业服务集成广泛开展,ICT融 合越来越深入,数据需要集中建 设集中服务 互联网 互联网应用发展如火如荼,存在 着海量用户互联网访问. 例如:移动的各类基地 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

6 DDS 介绍--透明访问与异构数据库 DDS Server Application JDBC Application Application Oracle Adapter MySQL Adapter Other DB Adapter Oracle MySQL Other DB

1、提供符合SQL92标准的DDS SQL语法, 客户通过DDS SQL访问数据,无需关心数 据的分布与存储介质.

2、支持DDS SQL到不同类型物理数据库 的适配翻译,支持异构数据源. HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

7 DDS 介绍--海量数据存储 Page

7

1、支持数据的垂直分库和水平分区.

2、支持多租户隔离策略.

3、支持DDS集群节点动态伸缩.

4、支持分布式主键.

5、提供二阶段提交能力,支持分布式事 务.

6、支持数据扩容与搬迁. (订购域) 分区1 (订购域) 分区2 (订购域) 分区… (账单域) 分区1 (账单域) 分区2 (账单域) 分区… DSP-Order DSP-Billing DDSn DDS1 Application Application Application HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

8 DDS 介绍--收敛数据库连接 DDS1 Application Application Application DataSource

1 DataSource n

1、应用程序通过DDS访问数据库,各个 应用程序可以共享DDS与数据库之间的 连接池,从而达到减少数据库连接数,达 到连接收敛的目的. DB

1 DB n HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

9 DDS 介绍--高并发客户访问

1、 DDS支持集群组网,APP可以通过任 意DDS节点获得服务,支持高并发.

2、 JDBC支持APP连接的负载均衡处理 能力.

3、支持动态流控,确保系统稳定运行, 同时起到扩容提醒目的. DDS集群 Application DDS1 Application Application DDS2 DDS3 RDBMS RDBMS RDBMS … … HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

10 DDS 介绍--弹性伸缩 Page

10 DB

1 DB

2 APP1 APP2 DDS1 DDS2 DB

3 APP3

1、支持DDS节点弹性伸缩

2、支持数据分区搬迁,搬迁过程对 搬迁分区短暂锁定服务

3、支持一主多备和读写分离

4、支持一级无数据搬迁扩容

5、支持多级分区无数据搬迁扩容 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

11 DDS 介绍--可靠性 ? 可靠性 ? 支持僵尸PDB连接信息查询能力. ? 限制单个外部客户端网元的并发访问数. ? 限制每个DDS的最大客户连接数. ? 支持对Pending状态XA事务的查询能力. ? 支持DDS与PDB之间的心跳检测与断链重连. ? 支持长SQL打印. ? 系统启动时恢复全部告警. ? DDS支持表结构的在线升级. ? 对新客户端连接接入和新的SQL事务请求进行流控. ? 故障读库自动且隔离,当所有读库故障时读取写库. ? 数据库单点故障高可用性. HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

12 DDS 介绍--安全性 ?安全性 ? 支持强制关闭在线用户 ? DDS对客户登录的认证和鉴权 ? 权限管理 ? 支持敏感数据保护 ? 安全日志 ? 通信矩阵 ? 安全协议 ? 为业务提供公共安全能力 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

13 目录 DDS 简介 DDS安装部署 DDS分区策略样例

3 4

5 DDS路由规则以及数据迁移介绍 DDS业务开发指导 常见问题解答

6 DDS 架构介绍

2 1 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

14 DDS 架构介绍--功能架构 DDS按照功能结构分为DDS Client、DDS Tools、DDS Server以及外围模块四个子系统. HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

15 DDS 架构介绍--运行架构 DDS作为分布式数据服务中间件,屏蔽异构数据库差异,提供标准SQL接口及透明访问能力. HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

16 DDS 架构介绍--组网方式 DDS可根据不同实际需求进行组网,选择合理的组网方式(DDS与业务进程分设和DDS与业务进程 合设),有助于提高数据访问的效率. DDS与业务进程分设 DDS与业务进程合设 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

17 DDS 架构介绍--集群管理 DDS通过Zookeeper进行集群管理,并通过算法逻辑实现负载均衡. HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

18 目录 DDS分区策略样例

4 5 DDS路由规则以及数据迁移介绍 DDS业务开发指导 常见问题解答

6 DDS 架构介绍

2 DDS安装部署

3 DDS 简介

1 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

19 DDS 安装部署 ?登录Support网站获取安装包: 安装包分为手动安装包和iDeploy安装包,用户可根据需要获取不同的安装包 ?检查安装包的完整性 (参考产品文档的安装前准备部分) ?检查基础环境(参考产品文档的安装前准备部分,很重要) ?做完以上步骤后根据产品文档安装DDS HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

20 DDS 安装部署--目录结构 ? add-ons:存放第三方库文件,如uoa、zookeeper等. ? bin:存放所有的可执行程序、工具以及脚本. ? config:存放系统所有配置文件. ? lib:存放系统动态库文件. ? log:存放系统日志文件. ? protect:存放锁文件,系统用,用户无需关心. ? var:存放性能统计日志等. HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

21 DDS 安装部署--主要的配置文件 ? DDS主要的配置文件有: ? $DDS_HOME/config/dds.env.local.xml:本节点DDS Server端口、共享内存地址、Zookeeper配置信息等配置. ? $DDS_HOME/config/dds.server.xml:本节点DDS Server的鉴权信息、连接池信息、白名单、流控等高级配置. ? $DDS_HOME/config/global/dds.env.xml:所有节点的ID以及IP等配置信息. ? $DDS_HOME/config/dds.monitor.xml:配置本节点所启动的进程.DDS服务器所占用的内存的大小,memory- threshold如果DDS在运 行的时候超过这个值的话, DDS的进程 就会被杀掉. HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

22 目录 DDS分区策略样例

5 DDS路由规则以及数据迁移介绍 常见问题解答

6 DDS 架构介绍

2 DDS 简介

1 DDS业务开发指导

4 3 DDS安装部署 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

23 DDS 开发指导--重要概念简介 ? 数据源(DataSource):用于访问数据库中数据的一个DB Schema ,如果存在 多个DBSchema,可以授权给一个公共DB Schema进行操作. ? 数据节点(DataNode):一组具有相同数据副本,用于读写分离的数据库集合. ? 数据空间(DataSpace):一组用于存放相同业务域分布式数据的数据节点集合 ? 数据分区(Partition):数据空间中主备数据库中的具有相同副本的一组DB Schema,用于存放分布式数据表的不同分区的数据. ? 分区规则(Sharding Rule):用于对数据表记录进行分区映射的规则.DDS支持Range/Hash两种分区规则,分区规则定义在数据空间. ? 分区键(Sharding Key):用于数据表记录进行分区映射计算的字段集合. ? DDS User:DDS的一个用户或租户,用户间的数据相互隔离. ? DDS Schema:DDS中提供给User进行资源(例如数据表,Sequence等)管理 的逻辑对象,User可以创建不同Schema管理不同业务域的表和其它资源. ? 路由(Route):根据分区键值将SQL操作分发到对应的数据分区(Partition)去 执行的操作. HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

24 DDS开发指导--DDL语法 常用语法列表: ? 数据源管理 ? 数据节点管理 ? 数据空间管理 ? 分区规则管理 ? 数据库表管理 ? SEQUEUE管理 HISILICON SEMICONDUCTOR HUAWEI TECHNOLOGIES CO., LTD. Page

25 DDS开发指导--DDL语法(数据源管理) ? 创建数据源 CREATE DATASOURCE '

ds_name'

DBTYPE '

db_type'

URL url [ STANDBY [ INDEX idx ] URL url ] USERNAME '

user_name'

PASSWORD '

password'

[ MINCONN min_conn ] [ MAXCONN max_conn ] [ INCREMENTSTEP increment_step ] [ STMTNUM stmt_num ] [ HEARTBEAT ( [CYCLE cycle] [CYCLEWHENBROKEN cycle_when_broken] ) ] [ TIMEOUT ([CONNOPER conn_oper] [CONNRECYCLE conn_recycle] [LONGSQLPRINT long_sql_print] ) ] [ CONNRETRY ([RETRYTIMES retry_times] [RETRYINTERVAL retry_interval])];

? 修改数据源 ALTER DATASOURCE '

ds_name'

[ DBTYPE '

db_type'

] [ URL url ] [STANDBY( [ ADD [INDEX idx] URL url ] [ DROP {[INDEX idx] | URL url} ] [ MODIFY [INDEX idx] URL url] )] [ USERNAME '

user_name'

] [ PASSWORD '

password'

] [ MIN........