PDF《<在此处插入图片>》

应对通用数据集成与应用程序可用性挑战 ― IT 人员的观点 Daniel Koh 高级业务开发经理 ― ASEAN 数据解决方案,Oracle Corporation

2011 年7月2OTN DBA 圆桌会议 议题 ? 应对数据集成挑战 ? Oracle Data Integration 解决方案概述 Oracle Data Integrator (ODI) Oracle GoldenGate (OGG) Oracle Data Quality (ODP/ODQ) ? 优化数据仓库 ― 通过 Oracle Data Integration 来实现 ? 客户成功案例 ? 问答 ? ODI 社区资源

3 OTN DBA 圆桌会议 OLTP 和ODS 系统 数据仓库、数据集市 Oracle、PeopleSoft、 Siebel、SAP、 自定义应用程序 文件、Excel XML 集成挑战 分散的方法 企业绩效 定制报表 打包的 应用程序 业务 智能 分析 数据 联合 数据 仓储 自定义 数据集市 数据访问 数据孤岛 SQL Java 批处理脚本 数据中心 数据 迁移 数据 复制 OLAP 较差的 数据质量 信息 延迟 自定义编码的高额成本 缺少干净一致的数据 多种标准和准则 数据仓库、 数据集市 数据仓库、 数据集市

4 OTN DBA 圆桌会议 实时数据 实现智能和操作 ? 精确到秒的数据以便操作 ? 访问及时信息以便进行分析 ? 数据跨地区分布 实时企业 现代数据集成平台与实时数据仓库的 业务动因 持续的可用性 实现全天候全球运营 ? 即使发生灾难时仍可持续运行 ? 计划停电期间不会停机 ? 针对集成的低影响数据捕获 可靠的信息 ? 与其他系统一致 ?高数据完整性 需要持续、实时、可靠的信息

5 OTN DBA 圆桌会议 需要取消 ETL 批处理窗口 数据过多,但没有足够时间进行批处理 运营 运营 可用

6 OTN DBA 圆桌会议 实时运营 BI 实战 无处不在的运营 BI.

欺诈检测 客户流失 网上促销优化 基于位置的服务 联系人优化 供应链改善

7 OTN DBA 圆桌会议 我们需要实时信息

8 OTN DBA 圆桌会议 为何数据仓库需要实时数据? 实时 = 相关可操作性信息 提高洞察以制定运营决策 通过运营效率改善客户服务和节省成本 提高盈利能力、客户忠诚度和竞争优势

9 OTN DBA 圆桌会议 ? 几天前的旧数据 ? 在指定的 非营业时间 内批量提取 数据 ? 需要中间层服务器用于转换 ? 流程的中断会影响数据恢复能力 原有应用程 序、打包应 用程序、 OLTP 数据库 企业数据仓库 传统数据仓库 ETL 实时数据仓库 企业数据仓库 转型 E-LT 原有应用程序、 打包应用程序、 OLTP 实时 连续馈送 ? 及时的相关数据 ? 源系统和数据仓库的最高可用性 ? 去掉了用于转换的中间层服务器, 降低了总拥有成本 ? 中断后能完全恢复 向实时数据仓库转化的动因

10 OTN DBA 圆桌会议 议题 ? 应对数据集成挑战 ? Oracle Data Integration 解决方案概述 ? Oracle Data Integrator (ODI) ? Oracle GoldenGate (OGG) ? Oracle Data Quality (ODP/ODQ) ? 优化数据仓库 ― 通过 Oracle Data Integration 来实现 ? 客户成功案例 ? 问答 ? ODI 社区资源

11 OTN DBA 圆桌会议 Oracle Data Quality MDM 应用程序 SOA 平台 业务智能 活动监视 自定义应用 程序 Oracle GoldenGate SOA 抽象 服务总线 流程管理器 数据服务 Oracle Data Integrator E-LT/ETL OLTP 系统 平面文件 数据仓库/ 数据集市 OLAP 多维数据集 Web 2.0 Web 和事件服务、 SOA 存储 数据联合 全面的数据集成解决方案 全面的数据集成解决方案 面向企业的全面、集成、开放的解决方案 Oracle 应用程序 实时 数据集成 监测 清理 分析 可访问性 最新更新 可靠的数据

12 OTN DBA 圆桌会议 Oracle Data Integrator (ODI)

13 OTN DBA 圆桌会议 基于集的声明式设计 通过 Oracle GoldenGate 实现 基于日志的 CDC E-LT 转换 与E-T-L 可热插拔的架构 任何数据仓库 任何计划系统 OLTP 数据库源 应用程序源 原有源 可插入的知识模块 Oracle Data Integrator 企业版 优化 E-LT 以提高性能

14 OTN DBA 圆桌会议 下一代架构 E-LT 传统 ETL 架构 提取 加载 转换 独特优势:E-LT 架构 高性能 加载 提取 转换 转换 传统:单独的 ETL 服务器 ? 专用 ETL 引擎 ? 性能低下 ? 独立服务器成本高 Oracle:没有新服务器 ? 降低成本:有效利用计算资源和分区负载 ? 高效:利用数据库优化器 ? 快速:利用本地批量加载和其他数据库接口 ? 可伸缩:在将处理器添加到源或目标的过程中 可伸缩 优势 ?最佳性能和可伸缩性 ?更好利用硬件 ?易于管理且成本更低

15 OTN DBA 圆桌会议 ? 巨大的高容量并行硬件实现超大数据量的快速处理 ? 数据库云服务器直接在存储端进行 数据密集型处理 ? 最全面的分析功能 ? OLAP、统计、空间数据、数据挖掘、实时 事务 ETL、高效的点查询 ? 专门针对数据仓库的强大优化 ? 灵活分区、位图索引、联接索引、物化视图、结果缓存 ? 只有与 Oracle 产品结合使用时 E-LT 才会快

20 倍 数据挖掘 OLAP ELT 新 针对数据库云服务器进行了优化 最快的 E-L-T 处理

16 OTN DBA 圆桌会议 ODI 速度更快 每小时高达 7TB 的实际数据加载和复杂数据转换 ODI ELT(数据库云服务器上) ? ODI 随数据库云服务器扩展 ? ODI 在数据库云服务器上运行 ― 不需要 ETL 硬件 ? 常规管理、监视和管理 ? 所有基于工具的快速 ETL 开发的优势 传统 ETL ? 随着数据集的增加,不断需要额外硬件 ($$) ? ETL 并行优化和设计 ($$$) 严重依赖 ETL 系统的可用 资源 ? 性能低下 ― 在数据库外进行转换,需要临时表 ? 缺少能快速加载数据的轻型架构 ? ETL 引擎硬件资源仅用于 ETL ? 硬件位于不同位置,多个供应商 ? 与数据库和 BI 基础架构的管理和监视不同 ($$)

17 OTN DBA 圆桌会议 Oracle Data Integrator:高性能 ? 最高的 E-LT 批处理性能 ? 出色的基础 E-LT 架构 ? 不依赖中间层,数据转换速度更快 ? 在数据库层执行转换 ? Data Integrator 在数据库云服务器上全 速运行 ? 每小时处理超过 7TB 数据 ? 无需额外的 ETL 硬件 ? 高效

18 OTN DBA 圆桌会议 Oracle GoldenGate (OGG)

19 OTN DBA 圆桌会议 Oracle GoldenGate 11g 低影响的实时数据集成和事务复制 数据库 原有 新应用程序/新操作系统/ 新数据库/新硬件 分布式系统 副本/备用 基于日志的、 更改的数据 零停机升级和迁移 查询分流、灾难恢复 整个企业的数据同步 实时 BI、运营报表 ODS/数据仓库 消息总线 消息总线 事件驱动式架构、 SOA

20 OTN DBA 圆桌会议 Oracle GoldenGate 架构 为提高速度、灵活性和可靠性而设计 LAN/WAN Internet TCP/IP 双向 捕获 跟踪 交付 跟踪 源Oracle 和非 Oracle 数据库 目标 Oracle 和非 Oracle 数据库 ? 跨异构系统的实时更改数据捕获、路由和交付 ? 非侵入式、基于日志的更改数据捕获,将对基础架构的影响降至最低 ? 跨地区的事务完整性和有保障的数据交付 ? 双向复制并支持不同的复制拓扑结构

21 OTN DBA 圆桌会议 Oracle GoldenGate 拓扑结构 单向查询分流 双向 主用/备用或 主动-主动,实现高可用性 对等 负载平衡、 多主 广播 数据分发 集成/整合 数据仓库 级联式 数据集市

22 OTN DBA 圆桌会议 传统 ETL + CDC ? 使用复杂的适配器在 OLTP 系统上 进行侵入式捕获 ? 在昂贵的中间层服务器上通过 ETL 引擎进行转换 ? 通过在晚上/白天进行大批处理,将 数据批量加载到数据仓库 ? 从运营系统连续馈送 ? 非侵入式数据捕获 ? 瘦中间层,在数据库平台(目标)上 执行转换 ? 白天进行小规模批处理或夜间进行批 量处理 ODI + Oracle GoldenGate 预备 少量 查找 数据 加载 提取 查找 数据 转换 转换 批量 GG+ ODI GG+ ODI 异构 针对数据仓库的实时更改数据 采用 Oracle GoldenGate 的同类最佳实时数据更改解决方案

23 OTN DBA 圆桌会议 ODI EE 与GoldenGate:全面、集成 非侵入式捕获 + E-LT 处理 ? 消除数据延迟 ? 减少数据转换时间 ? 提高数据可靠性 ? 通过异构平台支持提高灵活性

24 OTN DBA 圆桌会议 Oracle Data Quality (ODP/ODQ)

25 OTN DBA 圆桌会议 任何数据仓库 任何计划系统 Oracle Data Integrator 企业版 任何源系统 地址验证 客户/第三方匹配和 合并 产品/项目匹配和合并 属性提取和标准化 数据控制和可见性 源和目标的数据监测 客户/第三方数据 产品/项目数据 Oracle 的数据质量产品 适用于客户和产品数据的同类最佳解决方案

26 OTN DBA 圆桌会议 Oracle Data Quality 作为集成流程的一部分,确保数据质量 ODI EE Oracle Data Profiling Oracle Data Quality 更好的数据可见性 更严密的数据控制 更高的数据准确性 源和目标的 元数据监测 重复检测、 匹配和合并 可视化数据质量工具 为集成流程提供同类最佳数据质量和监测

27 OTN DBA 圆桌会议 提高 治理 解决方案:数据质量生命周期 Data Quality 提供可靠的数据 调查 ?运行自动监测 ? 遵从以下方面的标准: - 完整性 - 值和频率 - 模式、形式、格式 ? 查看实体关系 ? 确认引用完整性 ? 自动改进 ? 应用/实施标准 ? 对非结构化的自由格式文本数据 进行标准化处理 ? 识别相关记录 ? 整合重复记录 ? 清理和纠正 ? 应用生存逻辑 ? 追加内容 ? 定义数据度量标准 ? 监视结果 ? 量化问题区域 ? 量化改进措施 ? 将度量标准与业务影响 相关联 ? 沟通结果 ? 确定后续步骤的优先顺序 源28 OTN DBA 圆桌会议 姓名常见错误和变化 变化或错误 示例 顺序错误 ? Mark Douglas 或Douglas Mark 抄写错误 ? Hannah、Hamah 姓名连在一起 ? Mary Anne、Maryanne 昵称和别名 ? Chris ― Christine、Christopher、Tina 干扰因素 ? 句号、破折号、斜线、头衔、省略号 缩写 ? FedEx/Federal Express、 Mfg/Manufacturing、 日期不准确 ? 12/10/1915, 21/10/1951, 10121951,

00001951 前缀/后缀错误 ? MacDonald/McDonald/Donald 拼写和输入错误 ? P0rter、Beht

29 OTN DBA 圆桌会议 姓名 地址 城市 省/市/ 自治区 邮政 编码 电话 电子邮件 Bob Williams

36 Jones Avenue Newton MA

02106 617

555 000 [email protected] Robert Williams

36 Jones Av. MA

02106 617555000 Burkes, Mike and Ilda

38 Jones av. Nweton MA

02106 617-532-9550 [email protected] Jason Bourne, Bourne &

Cie.

76 East 51st Newton MA 617-536-5480

6175541329 数据位于错误的字段 匹配的记录 输入错误 企业名和联系人姓名 混在一起 多个姓名 非标准格式 缺少数据 数据质量问题示例 客户数据

30 OTN DBA 圆桌会议 Title: Mr. First Name: Bob (Robert) Middle Name(s): James Last Name: St. John Generation: III Gender: M Business Name: St. John Chemical Corporation House Number:

101 Directional: S (South) Street Name: Main Street Type: St. City: St. Louis (Saint Louis) State: MO Zip Code:

63118 Email: [email protected] Delivery Code: Z99 - Special Handling Delivery Comments: Hazardous Materials, Flammable Pr. FN PR MN PR LN PR BN PR HsNo PR St N PR St T PR City PR State PR Zip Name St. Add. City State ZIP Bus. Name 原始数据 追加数据 原始记录 Mr. Bob James St.John III St.John Chemicil Corp.

101 S. Main St. St.Louis, MO

63118 [email protected] Code - Spcl. Deliv. - Hazd Matrls, Flam 1. 关键字识别 2. 模式识别 3. 数据标准化 清理、匹配、标准化 Data Quality 上下文敏感的清理 根据具体情况对关键字和数据进行标准化处理

31 OTN DBA 圆桌会议 原始记录 William Jones Oak St. MA

02322 650

456 3000 原始记录 Bil Jones

100 Oak Avon, MA

02322 原始记录 William Henry Jones

100 Oak St. Avon, MA Data Quality 匹配与合并 取消重复记录 合并后的记录 William Henry Jones

100 Oak St. Avon, MA

02322 650

456 3000 三阶段的过程 1. Window 键生成(将类似记录归为一组) 2. 联接(按相似程度进行重复项标识) 3. 同化(创建最佳记录)

32 OTN DBA 圆桌会议 议题 ? 应对数据集成挑战 ? Oracle Data Integration 解决方案概述 ? Oracle Data Integrator (ODI) ? Oracle GoldenGate (OGG) ? Oracle Data Quality (ODP/ODQ) ? 优化数据仓库 ― 通过 Oracle Data Integration 来实现 ? 客户成功案例 ? 问答 ? ODI 社区资源

33 OTN DBA 圆桌会议

33 EMP DEPT DIM FACT DIM DIM DIM ODS 模式 DW 模式 OBI EE Suite 增强版 基于日志的实时数据传送 EMP DEPT Oracle GoldenGate Oracle 数据库云服务器 OLTP 源 系统 事务4 事务2 事务1事务3 批量传送 历史分析 实时分析 Oracle Data Integrator、 Data profiling 和Data Quality 利用 Oracle 实现实时数据仓储 全面、灵活、集成

34 OTN DBA 圆桌会议 Oracle BIEE Suite 增强版 设计和 钻探 数据流 批量和实时数据处理 Oracle Data Integrator 企业版 元数据沿袭 数据分发和交付 API 批量/少量加载 更改数据 捕获 主 数据 数据质量 与分析 ODI 知识模块框架 信息资产 Oracle Business Intelligence Server 通用企业信息模型 交互式 信息板 即席 分析 预见性的 警告 Microsoft Office 报告 与发布 数据 仓库 ? 支持 OLAP/R-OLAP 源和目标 ? 报告到源沿袭 ? 集成的数据质量 ? 通用管理:管理、监视、调度、 审计、异常 ? 与Oracle GoldenGate 协同工 作,改善实时数据访问 OBI EE Suite 和ODI-EE Data Lineage 和Data Quality 提供可靠的数据

35 OTN DBA 圆桌会议 ? 降低 TCO 和硬件成本 ? 缩短实施时间,降低开发成本 ? 更快地为业务提供正确数据 削减成本,更快地实现价值 ? 消除对源系统性能的影响 ? 通过改善恢复能力和数据质量,降低客户交互欠佳、错失商机等 风险. 降低风险 ? 根据最新分析优化运营 ? 根据实时信息进行更好的决策 ? 更高的数据质量、更高质量的决策和执行 实现卓越的运营 Oracle Data Integration 解决方案的优势 削减成本,降低风险,实现卓越的运营

36 OTN DBA 圆桌会议 议题 ? 应对数据集成挑战 ? Oracle Data Integration 解决方案概述 ? 优化数据仓库 ― 通过 Oracle Data Integration 来实现 ? 客户成功案例 ? 问答 ? ODI 社区资源

37 OTN DBA 圆桌会议 客户成功案例

38 OTN DBA 圆桌会议 Research in Motion (RIM) RIM 制造应用程序的可用性能满足严格的 SLA 要求 业务挑战: ? 电信运营商在根据需求发送 BlackBerry 设备时,面 临高增长量(每12 到18 个月增长一倍)以及严格 的SLA 要求 ? 为制造部门维护应用程序的高可用性 ― 跨全球

4 个 数据中心保持所有环境的同步 GoldenGate 解决方案: ? 零停机迁移 ― 从5个生产系统迁移到

4 个(迁移 到HP Superdome) ? 跨所有生产服务器和下游服务器进行双向复制,以 进行开发/测试和仓储 ? 跨4个数据中心实施稳定、高性能的解决方案,不 会造成数据损坏 优点: ? 通过单一技术解决方案为遍及全球的重要制造系统 提供高可用性 ? 满足 SLA 要求,从而避免处罚 ? 提高整体满意度 ? 避免负面曝光 维护制造系统高可用性 OTLP 系统:Oracle HP SuperDome 英国 新加坡 加拿大 Dallas 开发/ 测试 数据 仓库

39 OTN DBA 圆桌会议 零停机迁移和升级 业务挑战: ?................