PDF《游戏出海之数据中台建设》

游戏出海之数据中台建设 周晟 游族网络 数据架构总监 目录 公司简介

01 面临问题

02 数据中台架构

03 核心系统

04 1 2009.

6 成立时间 2014.6 SZ.002174 上市时间 正式登陆资本市场 成为国内A股主板第一游戏股 知名IP 影视IP 《权力的游戏》 全球化IP 《三体》 二次元IP 《墓王之王》 《刀剑乱舞 -ONLINE-》 文学IP 《盗墓笔记》 自研IP 《少年三国志》 《女神联盟》

1 目录 公司简介

01 面临问题

02 数据中台架构

03 核心系统

04 1 面临的问题--头疼 ? 2. 技术标准不统 一,数仓规范不 统一 ? 1. 集群凌乱,数据无完整性保 障存在丢失风险 ? 4. 数据安全管理缺 失权限很难分配 ? 3. 数据存储、计算方式多 样出了问题背锅 ? 5. 数据服务能力不够 数仓成了数据孤岛 挑战 ? 接入游戏多,平台管理难 ? 数据量庞大,数据采集难 ? 平台不统一,统筹调度难 ? 开发部门多,安全管控难 数据量巨大 日增数据超5T 数据复杂 权限管控有限 数据开放不够 对外服务难 任务多,处理量大 调度混乱 业务各自开发 规范性不足 接入业务多 每年新游戏40+

1 目录 公司简介

01 面临问题

02 数据中台架构

03 核心系统

04 1 架构图 目录 公司简介

01 面临问题

02 数据中台架构

03 核心系统

04 5000+ 数据接入 数据存储/管理 数据分析/挖掘 数据输出 数据的四个阶段 ETL系统 数据接入系统 数据资产管理系统 权限管理系统 任务调度系统 D-query 实时查询系统 DBCloud中间件 Data-API统一接口 DataWorks 数据工坊 D-cube系统 OSS文件系统 数据平台门户 AI平台 数据中台-系统概览 ? 在数据处理"流"的各关键节点提供工具支持 BA经分系统 ? DTS是游族统一数据接入系统,接入各种数据源,包括游戏数据,平台数据,广告数据,运维等各种数据. DTS 采集方式 ? 实时流式 ? 文件 ? 数据库 类型 ? 基础数据 ? 生态数据 ? 其他 来源 ? 国内服 ? 海外服 ? 腾讯服 上线前 上线后 ? 混乱地使用了多种数据上报方式 ? 数据通道无法监控 ? 数据接入质量没有保障 ? 集中管理 方便任务下发 ? 统一监控 快速发现问题 ? 分布式采集 方便用户接入 ? 高可用 服务安全可靠 ? 数据接入成本较高 DTS架构图 ? 有序管理大量数据处理任务,以最优方式调度 混乱的使用三种调度工具 不支持可视化,操作难度高 新业务上线麻烦,部分功能满足 不了需求 日常核心任务已全部迁移至调度系统,其他团队数据任务有序迁移中 上线前 上线后 调度系统 DBCloud SQL服务 50T+ 业务由Hive切换Presto引擎后,一些SQL 的查询速度由原10几分钟降低到10秒内, 更有查询场景秒出 提升业务查询速度 ? 分析师团队全面替代原有开源工具 ? 因速度优势明显,测试团队和研发团队也在同步使用 更多业务在接入中 5000+ 2小时多 5分钟 ? 高速查询引擎,速度提升显著 ? 更细致的权限设置 ? 按用户分配计算资源 ? 开发成本降低,写SQL就能完成报表统 计程序 ? 只能用命令行方式查数据 ? 无限制管控,用户同时使用容易冲突, 发生查询死锁 ? 图形化查询,有历史记录,支持定时查询 ? 完备地库,表,字段权限隔离 ? 队列控制,资源隔离,查询执行顺畅 ? API接口,命令行支持 上线前 上线后 提速 10~100倍 增加Presto、spark sql引擎支持 查询速度提升显著 下一步计划 自助化平台,用户能自助式完成数据接 入和数据服务 Step