PDF《腾讯云存储》

腾讯云存储腾讯开放平台kakarliu(刘永升) 架构平台部 云支撑平台 腾讯开放不是简单的卖流量,而是提供全平台服务支持,不 仅有账号、流量,还有支付体系.

让一个很小的开发团队,可以把 注意力集中在产品策划上,腾讯帮他承担客服、运维. --?马化腾 云存储是腾讯提供的一种D业的互联网数据存储解决方案, 使第三方D注于业务特性的开发,不必关心数据存储细节,从而 降低开发门槛,提升开发效率. 什么是云存储 目录 ? App开发商面临的困难 ? 云存储简介 ? 运营数据分析 ? 我们面临的挑战 ? 云存储关键技术 ? 云存储使用 目录 ? App开发商面临的困难 ? 云存储简介 ? 运营数据分析 ? 我们面临的挑战 ? 云存储关键技术 ? 云存储使用 APP开发面临的难题 硬件准备 安装部署 突发请求 日常运维 人员疲惫 开源软件为主 无专门团队 监控不完善 不容易调整 故障处理慢 App开发商面临的困难 技术方案 日常运维 精打细算 成本 数据可靠性、可用性不高 停服 投诉 用户流失 收入减少 目录 ? App开发商面临的困难 ? 云存储简介 ? 运营数据分析 ? 我们面临的挑战 ? 云存储关键技术 ? 云存储使用 云存储简介 数据是应用的根本,云存储是腾讯开放平台最关键的组件 海量用户 (基础用户资料 + 社交关系链) 云安全云支付云统计云接入QQ游戏 云存储目录 ? App开发商面临的困难 ? 云存储简介 ? 运营数据分析 ? 我们面临的挑战 ? 云存储关键技术 ? 云存储使用 运营数据分析 这些数据,每天都在快速的增加… 目录 ? App开发商面临的困难 ? 云存储简介 ? 运营数据分析 ? 我们面临的挑战 ? 云存储关键技术 ? 云存储使用 我们面临的挑战 ? 降低使用门槛 ? 支撑海量访问 ? 满足差异化需求 ? 应对硬件技术发展、故障 ? 对应用透明 降低使用门槛 接入方便、快捷 CMEM CDB 无需更改代码 假设有一款类似QQ农场的游戏… 修改本人仓库 修改本人经验 修改作物状态数据 据统计,平均一个用户1s可以点击4次"摘" 如果十万用户同时摘菜,那么对后台产生 的写请求数是120万 同时在线数越高,好友间交互越频繁, 产生的写峰值更高 8% 42% 5% 3% 42% tt memcached redis mongodb mysql 满足差异化需求 io请求 数据量25% 70% 4% 1% 80%的的开发商 10人以下团队, 很少有专门运维 人员 资源申请、回 收的灵活性 应对硬件技术发展、故障 磁盘更大 磁盘更快(SSD) 内存更大 CPU更强 IDC故障 天灾 系统架构可扩展 数据可靠性、可用性 设备故障 对应用透明 设备故障 IDC故障 扩容 系统升级 任尔风吹雨打,我自岿然不动 腾讯云存储 目录 ? App开发商面临的困难 ? 云存储简介 ? 运营数据分析 ? 我们面临的挑战 ? 云存储关键技术 ? 云存储使用 云存储关键技术 ? 可灵活扩展的多样性存储 ? 高性能cache设计 ? 跨IDC分布 ? 无缝切换、扩容 ? 复用与隔离 可灵活扩展的多样性存储 MEM SATA SAS SSD CMEM CDB CFS SQL POSIX Memcached接口 扩展扩展Redis接口 Mongodb接口 不同存储介质间实现无缝切换. 业界主流cache概况 无法支撑SNS应用的大量写 尚未大规模应用 未提供高性能NOSQL存储 高性能NoSQL存储 64字节记录,单机最大可支持11万次写 IOPS最大可达30万次 CMEM是高性能、高可靠、高可用的NoSQL存储系统 master CACHE slave SET GET check-point redo-log 备份中心 可靠的数据同步通道 CACHE 跨IDC分布 IDC0 Master Slave IDC1 Slave IDC2 set get get get redo-log 适用于最终一致性的场景 跨IDC分布 Slave IDC0 Master set get Slave IDC1 Master set get IDC资源的情况及应用的发展,要求数 据能够快速、安全的进行跨IDC搬迁. 无缝切换、扩容 master slave 故障前 master slave master slave 数据搬迁 主从同步 故障中 master slave 故障后 发生宕机时,整个处理过程对前端透明 无缝切换、扩容 cache