PDF《详解游戏公司的上云之路（海外）》

详解游戏公司的上云之路(海外) 周浩城 目录 CONTENTS 全球通服架构 ・架构说明 ・典型案例 ・中国大陆 ・T Mobile ・我们的建议 区域覆盖架构 ・地区性网络覆盖分享 ・我们的建议 其他玩法 洛杉矶 欧洲 美东 南美 大陆 东南亚 全球通服架构 150ms 180ms 200ms 135ms - 200ms 60ms - 150ms 部落冲突 泰坦 众神之战 阿瓦隆之王 皇室战争 典型案例洛杉矶 欧洲 美东 南美 大陆 东南亚 中国大陆抓取某游戏在美国AWS 的登陆平台的 IP(测试目的 IP 在美东),并用

443 端口 TCP 协议进行为期

24 小时的测试数据.

82.5%的可用性主要由于目标服务器地址在海外,高峰期 (21:00 - 23:00)中国境内 访问海外会有链路拥堵,影响网络质量. TCP延迟 364ms 可用率 82.5% 中国大陆中国大陆香港 中国大陆洛杉矶 中国大陆新加坡 中国大陆法兰克福 中国大陆PathX?5G+的转发流量 ? 部署极其简单 ? 专门的转发集群 ? 多年的运营经验 TOS标记位 在初期内测阶段发现部分上海电信用户无法登陆游戏,经过深入摸排和公司员工家庭设 备测试比对确认,影响客户都为使用电信光猫并且是路由而非桥接模式.经深入分析, 发现当异常玩家连接时网卡的error包会异常增长.随后网络研发一起介入针对异常error 与正常转发包对比分析,确认原因为数据包携带TOS标记(较老版本的类似QOS的流控标 记,已经基本废弃),该标记会触发Linux kernel 2.6.32版本GRE模块的BUG,导致数据 包识别异常无法转发.最终采用iptables强制置0 TOS标记位解决. iptables -t mangle -A INPUT -s 10.13.0.0/16 -j TOS --set-tos 0x00/0xff P a t h X MSS的困惑 第一轮测试过程中出现telnet监控都正常,但是游戏进行的时候会卡住的情况,经抓包排 查发现异常重传包,定位TCP数据包尺寸过大造成切片异常.通过以下MSS参数优化,解 除限制. iptables -t mangle -A FORWARD -p tcp -m tcp --tcp-flags FIN,SYN,RST,ACK SYN -j TCPMSS --set-mss

1300 iptables -t mangle -A FORWARD -p tcp -m tcp --tcp-flags FIN,RST,SYN,ACK SYN,ACK - j TCPMSS --set-mss

1300 P a t h X TTL优化 早期网络质量测试调研过程中发现国内-华南骨干-亚太-国际骨干跳数总和接近60跳,预计 极端情况下可导致TTL为64的设备因为TTL超时而无法正常游戏.遂在亚太iptables增加 TTL修改条目,介入进行TTL值的增加补足. iptables -t mangle -I PREROUTING -m ttl --ttl-gt

1 -j TTL --ttl-inc

30 P a t h X 直连 Path X TCP延迟 364ms 224.14ms 可用率 82.5% 100% 中国大陆中国大陆FPS?80ms? 中美间延迟即使走专线也在160ms左右,部署 对延迟要求高的游戏需要考虑这个实际情况. 中国大陆个别国外CP直接使用Google Cloud和Google Storage GG! 中国大陆中国大陆美国 七千万用户 第四大运营商 * 奥地利 * 捷克共和国 * 德国 * 克罗地亚 * 匈牙利 * 荷兰 * 英国 数据出处:https://www.statista.com/ T Mobile 洛杉矶 欧洲 洛杉矶 美东 南美 大陆 东南亚 T Mobile No IPv4! T Mobile T Mobile DNS 在只有Ipv6 Client 的 环境下,请使用DNS. 如果直连IPv4的服务器 将会出现不能联通的情 况. T Mobile ? 全球服游戏,SLG策略类游戏,卡牌类游戏或者TCP 延迟接受极限最最大不超过500ms ? 全球服建议服务器部署在美国,再通过加速通道覆盖 各主要区域 ? 请用DNS 我们的建议东南亚 区域性覆盖架构 亚洲地区网络互联情况 非常复杂

1、基建情况参差不齐