PDF《AmazingStore 离线下载系统中的资源存储 策略》

1 资源存储策略与评测 1.1 系统介绍

50 1.1.1 P2P 网络与 AmazingStore P2P(Peer to Peer)网络又称对等网络,是一种分布式网络.网络中,节点以对等方式 相连,每个节点既是资源的提供者,又是资源的接受者.这种非中心化的特点为 P2P 网络 带来了高度的可扩展性和健壮性. AmazingStore[3] 是一个基于 P2P 与云技术的分布式系统,用于资源共享与存储.由北京

55 大学网络实验室开发,主要使用在教育网环境,用户大多为高校学生与老师.共享的资源大 多为学习资源、视频音乐文件、游戏程序与常用软件.平均

15 天内活跃用户数

3 千人,日 下载次数

5 千次,日下载文件总量 1TB. 1.1.2 AmazingStore 离线下载系统 使用离线下载系统, 用户仅仅需要将任务提交给云服务器, 由服务器替用户完成下载任

60 务,无需在线等待.任务提交过程可以在较差的网络环境下完成,例如断断续续的无线 wifi 或者低速的临时网络,为用户提供了方便.下载完成后,用户再从服务器将文件取回.取回 过程的文件传输速度仅仅取决于用户的本地带宽. 高效经济的下载方式同时节约了用户的时 间与资源. 本文中提及的离线下载系统基于已有的 P2P 网络:AmazingStore,由Web 服务器,下65 载服务器(Task Worker)以及存储区(Storage)组成. 图1离线下载系统结构图 1.2 策略目标 离线下载系统对任务资源进行存储, 目的在于提高资源的复用率. 较高的资源复用率

70 http://www.paper.edu.cn -

3 - 中国科技论文在线 有两大优点: ? 节约用户下载时间,增加用户满意程度. ? 节约系统资源.通过省去重复下载,节约了系统的带宽与负载. 与以上两个优点相对应,我们提出两个衡量存储策略优劣的目标:命中率与加权命 中率.我们定义命中率为用户提交的所有任务中,被命中次数所占的百分比:

75 系统维持较高的命中率, 对用户而言则有较大的概率无需等待系统执行下载任务, 从 而节约用户时间,提升用户的满意程度,达到离线下载系统设计的初衷.简要的说,命中 率是依据命中的次数来计算的. 针对命中率忽略了文件大小的缺陷, 考虑为每次命中按文件大小增加权重, 我们定义

80 加权命中率: 或者将上式整理为: 对于没有命中的任务文件, 系统需要将其作为新文件存储. 因此, 我们定义新文件率:

85 后文的分析中, 通过对每日新文件大小、 新文件率的计算, 间接计算出了加权命中率. 加权命中率客观的反应了系统的负载和带宽因为对任务文件进行存储而得到节约的 程度,也真实的反应了用户下载等待时间的节约程度.简要的说,加权命中率是依据命 中的流量来计算的.

90 1.3 测试数据介绍 为了评测存储策略, 本文使用相同数据对不同策略进行模拟实验, 再将结果进行对比. 数据取自 AmazingStore 的用户下载日志:从2010 年1月23 日至

2011 年2月20 日,共394 天. 数据包含

209 万次下载任务, 其中

12 万个不同文件, 平均每日

5343 次下载任务. 任务总大小 406.8TB,去掉重复文件后总文件大小 30.3TB,平均每日 1.04TB 任务.394

95 天中,平均单个任务大小 204MB. 其中,低于平均大小 204MB 的文件个数占总文件个数 76.8%,低于平均大小的任务 个数占总任务个数 73.5%.测试数据中小文件远多于大文件. 文件平均访问次数 16.89 次.其中,访问次数大于等于