PDF《AmazingStore 离线下载系统中的资源存储 策略》

http://www.

paper.edu.cn -

1 - 中国科技论文在线 AmazingStore 离线下载系统中的资源存储 策略 曹越,李振华,代亚非** 作者简介:曹越(1986-),男,北京大学硕士,主要研究方向:分布式系统 通信联系人:代亚非(1958-),女,教授,主要研究方向:网络信息与分布式系统. E-mail: [email protected] (北京大学网络与信息系统研究所,北京 100871)

5 摘要: 离线下载系统是基于云技术的分布式系统,用于提供代理下载服务.系统中,完成的 任务资源被保存在存储区,便于其他用户提交相同任务时进行资源复用.离线下载系统的 这一特性提高了资源的可用性,节约了用户的时间.随着离线下载系统的普及,用户不断 增多,需要存储的资源飞速增长,对系统的存储空间提出挑战.如何在有限的存储空间

10 中,淘汰老旧资源,存储更有价值的资源,成为本文探讨的存储策略问题.本文就 AmazingStore 离线下载系统提出多种存储策略,并使用基于真实用户下载日志整理而成的 测试数据进行性能评测.通过评测,分析了各种存储策略的优劣,找到了理想的策略. 关键词:存储策略;

离线下载;

云计算;

分布式系统;

P2P 中图分类号:TP393

15 Resource Storage Strategy on AmazingStore Off-line Download System CAO Yue, LI Zhenhua, DAI Yafei (Institute of Network Computing and Information Systems, Peking University, Beijing 100871)

20 Abstract: Off-line Download System is a distributed system based on Cloud Technology, providing downloading service for clients. User submits tasks to system and waits for dragging files back until tasks are accomplished by the system. Files required by clients are stored in storage pool after downloading in order to be reused when required again by other clients, thus saves users'

downloading time as well as energy. However, the capacity of storage pool is limited

25 and cannot meet the aggressive increase of task volume required by clients. A sophisticated storage strategy is called for to help the system stores the most valuable files.In this paper, after brief introduction, several strategies are evaluated by data set obtained from user download log, and the most ideal strategy is found after deep analysis on the performance evaluation. Key words: Storage Strategy;

Off-line download;

Cloud Computing;

Distributed System;

P2P

30 0 引言 随着网络的普及,对个人用户而言,计算机服务已经渐渐转变为网络服务.仅仅需要一 台性能适中、 存储空间不大的普通电脑, 甚至是笔记本电脑, 用户便能借助网络体验高性能、 拥有大规模存储空间的服务器所提供的服务.

35 另一方面, 伴随着计算机硬件技术的发展, 服务器成本降低而单台服务器性能提升有限, 越来越多的网络公司开始采用基于大规模计算机集群的云技术. 云技术将用户计算机的任务 集中在云服务器中批量完成, 为用户提供服务的同时, 也因为其自身的规模效应提高了整体 效率,减少了资源与能源的浪费.

2009 年,迅雷、腾讯公司先后开始提供基于云技术的离线下载服务[1] [2] ,又称云下载.

40 离线下载使用系统服务器为用户提供了一种较以往更加便捷、高效、经济的下载方式,得到 用户的喜爱.随着离线下载的普及,用户数目日益增多,下载数据高速增长,对离线下载系 http://www.paper.edu.cn -

2 - 中国科技论文在线 统提出了挑战. 离线下载技术的特点在于通过存储已下载完成的资源提高资源的可用性, 减少用户的下 载等待时间.然而新资源不断推出,存储空间有限,系统必须进行选择性的存储与淘汰.在45 有限的存储空间下,找到一种尽可能多的提高资源复用次数的方法,成为我们的研究动机. 本文以资源的命中率、加权命中率为目标,提出各种资源存储策略,模拟评测后进行深 入分析,得到详细的结论.