PDF《/O 系统》

1

0 0

0 -

9 8

2 5 /

2 0

0 1 /

1 2 (

1 1 )

1 6

5 4 -

0 6 c2

0 0 1J o u r n a l o f S o f t wa r e 软件学报============================================================Vo l .

1 2 ,No .

1 1 一个基于 N O W 的并行 I / O系统* 李冀, 陈晓林, 陆桑璐, 陈贵海, 谢立(南京大学 计算机软件新技术国家重点实验室, 江苏 南京

2 1

0 0

9 3 ) E - ma i l :l i j i @d i s l a b . n j u . e d u . c n h t t p : / / www. n j u . e d u . c n 摘要:随着 NOW( n e t wo r k so f wo r k s t a t i o n s ) 在科学研究中的应用日益广泛, 如何为 NOW 上的科学计算提供高 性能的输入、 输出成为人们所面临的一个新课题. 根据 NOW 的特点, 设计并实现了一个具有 NOW 特色的采用 C o l l e c t i v eI / O 技术的并行I/O系统CION( c o l l e c t i v eI / O o nn o w s y s t e m) . C I ON 吸取了DDIO( d i s k - d i r e c t e d I / O) 与two - p h a s eI / O 的优点, 同时采用了数据筛选等一系列优化技术. 初步的测试已经显示了良好的系统性能. 关键词:NOW( n e t wo r k so f wo r k s t a t i o n s ) ;

c o l l e c t i v eI / O;

d i s k - d i r e c t e dI / O;

t wo - p h a s eI / O;

数据筛选 中图法分类号:T P

3 1

1 文献标识码:A 计算机技术发展迅速, 特别是处理器和网络速度提高很快, 然而外设的速度相对落后. I / O设 备成为计算机系统特别是大规模并行环境下的瓶颈, 已经是公认的事实. NOW( n e t wo r k so f wo r k - s t a t i o n s ) 作为一种广泛使用的研究平台[

1 ] , 其上的科学计算对于 I / O的要求很高, 因而也就面临着 更加严重的 I / O瓶颈问题. 要实现高效的并行文件系统, 首先必须确定并行 I / O的特点. 在此我们参考了 P u r a k a y a s t h a 等人在 NC S A( n a t i o n a l c e n t e rf o rs u p e r c o mp u t i n ga p p l i c a t i o n s ) 对科学应用中并行 I / O特点的概 括[

2 ] . 其最主要的特点是, 磁盘存取操作密集,

9 0 %的磁盘数据访问量是由占请求总数不到

1 0 %的 较大的数据请求要求的, 而访问请求总数中的

9 0 %的请求是较小的数据请求. 因此, 并行文件系统 既要保证大量较小的 I / O请求的小访问延迟, 又要为较大的 I / O请求提供高带宽. 特别是后者, 如 果不能较好地解决, 对系统性能的影响就会很大. 本文第 1节介绍 NOW 的特征及其 I / O的解决方案. 第 2节是本文的重点, 详细分析我们所实 现的基于 NOW 环境的 C o l l e c t i v eI / O系统 C I ON. 第 3节介绍数据筛选等系统优化技术. 第 4节 给出 C I ON的性能测试和结果分析. 最后是相关工作和结论.

1 N O W 上的并行 I / O及解决方案 在NOW 环境下构建并行文件系统面对的主要问题及解决技术是: (

1 )文件分片方式. 将大文件进行分片并将其分布在 NOW 中的各结点上, 有助于提高文件的 并行读写效率. 不同的分片方式对存取模式的效率影响很大, 关键是选择一种与 NOW 相适应的有 效的分片方式. 这样就解决了如何为少数大的 I / O请求提供高带宽的问题. * 收稿日期:2

0 0

0 -

0 4 -

2 0 ;

修改日期:2

0 0

0 -

0 6 -

2 8 基金项目:国家

8 6 3高科技发展计划资助项目(

8 6

3 -

3 0

6 - Z T

0 2 -

0 3 -

0 1 ) 作者简介:李冀(

1 9

7 5 -) , 男, 山东济南人, 硕士, 主要研究领域为分布式计算;

陈晓林(