PPT《对存储系统发挥特殊作用的文件系统》

1000 30

113 122

5000 22

68 123

10000 16

40 122

20000 12

14 122 Copy-on-Write技术 (1) 数据卷 Snapshot卷 需要建立快照卷 Copy-on-Write技术 (2) Data Volume Snapshot Volume 必须进行数据拷贝 Copy-on-Write技术 (3) Data Volume Snapshot Volume NetApp 的Snapshot 快照技术 (1) A B C Active File System File: NETAPP.DAT Disk blocks NetApp 的Snapshot 快照技术 (2) Snapshot.0 File: NETAPP.DAT A B C Active File System File: NETAPP.DAT Disk blocks Snapshot 仅仅记录这三个数据块的指针, 没有数据拷贝 NetApp 的Snapshot 快照技术 (3) Snapshot.0 File: NETAPP.DAT C'

WAFL把修改后的数据块写到新位置 (C'

)现在数据块 (C) 既没有被更新,也没有被释放 A B C Active File System File: NETAPP.DAT Disk blocks 顾客修改数据块 C 新数据 NetApp 的Snapshot 快照技术 (4) 当前文件系统 NETAPP.DAT 现在由数据块 A, B 和C'

组成.NETAPP.DAT 的Snapshot.0由数据块 A, B 和C组成. 可以同时保留多个文件系统版本, 用于系统快速恢复 C'

Snapshot.0 File: NETAPP.DAT A B C Active File System File: NETAPP.DAT Disk blocks 不同 快照 方式的比较 把模块 C 改为 Z 其它File Systems (例如, NTFS, UFS) 存在 Snapshot 每个 write I/O 变为:Read old valueWrite old valueWrite new value300% I/O penalty 把模块 C 改为 Z Write Anywhere File Layout 一个 write I/O 保持为一个 I/O 当前文件系统 Snapshot 当前文件系统 Snapshot 当前文件系统 Snapshot C A B C D A B Z D Z A B C D 存储系统中的缓存作用 磁盘写操作涉及磁头臂的机械运动,可以用带电池的缓存来减短应用的中断时间缓存可以把单个写操作,积累成批量写操作,从而提高磁盘阵列的写效率写缓存可以放在文件系统级或卷管理级 基于文件系统的缓存 进程中断时间最短, 客户响应时间加快, 可预见 NVRAM: 保证快速写操作保证所写数据与磁盘的一致性, 缩短中断时间 基于文件系统和基于卷的缓存 UNIX NVRAM NetApp NVRAM Disk Driver NVRAM Semantic Layer Write alloc Layer File System NFS Disk Driver NVRAM Semantic Layer Write alloc Layer File System NFS FC SAN解决数据共享的传统方法 NAS gateway方法 缺点:两个管理界面效率不匹配(NAS gateway可能是瓶颈)资源不能完全共享硬件资源浪费(Cache)适用情况:绝大部分数据是结构化的,少量是非结构化的 CFS:在群集范围内的所有存储设备上的每个存储块可以被并发读写.它不适用顾客,只适用服务器. CFS通过分布锁管理器(DLM)来实现数据共享.如:ADIC的StorNext,IBM的DFS:它协调所有的服务器实现数据共享.它对顾客和服务器采用2层结构的文件系统.在顾客层,它实现跨越所有机器的统一命名空间和单个文件系统的表达方式.它的服务器层承担所有的I/O操作,从数据存储的观点看,服务器层相当于存储层,有时就简称为存储结点.在DFS结构中,每个物理服务器管理自己的存储资源,不同的物理服务器彼此并不直接共享存储资源.如:NetApp的SpinFS(现在的Data ONTAP NG ) 群集文件系统与分布式文件系统 群集文件系统CFS示例 群集服务器 客户端 FC交换机 Metadata控制器 SAN卷 每个群集服务器看到的是相同的SAN卷 用控制器统一管理群集服务器对SAN卷中文件的共享 可以支持从主机到存储的多路径合并 可以支持异构平台的互操作 DFS示例 GX

1 GX

2 GX

3 GX

4 FC通路 灵活卷 GigE 顾客网络 Linux计算网格 GXCluster GigE 群集网络(可以构架为冗余) 10/100/1000 管理网络 FC失效恢复路径 汇聚 FC 或ATA 磁盘架 InfiniBand 系统失效恢复连接 关键技术―整体命名空间(global namespace) 简单所有参加计算的节点,可以看到所有数据简化mount点的管理在顾客端无需改动透明扩展灵活卷的移动失效接管扩展性将命名空间用于PB数量级数据可管理性 整体命名空间举例 Proj_ABC Eng Syn Sim Docs SW HW Proj_XYZ GX