PDF《http://dblab.xmu.edu.cn/cloud_》

本翻译论文源于厦门大学计算机系数据库实验室林子雨老师的云数据库技术资料专区 http://dblab.

xmu.edu.cn/cloud_database_view 第1页/共

23 页 翻译:厦门大学计算机系教师 林子雨 http://www.cs.xmu.edu.cn/linziyu Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Michael Burrows, Tushar Chandra, Andrew Fikes, Robert Gruber {fay,jeff,sanjay,wilsonh,kerr,m3b,tushar,fikes,gruber}@google.com Google, Inc. 本文翻译:厦门大学计算机系 林子雨(http://www.cs.xmu.edu.cn/linziyu) 翻译时间:2010 年7月本文英文论文引用方式: [ChangDGHWBCFG06]Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Michael Burrows, Tushar Chandra, Andrew Fikes, Robert Gruber: Bigtable: A Distributed Storage System for Structured Data (Awarded Best Paper!). OSDI 2006:205-218. 本文英文原始目录: Abstract

1 Introduction

2 Data Model Rows Column Families Timestamps

3 API

4 Building Blocks

5 Implementation 5.1 Tablet Location 5.2 Tablet Assignment 5.3 Tablet Serving 本翻译论文源于厦门大学计算机系数据库实验室林子雨老师的云数据库技术资料专区 http://dblab.xmu.edu.cn/cloud_database_view 第2页/共

23 页 翻译:厦门大学计算机系教师 林子雨 http://www.cs.xmu.edu.cn/linziyu 5.4 Compactions

6 Refinements Locatity groups compression Caching for read performance Bloom filters Commit-log implementation Speeding up tablet recovery Exploiting immutability

7 Performance Evaluation Single-tablet-server performance Scaling

8 Real applications 8.1 Google Analytics 8.2 Google Earth 8.3 Personalized Search

9 Lessons

10 Related Work

11 Conclusions Acknowledgements References [本文翻译的原始出处:厦门大学计算机系数据库实验室网站林子雨老师的云数据库技术资 料专区 http://dblab.xmu.edu.cn/cloud_database_view] 林子雨老师翻译内容如下: 本翻译论文源于厦门大学计算机系数据库实验室林子雨老师的云数据库技术资料专区 http://dblab.xmu.edu.cn/cloud_database_view 第3页/共

23 页 翻译:厦门大学计算机系教师 林子雨 http://www.cs.xmu.edu.cn/linziyu Abstract BigTable 是一个分布式存储系统,它可以支持扩展到很大尺寸的数据:PB 级别的数据, 包含几千个商业服务器.Google 的许多项目都存储在 BigTable 中,包括 WEB 索引、Google Earth 和Google Finance. 这些应用对 BigTable 提出了截然不同的需求, 无论是从数据量 (从URL 到网页到卫星图像)而言,还是从延迟需求(从后端批量处理到实时数据服务)而言. 尽管这些不同的需求,BigTable 已经为所有的 Google 产品提供了一个灵活的、高性能的解 决方案.本文中,我们描述了 BigTable 提供的简单数据模型,它允许客户端对数据部署和 格式进行动态控制,我们描述了 BigTable 的设计和实施.

1 Introduction 在过去的两年半时间里,我们已经设计、实施和部署了一个分布式存储系统 BigTable, 来管理 Google 当中的结构化数据.BigTable 被设计成可以扩展到 PB 的数据和上千个机器. BigTable 已经达到了几个目标:广泛应用性、可扩展性、高性能和高可用性.Google 的六 十多款产品和项目都存储在 BigTable 中,包括 Google Analytics 和Google Finance,Orkut, Personalized Search,Writely 和Google Earth.这些产品使用 BigTable 来处理不同类型的工 作负载, 包括面向吞吐量的批处理作业以及对延迟敏感的终端用户数据服务. 这些产品所使 用的 BigTable 的簇, 涵盖了多种配置, 从几个到几千个服务器, 并且存储了几百 TB 的数据. 在许多方面,BigTable 都和数据库很相似,它具有和数据库相同的实施策略.并行数据 库[14]和内存数据库[13]已经取得了可扩展性和高性能,但是 BigTable 提供了和这些系统不 一样的接口.BigTable 不能支持完整的关系型数据模型,相反,它为客户提供了一个简单数 据模型, 该数据模型可以支持针对数据部署和格式的动态控制, 并且可以允许用户去推理底 层存储所展现的数据的位置属性.BigTable 使用行和列名称对数据进行索引,这些名称可以 是任意字符串.BigTable 把数据视为未经解释的字符串,虽然,客户可能经常把不同格式的 结构化数据和非结构化数据都序列化成字符串.最后,BigTable 模式参数允许用户动态地控 制,是从磁盘获得数据还是从内存获得数据. 本文第