text: 存储系统正向着大存储容量、高传输带宽、 高可靠性和易于 管理的方向不断前进。
  在大规模海量存储系统的设计中,文件系统的元数据管理成为一个关键研究点,它对海量存储系统的性能、安全、可用性和 可扩展性等方面产生重要影响。
  在对海量存储中元数据管理的瓶颈问题进行分析和研究的基础上,构建了一种 具有层次结构的元数据服务器集群体系结构模型,进而设计一种 层次性目录哈希元 数据分布算法。
  另外,基于该体系结构和层次性元数据分布算法, 对海量存储系统 的可扩展性和负载均衡等问题进行了研究。
  论文的主要工作包括如下内容:在分析传统元数据服务器结构的基础上,从数据访问效率、管理功能灵活性出发,将元数据服务器集群划分成索引管理服务器和存储管理服务 器两个部分。
  从功能的角度看,索引管理服务器起到"元"元数据服务器的角色。
  这种体系结构潜在 地使元数据服务器集群具有更好的性能和可扩展性,不仅有利于 文件系统元数据在 集群内的高效分布和查询,而且层次清晰的模块化结构也为海量 存储系统的各种应用研究提供了一个良好的平台架构。
  在海量存储系统元数据服务器集群体系结构的基础上,提出了一种层次性目录 哈希的元数据分布算法。
  该算法是一种改进的哈希算法,它引入了目录存储单元和 索引管理服务器的概念,通过对文件系统的目录进行哈希,以目录粒度在元数据服务器集群中分布元数据,目的是提高存储系统中元数据的访问效率。
  层次性目录哈 希算法可以克服传统文件哈希类算法在扩展性和负载均衡方面的不足,实现更为灵活的元数据分布管理,并获得良好的存储系统可扩展性。
  针对海量存储系统的规模可扩展性和性能可扩展性问题,传统的基于文件哈希 的元数据分布算法往往存在一些技术缺陷,如,系统扩展会产生 大量额外的元数据 请求和引发大规模的元数据迁移,降低了存储系统的性能。
  层次 性目录哈希元数据 分布算法引入了专门的管理节点
  索引管理服务器,有助于系统元数据的灵活管理,在执行存储系统扩展性操作时可以降低操作的复杂度,减小 衍生的额外负载, 提高操作的执行效率。
  在几种典型的较易引发扩展性瓶颈的操作 中,如更改目录名、 删除目录、修改目录访问权限、增加或删除元数据服务器节点等, 层次性目录哈希 算法在系统可扩展性方面都要比文件哈希算法表现得更为出色。
  针对分布式存储系统环境下的负载均衡问题,对存储系统元数据 操作的特性和 性能影响进行了研究,给出了衡量存储节点负载分布状态的负载 均衡公式,并提出了一种层次式动态负载均衡策略来调节存储系统内各节点的负载分布,使负载更为 均衡、合理。
  该算法在系统中设置一个负载均衡管理服务器,借助在索引管理服务 器集中收集到的元数据服务器节点的负载状态信息,来制定相应 的负载调整策略, 对元数据服务器节点的负载状态进行调节,使整个元数据服务器 集群达到一个动态 的、平稳的负载均衡状态,从而提高了系统的整体性能。
  关键词:海量存储系统,元数据管理,元数据分布算法,可扩展性, 数据迁移, 负载均衡II rapiddevelopment newstorage technologies people'sincreasing demand storageapplications, network storage system eachpassing day. Storage system headedtowards largestorage capacity, high bandwidth, high reliability management.File system's metadata management becomes keyresearch site large-scalemass storage. importantimpact massstorage system performance, security, availability, someanalyses massstorage metadata management, paperconstructs metadataserver cluster architecture model hierarchicalstructure, metadatadistribution algorithm hierarchicaldirectory hash. Based hierarchicalmetadata distribution algorithm, some studies massstorage system scalability, load balancing otherissuesThe paper traditionalMDS architecture, MDScluster storagemanagement servers indexmanagement servers from dataaccess efficiency managementflexibility. From indexmanagement server plays MDScluster architecture potentially brings higher performance betterscalability. onlyconducive accessmetadata filesystem alsomakes otherresearches massstorage system applicationsA hierarchical directory hash HDH algorithm metadatadistribution proposedhere based massstorage system architecture. HDH improvedhashing algorithmAimed improvingaccess efficiency directorystorage unit DSU DSUindex management server. directoryhash networkfile system, HDH algorithm distributes metadata MDScluster directorygranularity. canovercome many disadvantages loadbalance traditionalfile hash algorithms, sametime provide flexiblemetadata distribution management bettersystem scalability III traditionalfile hash metadata distribution algorithm has some technical flaws sizescalability performancescalability massstorage system. example,expanding system generatelots additionalmetadata requests datamigrations which storagesystem. HDH algorithm employs DSU index management server DIMS improveflexibility metadatamanagement. reduceoperation complication, diminish additionalload increaseoperational efficiency. severalkinds typicaloperations which may bring scalability bottleneck, changingdirectory name, deleting directory, modifying directory access permission MDSnode, etc, HDH algorithm has muchbetter behavior systemscalability than traditional metadata distribution algorithm based filehashAfter discussing metadataoperations loadbalancing problem distributedstorage system, paperintroduces loadstatus storagenode, hierarchicaldynamic load balancing strategy HDLBS adjustload distribution among MDSclusterHDLBS sets loadbalance management server MDScluster, which adjusts load distribution MDSnodes according loadstatus collected from DIMS wholesystem continuousload balancing state. Thus improves wholeperformance storagesystem Keywords: Mass storage system, Metadata management, Metadata distribution algorithm, Scalability, Data migration, Load balancingIV 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。
  (请在以上方框内打"")随着计算机技术的发展和网络应用的普及,信息存储容量成爆炸性增长,现有 存储系统已无法满足人们的存储应用需求。
  新型的存储技术应运 而生,存储系统正向着大存储容量、高传输带宽、高可靠性、易于管理和使用便捷 的方向不断迈进。
  现阶段固态硬盘、存储虚拟化、对象存储和云存储等正成为研究 热点。
  本章对网络 存储系统的发展进行了一个大概的总结,针对网络存储系统中的元数据管理这一关键问题进行了阐述;并对海量存储系统中的元数据分布算法进行 了描述和分类,介绍了该领域国内外的一些相关研究情况。
  在本章的昀后,介绍了 本论文的课题背景 和本文的主要研究内容。
  这使得存储系统逐渐地不再直接依附于 计算机或服务器本身,而成为了相对独立的系统。
  存储系统的发展包括三个方面: 存储设备的发展、 存储接口和协议的发展以及存储系统结构的发展。
  存储设备的开发通过元器件技术 不断提高存储系统的性能、容量、可靠性等;接口和协议的开发 使得不同的存储子 系统之间可以互联互通,互相访问;系统结构则从整体出发,将多个存储设备组合成大容量、高性能、安全可靠的存储系统。
  近年来涌现出的各种 数据密集型应用要求存储系统的容量更大、性能更高,信息保存更可靠、使用更方便。
  这些应用需求 推动了存储系统持续地向前发展,不断产生新的存储技术,出现 新的发展趋势。
  1.1.1 需求推动存储技术的发展 存储界存在一个新摩尔定律(1998 年由图灵奖获得者 Jim Gray 提出):从现在 18个月,新增的存储量等于有史以来存储量之和。
  据 UC Berkley 公布的数据 显示,未来 万年中产生数据的总和,而且 93%的新生成的信息将以数字形式存在。
  在这一背景下,数字化信息爆炸性增长,各类数据密集型应用层出不穷,搜索引擎服务、多媒体、数字电视、网络数据中心、航天、 新能源、核能模拟、地球物理、气候预测等应用的广泛使用所产生的数据总量呈现 几何级数增长。
  这些都推动了人们对信息存储的巨大需求。
  早期的计算机往往只是用来计算,一个计算机系统的性能瓶颈就 CPU的处理 能力;在之后的计算机网络大发展阶段,网络通讯在整个计算机 系统中耗时昀多, 因而网络带宽成为新的技术瓶颈;到了今天,计算机的主要应用 模式已经从计算和 网络传输转变成数据的存储和访问,存储系统逐渐地不再直接依附于计算机或服务 器,而成为了相对独立的系统。
  数字信息的爆炸式增长使得存储 系统成为了现代计算机系统发展新的性能瓶颈。
  传统的以计算为中心的体系结构已经不适应信息发展 的需求,以数据为中心已成为当今和以后计算机系统发展的趋势。
  因而, 发展新型存储结构,大幅度提高存储系统性能的需求越来越迫 表1-1科学计算应用对存储系统的需求 科学研究 近期需求 五年之内的需求 五年以后的需求 当前存在几个大型的数据 模拟一年的气候数据会产生 可以进行更加详细和多 气候模拟 库,每个有 20~40TB 1TB 的数据信息。
  数据库大 拟。
  数据库小将在 1~5PB 之间的大小将会达到 10PB 每个实验要产生 0.5~ 每个实验都会产生 1PB 以上 每年产生的数据量会达 1.2PB 的数据, 每年要进 的数据, 每年要进行 5~10 Exabytes1,000 PB。
  高能物理 5~10次实验。
  所需网 次实验。
  所需网络传输速率 需要使用 1000 Gb/s.以上 络传输速率为 1Gb/s 1000Gb/s 数传率的广域网 每年产生 0.5~1TB 数据量达到100TB,网络传 数据量达到几百 TB 据量,实验使用三个节点, 输率达到每节点 200Mb/s 磁核聚变 每个节点的数传率为 33Mb/s 每个模拟会产生 10~ 每个 3D 模拟会产生 30~ 每个大规模的动态多物 化学模拟 30TB 的数据集 100TB 的数据集 理层分子模拟会产生 0.2~1PB 的数据量 生物学 TB.10~100TB Kramer关于几种科学计算应用对存储系统的需求做出的评估和预测 这些大规模数据密集型应用的需求为高端存储系统的发展指出了方向,推动着存储 系统的研究不断地向前发展。
  更大的容量永远 都是存储技术 追求的目标之一。
  在存储设备方面,现在普通硬盘的容量已经达 2009年已经有 4TB 的硬盘上市。
  而大型存储系统的容量更是达到 PB 级。
  2009 布的全球Top500 超级计算机系统中,排名第一的是美国橡树岭 国家实验室的 Cray Jaguar 计算机,其存储系统容量超过 10PB,排名第 的是来自中国的天河一号,存储容量也达到 1PB。
  (2)速度更快速度也是存储技术追求的主要目标。
  随着存储系统容量的增大, 其读写速度也必须随之提高,不然便会成为存储系统的瓶颈,阻碍大容量存储 系统的应用。
  另一方面,计算机系统计算能力的快速提高也要求存储系统能够提供 更高的带宽,以便获取更多的数据进行运行。
  当前硬盘性能的提高主要通过提高 接口速度和驱动器 cache 大小来实现。
  如 SATA 2.0 接口的昀大带宽为 300MB/s,Ultra 320 SCSI 接口的昀大带宽为 320MB/s,4Gb FC 接口的昀大带宽为 400MB/s,SAS 2.0 接口的昀大带宽更是达到了 600MB/s 的程度。
  此外,新型存储技术的发展,如 垂直记录技术、固态硬盘技术等,更将为存储系统的性能带来质的飞跃。
  这些数据 的安全性至关重要,一旦丢失,将会带来无法估量的损失。
  因此,大规模存储系统 必须具有较高的可靠性。
  冗余、日志、数据备份、容灾等技术可以实现这方面的目标。
  (4)使用更加便利 随着存储系统容量的增大和系统中数据的增加,存储系统的使用 和管理问题日益突出。
  要把几十个存储节点,几百个磁盘中的 PB 级的数据统一管理起来,方便客户使用,这本身就是一个挑战。
  这些新兴的存储技术对未来的信息存储必将产生及其重要的影 1)存储虚拟化存储虚拟化就是将底层存储设备进行抽象化,向服务器层屏蔽存储设备硬件的特殊性,而只保留其统一的逻辑特性,虚拟存储部分就像计算机 系统中的操作系统, 对下层管理着各种特殊而具体的设备,而对上层则提供相对统一 的运行环境和资源 使用方式,从而实现了存储系统集中、统一而又方便的管理 据实现方式的不同我们大致可以将存储虚拟化分为基于服务器的虚拟化、基于存储设备的虚拟化和 基于网络的虚拟化。
  首先,通过实现存储虚拟化,可以统一 管理所有的存储设备,简化存储管理,减小管理成本,提高管理效率。
  其次, 可以有效提高存储空间利用率。
  再次,可以减少系统停机时间,实现在线迁移 和远程备份。
  另外,还便于实现存储数据的信息生命周期管理(Information Lifecycle Management, ILM)。
  虚拟存储目前还存在一些问题,如风险集中、影响性能等。
  但是 它可以为我们 建立起一个整合、统一、标准、共享的数据资源存储平台,能够 有效管理庞大、繁多、复杂的数据及相关的设备,提高资源利用率,并建立起全面的数据安全保障体系。
  因而虚拟存储仍在整合资源、远程备份和在线迁移等许多方面具有广阔的应用 前景。
  2)固态硬盘 在过去的 20 年间,CPU、内存速度增长了 500 多倍,而硬盘速度 仅仅增长 20 余倍。
  这使得存储子系统成为整个系统的性能瓶颈。
  固态硬盘Solid State Disk,SSD 刚好可以避开磁盘的这种不足。
  SSD 是摒弃传统磁介质,采用闪存芯片等电子存储介质进行数据存储和读取的一种技术 。
  它在 访问数据时不需要寻道,不需要旋转,这就省掉了传统磁盘访问 中占据绝大部分比例的寻道时间和旋转延迟时间,因而拥有极高的存储性能。
  由于 内部没有机械部件, SSD 还具有功耗低、散热小、安静无噪、稳定性好、抗震性强等优势。
  平均故障间隔时间可达到 200 万个小时,数据传输速度比传统硬盘快 20-40 固态存储技术一般可以分为二种,一种是基于Flash Memory SSD,采用NAND 闪存作为存储介质,称之为闪存盘。
  例如 盘,数码相机存储卡等。
  这种 SSD 点就是便携、小巧、可移动、抗冲击和防震,数据具有非易失性,不需电源保护, 可用于传统硬盘无法使用的恶劣环境。
  第二种是基于 RAM SSD,采用DDR RAM SDRAM作为存储介质,仿效传统磁盘驱动器的设计,可被常见 文件系统识别和管理,并提供工业标准的 PCI FC接口用于连接主机/服务器 或存储网络,具有高 可靠性和耐用性,可以用于企业级的存储系统。
  不过美中不足的是由于 RAM Memory 是易失性存储介质,因而始终需要电源供给来保持数据安全。
  近两年,包括 IBM、EMC、HDS、Sun 等在内的众多厂商已将 SSD 引入到服务 器和企业级存储阵列的产品中,同时不少企业也已经开始尝试使 SSD来提升企业的数据处理能力。
  例如,百度在经过两年的研发和测试之后,已于 2008 年用自行定制的海量闪存卡替换了 HDD 硬盘,在网页搜索服务的服务器上 实现了 100%的闪存 化。
  据称这将使得百度的单台存储设备的内部读写性能提升 100 倍,响应速度提升 倍,而能耗却要大大低于普通的硬盘存储。
  SSD 固态移动硬盘也有一定的局限,比如价格、可擦写次数和可靠性等。
  所以 SSD 移动硬盘目前更适合于科研、工程、地质、医疗、导航、军工等高端应用。
  然而随着制造技术和工艺的发展,一旦跨越了价格这道屏障,SSD 成为主流存储将只是时间问题了。
  5 3)对象存储技术 对象存储是一种新型的存储系统体系结构 ,它综合了 NAS SAN的优点, 同时具有 SAN 的高速直接访问和可扩展性以及 NAS 的数据共享等优势,提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结 NASD(Network-AttachedSecure Disks),在现阶段国际网络存储工业协会 SNIA 专门针对对象存储成立了 OSD 技术 工作组(OSD-TWG)。
  该工作组在 NASD 项目的基础上对 SCSI 令集进行扩展, 称之为 OSD-2 命令集,并向 T10 委员会提交了一份草案 。
  目前, 国外已经投入商业使用的基于对象存储的文件系统有 Panasas 公司的 PanFS ClusterFile Systems 公司的 Lustre 对象存储有以下特点:(1)以存储对象为 数据单位与传统面向块的逻辑单元不同,对象存储不提供对不相关的数据 块的访问,它 允许通过存储对象来访问相关的数据块。
  存储对象是一个虚拟实体,它是一个客户 认为相关的一组数据,类似于平面文件系统中的大小不限的比特 流文件,但对象又不同于文件,它只是有属性的比特序列。
  尽管对象既不同于数据 块,也不同于文件, 但可通过对象语义的定义来实现文件或数据块的 I/O,因此,通过对象实现了文件 的统一。
  (2)存储管理分为元数据服务器和对象存储设备两个部分 元数据服务器(Metadata Server,MDS)将所有存储目标端的存储 空间虚拟为统一的存储空间,同时负责用户的命名空间的管理,在认证用户请求后,分配给其唯一的对象 ID,并按一定的算法实现用户命名空间到存储空间的映射。
  对象存储设备 (Object-based Storage Device, OSD)负责与其相连的存储设备 的管理,它没有对象 命名空间,只有平面对象 ID 空间,OSD 根据对象 ID 在存储设备 中分配存储空间或 访问存储对象。
  OSD 的使用一方面简化了存储系统的操作系统设计,减轻了服务器 负担;另一方面可以在 OSD 中完成更加复杂的存储管理功能,而不会引起系统复杂 性的急剧上升。
  6 (3)可以保证数据的安全对象存储通过信用保证所有操作的安全,信用包括允许客户的操作集和完整性 编码。
  对每个操作提供简单的信用,即使信用不加密,也能提供保护(由于完整性 编码),因为不可能偶然为一个操作提供一个可靠信用。
  为了提供 安全,对信用的某些形式的加密保护是必要的。
  对象存储提供安全和保护是在对象 级而不是整个卷级, 因此可以允许不可信的客户位于存储网络中。
  4)云存储 云存储Cloud Storage 是近年来兴起的一种新的存储架构。
  它是 和云计算Cloud Computing 的概念联系在一起的。
  所谓云计算,其实就是分布式 处理、并行处理和网格计算的发展。
  "云"就是计算集群,每一群包括了几十万台、 甚至上百万台计算机。
  云计算的基本原理是把计算分布在大量的分布式计算机上,而非 本地计算机或远程 服务器中 ,用户根据需求访问计算和存储系统。
  而云存储是云计算的一部分。
  这种云的架构把存储或者计算当成一种资源或者一种服务,通过 互联网把这种资源 或服务分布在很多分布式计算机节点上 。
  届时,我们只需要一台 能上网的终端, 而不需关心存储或计算发生在哪朵"云"上。
  一旦有需要,我们 可以在任何地点用 任何设备,如电脑、手机 PDA 等,快速地使用这些资源和服务。
  Google 做了一个形象的比喻,他们把这种云的架构比作银行和发电厂,在这种体系 架构下,普通用户 使用计算和存储资源就像我们从 ATM 取款机取钱和在家用电一样方便。
  首先,云存储提供了昀 可靠、昀安全的数据存储中心, 用户不用再担心数据丢失、病毒入侵等麻烦,这些任务由后天的 "云"的供应商来 负责完成。
  其次,云存储对用户端的要求很低,只要使用一台上网 电脑,就可以在 浏览器中直接访问、修改或共享存储在"云"的另一端的数据。
  再次,云存储可以 轻松实现不同设备间的数据与应用共享。
  不同用户可以可以同时 访问和使用远在 "云"的另一端的同一份数据。
  昀后,云存储 为数据的存储和管理提供了几乎无限 多的空间,也为我们完成各类应用提供了几乎无限强大的计算能 昀早推出云计算服务的是亚马逊。
  早在2006 年,它就推出了弹性计算云Elastic Compute Cloud,EC2 服务,让中小型企业能够按照自己的需要购买亚马逊数据中心 2007年推出了以标准集装箱构建的可灵活 移动又经济环保的模块虚拟化的移动数据中心
  Sun Blackbox,来搭建存储的云层。
  此外,Google 索服务和Google Doc、微软的 Windows Live,IBM 的蓝云Blue Cloud 计划等,都是基于云架构的云计算和云存储的应用实例。
  虽然云存储在网络带宽及延迟、安全性等方面还存在一些问题 但是其特有的架构能非常方便地为用户提供所需的计算和存储资源,让其 无需为繁琐的细节 而烦恼,更加专注于自己的业务。
  随着高速互联网连接、廉价的存储设备、网络数据中心的发展,以及广大厂商的积极参与,云存储必将在不远的将来展示出其强大的生命力,并从多个方面改变我们的工作、学习和生活。
  上述各种存储技术,有些是存储设备层面的,有些是存储架构层面的,也有存储管理层面的。
  基于人们对存储需求的不断增长和变化而不断涌现的这些技术,从 各个方面优化了存储系统,扩展容量、提升性能、增加可靠性与 可扩展性,从而推动存储技术不断向前发展。
  在 的发展史上,数字技术已经先后经历过两次发展浪潮。
  第一次是处理器发展的浪潮,它以处理器的发展为核心动力,产生了计算机工业,从而推动了计算机的迅速普及和应用;第二次是网络发展的浪潮,它以网络的发展为核心动力,产生了互联网。
  不管身居何处,人们都可以通过互联网方便地相互交流和获取信息。
  这两次 浪潮推动了人们对 信息量的需求,加速了信息数字化的进程,并昀终促使 数字化信息爆炸性地增长, 从而引发了今天的第三次数字技术浪潮
  在这次 浪潮中,数据存储技术终于从幕后走上了前台,从计算机系统的配角转变成为数字化舞台的主角之一方面,数据的价值变得越来越重要。
  随着计算机和网络的普及,人们现在变得越来越依赖电子数据信息。
  个人身份信息、公司财务数据、技术资料、档案文献、 工作计划和日程安排等重要数据常常会被保存在计算机的存储系统中。
  对于很多公司甚至个人而言,保存在存储系统中的数据往往要比计算机设备 本身还要重要得多, 尤其对医疗、保险、电信、金融和国防等重要部门来说更是如此。
  另一方面,数据 量仍在不断地增长。
  人们在日常工作和生活中仍不断地产生各种 数字化信息,很多数据密集型应用对存储容量的需求也是永无止境的,每时每刻都有更新的、更多的数据在不断地产生出来。
  要把这么众多而且宝贵的数据信息存储 起来,就需要存储 系统具有大容量、高性能(I/O 率和数传率)、高可靠性、可扩展 性等特点。
  传统的存储方式已经无法实现这一目标了,为了满足这些需求,海量存储系统便应运而生。
  海量存储系统主要通过网络存储技术来实现。
  通过高速网络把各种存储设备和 存储节点连接起来,对外提供更大、更快、更安全和更可靠的存储服务。
  所谓网络 存储就是通过各种类型的网络存储设备,包括了硬盘、磁盘阵列 或磁带库等存储介质、专用的数据交换设备、以及专业的存储软件,利用一个高速 的存储专用网络为用户提供统一的信息存取和数据共享服务。
  网络存储具有数据容量大、数据传输率高、用户权限控制、数据可靠性高、数据备份与安全性好、良好的可扩展性、数据 统一管理和操作简单等特点。
  常见的网络存储技术有 NAS、SAN、 iSCSI 和对象存 1.2.2文件系统中的数据与元数据 存储系统的规模正不断增大, Petabyte 级别甚至更大规模的海量存储系统不断出现。
  这样的系统,不仅存储空间巨大,还往往拥有 1000 数量级的客户节点,10G/s 级别以上的数据传输速度,文件的数目也很多,可以达到千万甚至上亿个。
  文件系统存储在磁盘中的内容分为两个部分:数据和元数据。
  前者是指文件的内容,后者是指描述该文件的一些属性信息。
  他可以描述信息资源或数据本身的特征和属性,具有定位、发现、 证明、评估、选择等功能。
  文件系统中的元数据主要包括文件或者目录的名字空间,访问权限,所有者,文件的大小,文件数据块的分布等属性信息。
  在传统的文件系统中,元数据和数据本身由同一个文件系统进行 管理,它们被 存储在同一个存储设备上面,并且在物理分布上也采取就近原则,以便提高访问效率。
  用户存取一个文件,首先必须得到它的元数据,然后才能根据 元数据中的信息 得到文件的相关属性或者文件内容。
  这两个步骤是串行的,而且 使用同一个数据传输通道。
  然而,一台文件服务器的处理能力和数据传输能力是有限的,在文件系统 规模较大或者文件访问密度很高的情况下,这种传统的文件访问 模式很容易造成数据传输通道的拥堵,形成 瓶颈,使得文件系统的整体性能大幅下降,也无法满足 高聚合 带宽的需求。
  一些早期的分布式文件系统也采用了这种单一数据通道的处理模式,如 NFS、Sprite 现在的网络存储系统中,为了避免元数据访问成为文件系统访问的瓶颈,提高 数据访问效率,大多采用了将文件的数据与其元数据分开存储的组织方式进行管理。
  MDS 负责管理网络存储文件系统的元数据,它包括文件的名字空间、访问权限、数据块的分布信息,用户的身法验证等。
  由于文件的数据和 元数据分开存储,实现了文件数据传输通道和元数据传输通道的分离。
  在大规模的网络存储系统中实现数据通道与元数据通道的分离 是很有必要的。
  根据研究统计, 超过 50%的文件系统存取访问中都是和元数据相关的 。
  把这部分访问量从文件服务器分离出去可以 显著降低原有文件服务器的访问负载。
  元数据是用来描述文件的属性等相关信息,长度很小, 通常以 Byte KB的数量级来计量。
  而文件的长度因文件类型和内容各异,变化很大,几个字节到几 GB大小的文件都有。
  另外,元数据是有数据结构的,这种数据 结构较为固定且 是已知的,而文件的数据就不一定有数据结构了。
  可以看出,元数据的数据特性是 尺寸小,结构固定;文件的数据长度变化很大,大小和结构都具有很大的随机性。
  这种数据特性的差别也会对他们的处理方式产生不同的影响,需要使用不同的模式 10 和算法。
  这样的分离模式具有很多优势。
  (1)文件访问由单通道串行 操作分解为元数据 和数据的双通道并行操作,原来的一个任务被分解成两个子任务 交给两个不同的服务器来执行,降低了单个服务器的负载,提高了存储系统 问的并行性,缩短了文件的平均访问时间。
  (2)根据元数据和数据不同的数据特征和 访问特性,可以有 针对性地使用不同的本地存储策略和不同的数据访问算法进行 优化,进一步提高文件访问性能。
  (3)通过元数据与文件数据的分离,可以使得元数据 服务器和文件数据服务器都可以根据各自的需求进行灵活地扩展,增强了存储系统的可扩展能力。
  元数据分离出来后,就存储在专门的 MDS 上。