基于网络存储系统中虚拟存储分级存储技术的研究论文

SCI论文（www.lunwensci.com）

　　摘 要 ：随着存储数字化、网络化地进行,各类多媒体存储服务的日益增多,存储系统中已形成了基础平台,而各类业务 对平台的需求也愈来愈大。在存储容量上,虚拟存储技术、分级存储技术都是解决网络存储系统的有效方法,文章从虚拟存储 技术和分级存储技术的特点、方式、存储模式等方面进行了深入的分析。

　　关键词：网络存储系统,虚拟存储,分级存储,存储模式,近线存储


　　【Abstract】： With the continuous increase of various multimedia processing services around digitization and networking, the storage system has become a core platform. At the same time, various applications have higher and higher requirements for the platform. In terms of storage capacity, virtual storage technology and hierarchical storage technology are effective methods to solve the network storage system the storage mode is deeply analyzed.

　　【Key words】： network storage system;virtual storage;hierarchical storage;storage mode;near line storage

　　随着数字校园的不断深入,某校在网络上架设的各 类教育应用服务器愈来愈多,包括了教务系统、人事管 理系统、财政管理系统、国有资产系统等,这些系统的 使用给学校的办公、科研、交流以及管理等带来了极大 的便利。但是,随着时间的推移 IT 管理人员发现越来 越多急需解决的问题。


　　首先,原有信息系统的资料存储能力越来越适应不 了快速增长的数据储存要求。

　　其次, 由于这种不同的操作系统分别在不同的主机平 台上,并且分别使用自己的内存,造成了各个异构平台的 应用系统共存的局面,从而构成了一大个信息孤岛, 信息 系统的各种数据资源共享与安全保障也难以实现。

　　再次,由于一些早先的存储设备 ( 多数是磁盘 ) 和 服务器的其他硬件设备直接放置在同一机箱之中,如果 它们被所在服务器独占使用,检查这些硬盘的情况就必 须在不同的服务器上去同时进行,更新或添加硬盘内容 时也必须拆开主机,这就必然的要中断服务器上所进行的检查业务。

　　最后,该校的 IT 管理人员迫切希望通过一次校园 网的改扩建工程能够建成一个易扩展、易管理、高可靠 的数据存储系统,以解决当前遇到的这些问题,并满足 今后长远的需求。

　　网络存储器的主要特征就是存储器为中央,数据存 储器从传统的计算机操作系统中分离出来,而储存装置 则经过网络,形成了一个相对单独的存储器体系。而虚 拟存储技术和分级存储技术,都是为解决复杂网络存储 系统问题的最有效技术手段和方法。

　　1 虚拟存储技术

　　1.1 虚拟存储概述

　　随着围绕数字化、互联网而进行的各类多媒体应用 服务的日益增多,存储系统平台已然形成了一种重要平 台,各类应用对平台的需求也愈来愈大,不仅是在存储 容量方面,而且涉及数据访问能力、传输性能、数据处 理能力、数据库扩充性能等几个方面。所以,储存平台的综合性能的优劣,将直接制约着整个网络系统的顺利 工作。为了满足上述需求,一项新型的技术手段也日益 引起大家的重视,这就是虚拟存储技术 [1]。

　　所谓的虚拟存储 (Storage Virtualization), 即将 多种内存介质系统通过特定的手段集成一起,以建立统 一集中管理的内存池。这种能够把多种、多个存储器统 一管理出来,给用户带来大容量、高速数据性能的存储 系统,就叫做虚拟存储 ( 如图 1 所示 )。

　　虚拟储存的本质思想,是把真实的物理数据储存具 体和储存的逻辑表示隔离起来,通过虚拟化存储管理技 术,使用系统可以只和分派给它的逻辑卷 ( 或称虚卷 ) 交 流,而不必关注其信息是在何种物理数据储存具体上。

　　在有多个存储器的操作系统中,对数据的管理问题 通常很繁琐,使用虚拟存储将有助于改善数据处理的复 杂度 [2]。虚拟存储技术可以把计算机的应用服务系统和 存储器功能割裂开来,从而使得所有不同的数据看上去 都拥有标准的存储器特性,而应用服务系统也不需再关 心数据存储器的具体设备,从而降低了应用服务系统的 负担。

　　虚拟存储器也能够转换设备的实际使用方法。所说 “虚拟化”是能够类比的,但并非完全现实的,其目的 除便于上层数据库容易系统地利用存储器以外,还为了 扩大现存装置与技术的使用范围和应用领域。比如,磁 带设备在传统的系统中仅仅被作为顺序读 / 写入装置使 用,而无法产生如同硬盘的文件系统结构,而虚拟存储 技术则使磁带变为了能够随意读 / 写入的装置,从而彻 底改变了传统装置的利用方法。

　　通过虚拟存储系统还能够增强存储的可靠性。通过 虚拟存储系统,能够将在各个时期购买的各种容量的 硬盘,或者是在各种机械设备上的硬盘,都统一出来 应用,而服务器也就像用于同一个机械设备上那样应用 它。利用虚拟存储技术,人们可以在机械设备的应用形 态上作一些手脚,比如,明明是磁带,却被当成了磁 盘利用 ;明明是硬盘,却被当成了磁带利用 ;明明是 TCP/IP 的链接,却虚拟变成了 SCSI 链接等 [3]。

　　虚拟存储技术是为了克服复杂繁琐存储管理而出现 的,但由于虚拟存储技术的迅速发展,虚拟存储技术在 许多领域都显示出了卓越的表现。现在,虚拟存储技术 的发展方面已拓展得相当深入。一些部分是为了改善存 储系统特性,也有些是为了增加系统容量,还有些则是 为了改善设备应用等方面,甚至是为了存储安全性问题 而发展起来的。

　　1.2 虚拟存储的特点

　　虚拟存储技术在最近数年的时间里已经获得了辉煌 的成绩,通过磁带虚拟化、磁盘资源管理、跨卷多级处 理等技术手段,已经产生了一批比较完善的软件产品和 解决方案,进一步完善和充实了今天的存储体系。由于 企业、用户以及技术标准组织对这一关键技术领域的重 视,虚拟存储技术的最新研究成果不断涌现。总体上来 看,虚拟存储具有以下主要的特点。

　　(1)对虚拟存储系统提出了一种大容量存储系统 管理的新手段,将整个网络系统中的某个环节 ( 如服务 器 ) 加以统一集中管理,从而减少了因为存储增加而造 成的网络管理方面的困难问题 [4]。

　　(2)虚拟存储技术也给存储器管理带来了更好的灵 活性,能够把各种种类的存储器集中使用,从而保障了 用户对以往购置的存储器的投资。

　　(3)虚拟存储技术也能够适用于企业信息管理软件 系统中,为系统带来了一系列其他实用功能,如无需服 务器设备的远端镜像、数据信息快照 (Snapshot) 等。

　　(4)虚拟存储对视频网络最有意义的优点是能够增 加其存储系统整体的宽度。存储机制一般由几个存储模 块所构成,而虚拟存储系统则能较好地达到负载平衡, 将每一个用户访问操作系统所要求的宽带合理地分摊在 几个存储模块上,这样一来整个操作系统的总使用带宽 能力也就大大提高了。

　　比如,如果一个内存机制中有 2 个存储模块,每一 存储模块的总访问传输速度都是 60MB/s,那么这个内 存机制的总访问带宽将能够接近于各存储模块的传输速 度之和,即 120MB/s。

　　1.3 虚拟存储的实现方式

　　虚拟化存储器要处理的主要问题是逻辑卷和物理存 储器实体相互之间的相互映射关联,这个相互映射关联 既能够在电脑服务器层面处理,也能够在存储器层面处 理,还能够在内存网络层处理。

　　(1)由架设在应用服务器上的卷软件实现存储的业 务保护,叫做主机级虚拟化。基于服务器端的虚拟存 储,基本上也是采用纯程序的方法完成的。这种实现方 式不要求引进最新的设备,也不改变目前存储系统的基 本结构,且实现成本较低廉。不过它难以克服的问题是 系统的依赖性太重,开发人员必须对每一个系统平台或 一个版本编写一个程序,工作量可想而知。另外,由于 存储管理由服务器处理,就加重了服务器的负荷。

　　(2)由储存产品的控制器进行内存虚拟化的方式, 称之为存储设备级的虚拟化。采用存储器的虚拟化方法 尽管有效率、稳定性强,但在实际中各个企业通常只能 实现对企业产品的支持,无法处理异构存储器环境中的 虚拟化现象 [5]。

　　(3) 由已加入存储网络 SAN 中的设备进行存储器 模块化,称之为网络级的虚拟化。这个方式能够集中管 理内存网络系统中各个厂商的设备,完成整个内存的整 体集中管理,这是一个较好的内存虚拟化方式,这样开 放性的优点是该类产品能够增长的巨大动力所在。


　　(4)由于服务器级和数据库级别的虚拟机化都是相 对较低的早期虚拟化,因此不要把几个异构的内存融合 为一块内存池,而在其上设置逻辑虚卷,以实现利用内 存容量、集中内存、减少储存成本的目的。

　　2 分级存储技术

　　2.1 分级存储概述

　　所谓分级存储,即按照数据类型不同的重要性、存 取频率等指标把数据分别存放到不同性能的存储器上。 这一方面可以大大减少非重要性数据在一级本地硬盘上 所占据的存储空间,从而节约了昂贵存储的成本,另外 一方面还有助于提高整个操作系统的存储性能。

　　2.1.1 按照数据的活跃度分类

　　从历史数据的活跃程度来考察,通常可把它们的数 量分为以下几种,不同活跃程度的历史数据可通过不同 性能的存储设备来存储。

　　(1)活跃数据 ：在业务运行中不断用到的信息。

　　(2) 近期的历史数据 ：虽然浏览次数相对较少, 但 还是需要保持在线的数据。

　　(3)存档数据 ：在异常情况下仍然需要访问的数 据,这就是访问量很少,但仍然需要存档的情况数据。

　　在分级数据存储器系统中,磁带库等成本费用较低 廉的存储资源用来放置访问次数较小的关键资料,而硬 盘或磁带阵列等成本费用高、速率较快的系统,则用来 放置反复使用的关键资料。数据分层存储的主要工作特 点,是基于数据使用的局部性。利用把不常使用的数据 信息,自动转移到数据信息层级中较小的层级,从而释 放出更多有价值的空间给更频繁使用的数据信息,从而 达到良好的总体性价比 [6]。

　　2.1.2 分级存储的主要优点

　　(1)降低总体的存储成本。在传统的网络存储器 中,虽然全部信息都存放在一线硬盘存储器上,但由于 大部分信息的访问率并不高,从而浪费了大量珍贵的磁 盘空间,在一定程度上也是一个浪费。如果将访问频率 较低的信息,迁移到比存储器性能稍低的硬盘 ( 如 IDE 或 SATA 接口磁盘 ) 或磁带、光盘存储器上,信息储存 成本就能够明显下降。

　　(2)提升整个系统性能。因为大量数据被传递到了 下级存储器上,所以大量保留在一级存储器上的数据数 量也就减少了,对系统资源的耗费也就小了很多,而整 个系统性能当然也就大大提高了。

　　(3)增加存储数据的稳定性。如果选择了离线存储 方法,把很少用到的数据直接存储到磁带这样的离线存 储介质上,那么不但能大大提高了系统的性能,还可保 证数据的安全。

　　2.2 分级存储的方式

　　在分级存放模式下, 可将信息的存放方式分成在线储 存 (On Store)、离线储存 (Off Store) 和近线储存 (NearStore) 3 类模式。

　　2.2.1 在线存储

　　在线存储即工作级的存储器,储存装置和其存放的 各种数据时时处于“实时”状况下,是可以随意读取 的,可适应计算平台上对数据存取的高速度需求,如 PC 中使用的硬盘基本上都使用了这种存放方式。通常 网络存储设备都是硬盘和磁盘阵列的磁盘装置,虽然价 钱比较贵,但特性很良好。

　　2.2.2 离线存储

　　离线储存主要用来对在线保存的资料加以备份,以 防止可能出现的信息灾难,所以称为备份级的储存。而 离线海量储存的经典产物是磁带机或磁带库,产品价格 一般比较便宜。因为离线存储介质上的资料读 / 书写时 间都是按次序执行的。当要读取数据时,就必须先将磁 带卷到头,然后再加以重新定位。而如果要对已载入的 数据信息加以更改时,则任何的数据信息都必须全面加 以更改。所以,离线海量存储器的存取速度慢、空间利 用率低,适用于对大量数据信息的顺序读 / 载入。

　　2.2.3 近线存储

　　所谓的近线存储, 就是指把一些并不常使用, 或者 访问量并不大的数据直接存储到性能低下的存储器上。 近线存储器对性能要求相对而言并不高,但因为不常见 的数据要占总信息量的绝大部分,这也就意味着近线存 储器首先要保证的就是容量。

　　2.3 存储模式的选择

　　分级存储管理,是一项将离线储存、近线储存和在 线存储器融合统一管理的新技术。它把较高、大容量的 非在线存储器当作磁盘设备的下一层设备,从而可以把 在线存储器中已不使用的数据,按照特定的策略自动转 移到磁带库等二级大容量存储器上。通过采用数据转移 技术,可以实现合理利用存储资源,从而减少对昂贵存 储器的投资与管理成本。

　　当要用到这些数据时,分级存储系统就会自动地把 这些数据从下一级存储器中设备调回到上一级存储器 中。对个人用户而言,这些数据迁移操作完全是透明 的,尽管在需要浏览二级存储器上的数据时速度上有所 怠慢,但是由于对于常用数据的访问速度也会提高,因 此在线存储器的容量大大增加。

　　分级存储管理应具有控制硬盘容量和在硬盘容量超 过某一阙数的情形下作出反应的功能。该软件通过设置 后能够给某个卷设计一个最小的剩余存储空间,在超过 这个限度时会主动给用户发送警报,提醒用户并主动完 成信息转移。如此就能够及时腾出存储空间,而管理员也就能够在今后的空余时间里再来处理空间的问题了。 在进行分级存储管理时,就应选用正确的储存模式。而 所谓储存模式就是指,在存储系统的设计时如何考虑使 用在线储存、近线储存或者离线存取。

　　2.3.1 在线储存与离线存储的二级储存模式

　　传统的存储备份体系中,企业产品系统数据均存放 于现场存储器 ( 如 SCSI 或 FC 磁盘阵列管理系统 ) 中, 确保应用管理系统可随时随地读 / 写数据信息 ;为确保 生产数据的安全,防止潜在产生的数据信息灾害,采用 离线储存技术 ( 如磁带库系统 ) 对产品系统业务数据信 息实行了备份。磁带库的内容必须要达到可以储存多份 企业数据备份工作的条件,而磁带库的性能和读 / 写入 速度也必须符合可以在规定的备份窗口时限内完成备份 工作的条件。因此利用磁带设备实现离线备份工作有着 如下优点 ：

　　(1) 如果能够进行脱机存储, 或者异地存储, 则数 据安全和可靠性都相当好,并且可以达到对数据归档标 准和行业规范的要求。

　　(2)也可以通过备份策略,同时保存多个副本。

　　(3) 价格相对于硬盘更加低廉 ( 约为磁盘的 1/3), 而且数据量越大,成本优势也越是突出。

　　(4)配合高度自动化的磁带库和自动软件,管理成 本低。

　　(5) 容易扩充, 且扩展成本也较低, 因此能够扩充 至 PB 或更大的容量。

　　使用磁带设备进行离线备份的弊端主要是 : 顺序读 / 写入的磁带,不利于进行频繁的 ( 如一天多次 ) 备份与 还原 ;要进行高速备份与还原时,往往需要加载许多驱 动程序,提高了设备成本 ;对单个文件的还原速率也比 较缓慢。

　　2.3.2 在线储存、近线储存和离线存储的三级储存模式

　　从传统的在线存储和离线存储二级储存模式中进行 了细化,即将传统在线存储中不经常访问的历史数据直 接存储在近线存储器中,将历史数据进行归档存储在离 线存储器上,从而构成了三级储存模式。

　　在分级存储管理的操作系统中经常采用虚拟存储备 份管理方式,由虚拟存储备份软件向使用者提出了一种 完全透明化的储存管理系统,根据使用者所提出的备份 对策自行将已归档在备份目录表下的历史数据分析,以 及其余非活动历史数据分析自行存档转移并备份到近线 存储器中,将已长时间不再使用的活动历史数据分析存 档并备份到磁带库中。

　　利用近线存储可以实现数据迁移或备份的优点如下 ：

　　(1)为了提高数据备份的稳定性,近线存储磁盘设 备本身已经通过 RAID5 技术对备份数据进行了校验与 保存,但由于磁带库写磁带相当 RAID0.因此未能提 供安全保护系统,即实现了多份拷贝,在每次备份资料 的容量都到达了 TB 级以上之后,也无法确保每次拷贝 都可以实现。

　　(2)更适合于对归档或备份后的数据有较高频度的 检索存取要求,这也能大大提高对非活跃数据的存取利 用率。

　　(3)读 / 写入速率较磁带库提高,极大减少了备份 窗口时间,并减少了数据恢复时间。

　　(4)对数量庞大的文件系统资料备份优势更加突 出,可减少读 / 写入文件系统的文件寻址时间,并提高 了数据恢复速度,如新华社、我国气象局、国家地质局 等单位都应用了这种技术。

　　其弊端主要表现为 : 由于硬盘一直为网络的介质传 输,故危险性相当很大,容易发生他人误使用、病毒黑 客、物理震荡和撞击等风险,且无法实现对脱机的异地 保护 ;成本也较高,大约是普通磁带存储的 2 ~ 3 倍。

　　2.3.3 选取存储模式的主要决定因素

　　分级存储器系统包括多种不同特性的存储器,以及 不同的存放形式。在系统中选择的储存方案往往是存储 器特性与实际使用要求之间的平衡点。存储投入的成本 越高,所获得的带宽就越大,而数据存取的速率也越 快。在同一设备上,也有性能和价格上的区别。而具体选 择哪种存储方式,主要是根据以下的应用要求来确定 [6]。

　　(1)系统中数据的访问频度和相应时间要求 ;(2) 数据是通过数据库保存,或者通过文件系统保存 ;(3) 在生产系统中必须保存历史数据的日期长短,必须保存 三个月的历史数据、1 年的历史数据或者三年内的历史 数据 ;(4)归档备份后的资料可以被访问检索的频度。

　　3 结语

　　虚拟存储技术、分级存储技术作为网络存储系统的 常见技术,满足了快速增长的数据存储需求,构建了信 息的共享和安全保护的平台,解决了更换或增加磁盘 时中断服务器的可能,是解决网络系统安全存储的有效 方法。

　　参考文献

　　[1] 闫金平,余敦一,张伟.虚拟存储技术及其在校园网中的应用 [J].北京印刷学院学报,2015(4):45-48.

　　[2] 徐梦,宗坤.虚拟存储技术的研究及其应用[J].轻工科技,2010. 26(1):37-38.

　　[3] 缪辉宇.分级存储技术在数字媒体资源管理中的应用[J].电 脑知识与技术,2010.6(20):5604-5605+5612.

　　[4] 李娇,邓泽微.分级存储系统中的数据迁移技术专利综述[J]. 数字技术与应用,2018.36(5):224-225.

　　[5] 刘静涛,王喆峰,廉新科,等.云存储分级服务缓冲队列技术 [J].指挥信息系统与技术,2018.9(5):96-100.

　　[6] 项玉良,任开银,张明明,等.分级存储数据多维分析技术的研 究与应用[J].计算机与现代化,2015(12):113-115+121.
 
 
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！

文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/53137.html