重复数据删除 为何如此吸引CIO们的眼球

henry2000888

对于企业的IT管理者来说，想随时关注其IT环境所采用的技术显得颇不现实，而每天花上几小时来掌握市场上所有的新技术和解决方案的动态更是不太可能。那么，在宏观经济持续疲软的今天，IT管理者们应该把注意力更多地放在哪些地方呢？

据IT管理杂志《CIOInsight》及其网站公布的“信息主管2009年最优先考虑的事项”的研究结果显示，在200多位受访者中，有38%的受访者把“降低成本”作为2009年最优先考虑的事项，而在2008年时，这个数字只有29%; 有37%的受访者把“降低ROI的成本”作为在下一年管理中最优先考虑的事项; 而34%的受访者表示“提高IT投资的回报率”将会是其最重要的管理措施。显然，IT部门在今后将会很明智地进行开支预算，其投资回报将以月(而不是年)来衡量。

而在IT管理者拟定的近期项目采购清单上，重复数据删除产品最受青睐。其中的理由很简单，这些产品提供的效益比琳琅满目的存储产品更多，因为它们降低了数据保护的投入和运营支出，促进了分布式备份操作的整合，并且减少了服务器虚拟化相关的存储费用。

据ESG预计，数据库中数据(结构化数据)每年的增长速度为25%，而非结构化数据的增加则是它的2到3倍。这么多信息的产生，以及由于政府法规遵从、电子举证等对信息存储期限的规定，使信息的存储容量需求让人难以应对; 再加上容量需求增长所带来的存储占地空间、存储设备采购、与存储相关的操作成本和管理成本等的提升，企业中IT部门所承受的压力可见一斑。

数据保护产生的影响多重效应

数据的增长成本是很昂贵的，但最大的“信息成本”来自那些出于数据保护目的所产生的大量的数据副本。当ESG询问近400名IT决策者在数据保护方面遇到的最大难题是什么时，得到的最多的答案是“与需要保护的数据的容量保持同步”。问题是数据保护操作的效率可能会很低—备份应用为同一文件(或略做修改)产生出了许多份备份，而实际上该文件只有少量的数据发生了改变，而且，即使该文件没有改变或对企业已经不再有用，也仍然会制作出几十份相同的数据副本并长时间保存。

在这种情况下，很容易使备份流程的效率低下。大量冗余的备份文件堵塞了局域网、广域网和SAN，消耗了企业内部和外部的存储容量。因此，数据保护进程和二级存储系统对容量过剩问题有很大的影响，但也为其优化提供了最明显的机会。

问题的复杂化

在某些情况下，当企业实施新技术来解决其他IT相关问题时，则增加了数据保护的容量。例如，很多信息主管正通过部署服务器虚拟化解决方案来推动数据中心的整合和“绿色”项目，这些解决方案使客户能够在单一硬件上运行多个服务器，提升了使用率。然而，ESG研究发现，在实施了服务器虚拟化技术的企业中，有超过1/3的企业的备份数据总量有所增加。由于虚拟机磁盘映像包含操作系统、应用程序和数据，在单一的物理服务器的虚拟机上会有大量的冗余信息。

艰难的协调

随着数据容量的增长及法规、法令规定保留期的延长，所管理的数据量可能会超过分配给备份的时间。为了减少备份时间，IT部门在备份进程中部署磁盘的比率正在上升。然而，ESG发现，存储系统的成本是另一个最受关注的问题，这给IT部门出了一个难题：IT部门怎么能在控制支出的同时跟上数据的增长，以提供数据保护所需的适当的服务水平协议？

控制二级存储的成本

数据容量的增长不会减慢。数据保护进程(如备份和复制)更是显著地加快了容量的增长速度。因此，企业采用策略和技术首先对环境进行优化是有道理的，这是不会牺牲性能或带来风险的做法。重复数据删除已经成为一项引人注目的控制存储容量和成本的技术。

不重复存储相同的数据

重复数据删除可识别并消除冗余数据，它可以在文件、块或字节级别上执行。数据查验的粒度越细致，找到并消除冗余数据的机会就越大。在二级存储进程(如备份)中，数据最初在二级存储设备中进行筛选，随后所有写入的数据都会进行冗余查验。相同的数据不会被重复存储，而只是存储与之相同的数据的指针，这将使占用的空间大大减少。

无论采取什么方式，重复数据删除的结果都是能够衡量的。关键的衡量指标之一就是容量缩减的程度，即缩减比。类似10∶1或10倍的缩减，表明了企业能够缩减备份数据的规模和程度，例如将500GB缩减到50GB。如图1所示，在数据保护调查的受访者中，48%的重复数据删除使用者声称缩减比为10倍到20倍，有16%的使用者认为是21倍到超过100倍不等。虽然重复数据删除的缩减比将根据数据类型、全备份频率、保留、跨文件和跨应用程序冗余、本地或全局重复数据删除、重复数据删除算法等不同而有所不同，但ESG实验室的测试发现，20∶1的缩减比总体上是可以实现的。

20∶1的重复数据删除比可以带来显著的容量节省。例如在图2中，如果对20TB的数据每周进行备份，在8周的时间内通常会激增到160TB的备份容量(设置为6周的保留期)。

应用缩减比为20∶1的重复数据删除技术之后，可节省超过140TB的容量，重复数据删除后的存储容量不到18TB。

由更频繁的全备份或更长的保留期所造成的存储的数据量往往会加大重复数据删除比，这使得企业更有理由尽量使用重复数据删除解决方案，因为它可以提高容量并节省了相关预算，同时还可以提高数据从磁盘上恢复的可能性。





数据缩减解决了IT最头疼的事

● 更好的、成本更低的数据保护

重复数据删除改变了磁盘数据保护的经济模式。第一，它促使磁盘备份的总体拥有成本更加接近于磁带策略的总体拥有成本，从而使从磁带保护到磁盘保护的转变更加顺利。淘汰磁带方式所带来的资金成本的节省可能包括：磁带基础设施(硬件和软件许可)、磁带介质采购和灾难恢复的成本。第二，有了重复数据删除技术，企业可以更有效地复制更多的用于灾难恢复的数据，这样就优化了磁盘的备份环境。消除了重复数据之后，企业不必再购买很多的远程站点磁盘容量，复制进程也不再需要大量的网络带宽基础设施。

重复数据删除技术减少了备份数据，使企业能够在更少的设施上整合更多的备份。企业也可以增加数据的保留期限，从而使信息的访问更加容易(相对于保存在磁带上的数据)，法规遵从和电子搜索的恢复会进行得更加顺利。最重要的是，相对于使用磁带，磁盘可以减少备份窗口并加快恢复时间。

企业应该迅速地实现基于磁盘的数据备份，以保护现场数据，并着手用磁盘替代磁带。ESG的研究表明，到2010年，将有近50%的备份数据存储在磁盘上，而2007年时，这个数字是26%(见图3)。

对业务预算的影响可以表现在若干方面。对于替换磁带的方案，磁带处理的运营管理费用、备份进程中的故障排除和人工干预是可以免除的，另外，电费、磁带硬件和软件的维护费用，以及介质存储成本等可以减少。对于已经应用了磁盘备份架构的企业，重复数据删除能够拉动整合，这可以降低电力成本以及最大限度地减少数据中心的占地空间。

● 备份整合

容量优化带来的另一个好处就是网络带宽的节省。较少的数据意味着较少的网络流量。这种效益使分布式站点(如ROBO)的备份数据能够整合到中心地点。如果将重复数据删除技术应用到本地备份进程中，那么分布式站点就能够免除磁带备份基础设施、流程和磁带处理的管理费用。本地执行的远程站点磁盘备份可以提供操作恢复，同时将重复删除的备份复制到中央数据中心，用于灾难恢复。

● 支持多个IT措施

正如前面所讨论的，容量的优化可以延缓购买额外的容量并减少能耗和数据中心所需的占地空间。如淘汰磁带，与应用了重复数据删除技术的磁盘备份系统相比，磁带基础设施耗费的相关设施和环境成本的节省只是微不足道的。70%的企业高管都把将能源费用降低了多少作为衡量企业绿色措施成功与否的标志。

重复数据删除支持IT措施的另一个方面在于数据中心的整合。这些解决方案减少了支持备份和灾难恢复所需的存储系统的数量，并有助于减轻分布式站点对于IT业务的需要。



企业拥有的信息越多，保存这些信息的成本就越高。尽管成本控制从来都是一个重要的考虑因素，但目前金融环境的不确定性使其上升到了IT管理优先事项中的首位，使IT部门必须对环境和进程进行优化，并尽可能地节约成本。重要的是，成本的降低和高效性不能以牺牲高水平的服务为代价，特别是在保护数据方面。

重复数据删除是为数不多的可迅速降低成本和提高服务水平的IT解决方案之一。有了它，企业可以在不影响数据保护的前提下减少存储费用。通过推动数据中心整合的绿色措施，它还有助于调整IT的业务优先级，有61%的IT管理人员都表示，这是2009年IT管理中最优先考虑的事项。既然重复数据删除技术已在过去几年中得到了证明，大型企业将会更广泛地进行采用。有鉴于此，ESG相信信息主管和IT管理人员会关注重复数据删除技术，以达到在其环境中降低成本的目的。

作者简介




Steve Duplessie，ESG公司创始人、首席执行官兼高级分析师

http://tech.watchstor.com/management-121642_1.htm


【编辑推荐】


重复数据删除是为数不多的可迅速降低成本和提高服务水平的IT解决方案之一。有了它，企业可以在不影响数据保护的前提下减少存储费用。通过推动数据中心整合的绿色措施，它还有助于调整IT的业务优先级，有61%的IT管理人员都表示，这是2009年IT管理中最优先考虑的事项。既然重复数据删除技术已在过去几年中得到了证明，大型企业将会更广泛地进行采用。有鉴于此，ESG相信信息主管和IT管理人员会关注重复数据删除技术，以达到在其环境中降低成本的目的。