云存储扫盲

netbooking

云存储（cloud storage）这个概念一经提出，就得到了众多厂商的支持和关注。

　　Amazon在两年前就推出的Elastic Compute Cloud（EC2：弹性计算云）云存储产品，旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。内容分发网络服务提供商CDNetworks 和业界著名的云存储平台服务商 Nirvanix发布了一项新的合作，并宣布结成战略伙伴关系，以提供业界目前唯一的云存储和内容传送服务集成平台。半年以前，微软就已经推出了提供网络移动硬盘服务的Windows Live SkyDrive Beta测试版。近期，EMC宣布加入道里可信基础架构项目，致力于云计算环境下关于信任和可靠度保证的全球研究协作，IBM也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。

　　云存储变得越来越热，大家众说纷”云”，而且各有各的说法，各有各的观点，那么到底什么是云存储？

1 什么是云存储

　　云存储在云计算 (cloud computing)概念上延伸和发展出来的一个新的概念。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务。

　　云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
　　如果这样解释还是难以理解，那我们可以借用广域网和互联网的结构来解释云存储。

　　云状的网络结构

　　相信大家对局域网、广域网和互联网都已经非常了解了。在常见的局域网系统中，我们为了能更好地使用局域网，一般来讲，使用者需要非常清楚地知道网络中每一个软硬件的型号和配置，比如采用什么型号交换机，有多少个端口，采用了什么路由器和防火墙，分别是如何设置的。系统中有多少个服务器，分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆，分配了什么 xml:lang=IP地址和子网掩码。

　　但当我们使用广域网和互联网时，我们只需要知道是什么样的接入网和用户名、密码就可以连接到广域网和互联网，并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器，不需要知道数据是通过什么样的路由到达我们的电脑，也不需要知道网络中的服务器分别安装了什么软件，更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。

　　广域网和互联网对于具体的使用者是完全透明的，我们经常用一个云状的图形来表示广域网和互联网。

　　虽然云状的图形中包含了许许多多的交换机、路由器、防火墙和服务器，但对具体的广域网、互联网用户来讲，这些都是不需要知道的。这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务，无论我们在任何地方，都可以通过一个网络接入线缆和一个用户、密码，就可以接入广域网和互联网，享受网络带给我们的服务。

　　参考云状的网络结构，创建一个新型的云状结构的存储系统系统，这个存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。

　　当我们使用某一个独立的存储设备时，我们必须非常清楚这个存储设备是什么型号，什么接口和传输协议，必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量，必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性，我们还需要建立相应的数据备份系统和容灾系统。除此之外，对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。

　　如果采用云存储，那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的，任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接，对云存储进行数据访问。

　　云存储不是存储，而是服务

　　就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。

　　云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。


2 云存储的结构模型

　　与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。

　　云存储系统的结构模型由 4层组成。

　　一、存储层

　　存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和 iSCSI等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者 FC光纤通道网络连接在一起。

　　存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

　　二、基础管理层：

　　基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

　　CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

　　三、应用接口层：

　　应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。

　　四、访问层：

　　任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。


3 云存储的技术前提

　　从上面的云存储结构模型可知，云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种技术的发展为前提。

　　一、宽带网络的发展

　　真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接入设备来连接云存储，而不是通过FC、 SCSI或以太网线缆直接连接一台独立的、私有的存储设备上。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务，否则只能是空谈。

　　二、 WEB2.0技术

　　Web2.0 技术的核心是分享。只有通过web2.0技术，云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储和资料共享。Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。

　　三、应用存储的发展

　　云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。

　　四、集群技术、网格技术和分布式文件系统

　　云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。

　　既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。如果没有这些技术的存在，云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结构。

　　五、 CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

　　CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，想来也没有人敢用云存储，否则，保存的数据不是很快丢失了，就是全国人民都知道了。

　　六、存储虚拟化技术、存储网络化管理技术

　　云存储中的存储设备数量庞大且分布在多不同地域，如何实现不同厂商、不同型号甚至于不同类型（如FC存储和 IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。

　　云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心，但对于云存储的运营单位来讲，却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此，云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台，可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。


云计算和云存储的关系

　　云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多台服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务。

　　云计算系统的建设目标是将运行在PC上、或单个服务器上的独立的、个人化的运算迁移到一个数量庞大服务器”云”中，由这个云系统来负责处理用户的请求，并输出结果，它是一个以数据运算和处理为核心的系统。

　　云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

　　与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。

　　从架构模型来看，云存储系统系统比云计算系统多了一个存储层，同时，在基础管理也多了很多与数据管理和数据安全有关的功能，在两者在访问层和应用接口层则是完全相同的。


云存储的两大架构

　　云存储是一种架构，而不是一种服务。你是否拥有或租赁了这种架构是一个次要问题。从根本上来看，通过添加标准硬件和共享标准网络(公共互联网或私有的企业内部网)的访问，云存储很容易扩展云容量和性能。事实证明，管理数百台服务器，使得其感觉上去就像是一个单一的、大型的存储池设备是一项相当具有挑战性的工作。早期的供应商(如Amazon)承担了这一重任，并通过在线出租的形式来赢利。其它供应商(如Google)雇用了大量的工程师在其防火墙内部来实施这种管理，并且定制存储节点以在其上运行应用程序。由于摩尔定律 (Moore’s Law)压低了磁盘和CPU的商品价格，云存储渐渐成为了数据中心中一项具有高度突破性的技术。

　　这十年来，集群NAS系统已经出现了好转。本文综述了构建一个云存储或大规模可扩展的NAS系统的各种不同架构方法，对于那些寻求构建私有云存储以满足其消费的企业IT管理者或是对于那些寻求构建公共云存储产品从而以服务的形式来提供存储的服务提供商来说，这些方法与他们息息相关。架构方法分为两类：一种是通过服务来架构;另一种是通过软件或硬件设备来架构。

　　传统的系统利用紧耦合对称架构，这种架构的设计旨在解决HPC(高性能计算、超级运算)问题，现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构，集中元数据和控制操作，这种架构并不非常适合高性能 HPC，但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下：

　　紧耦合对称(TCS)架构：

　　构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS系统的发展。 HPC系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进，需要一定程度的技术经验才能安装和使用。

　　松弛耦合非对称(LCA)架构：

　　LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处，允许进行新层次的扩展：

　　● 存储节点可以将重点放在提供读写服务的要求上，而不需要来自网络节点的确认信息。
　　● 节点可以利用不同的商品硬件CPU和存储配置，而且仍然在云存储中发挥作用。
　　● 用户可以通过利用硬件性能或虚拟化实例来调整云存储。
　　● 消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要，如光纤通道或infiniband，从而进一步降低成本。
　　● 异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储，同时还能提供永久的数据可用性。
　　● 拥有集中元数据意味着，存储节点可以旋转地进行深层次应用程序归档，而且在控制节点上，元数据经常都是可用的。
　　云存储选择
　　虽然在可扩展的NAS平台上有很多选择，但是通常来说，他们表现为一种服务、一种硬件设备或一种软件解决方案，每一种选择都有它们自身的优势和劣势：
　　● 服务模式：最普遍的情况下，当你考虑云存储的时候，你就会想到其所提供的服务产品。这种模式很容易开始，其可扩展性几乎是瞬间的。根据定义，你拥有一份异地数据的备份。然而，带宽是有限的，因此要考虑你的恢复模型。你必须要满足你网络之外的数据的需求。
　　● HW模式：这种部署位于防火墙背后，并且其提供的吞吐量要比公共的内部网络好。购买整合的硬件存储解决方案非常方便，而且，如果厂商在安装/管理上做的好的话，其往往伴随有机架和堆栈模型。但是，这样你就会放弃某些摩尔定律的优势，因为你会受到硬件设备的限制。
　　● SW模式：SW模式具有HW模式所具有的优势。另外，它还具有HW所没有的价格竞争优势。然而，其安装/管理过程序要谨慎关注，因为安装某些SW的确非常困难，或者可能需要其他条件来限制人们选择HW，而选择SW。


云存储的兴起

　　IDC研究表明，从2006年到2010年，全球信息总量将增长6倍以上，从161EB增加到 988EB(1EB=1024PB)。一些新推出的磁盘阵列中已经普遍采用了750GB或1TB的SATA硬盘。目前已知存储密度最高的磁盘阵列可以在 4U空间内提供高达42TB的存储容量，这在以前是根本无法想像的。

　　最新一代LTO-4磁带的单盒磁带存储容量也达到了1.6TB(压缩比为2∶1)。技术的不断进步必将推动存储向更高容量发展，而重复数据删除、压缩等技术的引入，可以进一步提升存储空间的利用率。从性能方面看，FC磁盘阵列已经逐步过渡到4Gb 时代，而8Gb FC又在向数据中心用户招手；万兆IP存储不再是纸上谈兵；在InfiniBand领域，已经有厂商推出了40Gb InfiniBand适配器产品。现有的网络存储架构，比如SAN或NAS还能够有效支撑无处不在的云计算环境吗？有人表示怀疑。其主要论据是：面对PB级的海量存储需求，传统的SAN或 NAS在容量和性能的扩展上会存在瓶颈；云计算这种新型的服务模式必然要求存储架构保持极低的成本，而现有的一些高端存储设备显然还不能满足这种需求。从谷歌公司的实践来看，它们在现有的云计算环境中并没有采用SAN架构，而是使用了可扩展的分布式文件系统Google File System(GFS)。这是一种高效的集群存储技术。近几年逐渐兴起的集群存储技术，不仅轻松突破了SAN的性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。随着一些专注于集群存储业务的厂商，比如Panasas、Isilon、龙存科技等在中国市场的快速发展，集群存储技术的应用会更加普及。虽然集群存储在处理非结构化数据方面优势十分明显，但从目前情况看，集群存储不太可能在短时间内完全取代传统的网络存储方式，SAN和NAS仍会有用武之地。需要强调的是，虚拟化是实现云计算远景目标的一项核心技术，因为云计算本身就是一个能提供虚拟化和高可用性的新一代计算平台。从目前的市场情况看，服务器虚拟化已经是如火如荼，而存储虚拟化的发展相对慢一些。2007年底，EMC推出了SAN存储虚拟化产品Invista2.0。与上一代产品相比，Invista 2.0支持的存储容量扩大了5倍，进一步提升了可用性，强化数据保护机制和管理功能，提高使用效率，增强可扩展性。此外，Invista 2.0还通过了VMware认证，可以让用户在VMware的架构中更妥善地管理、分享和保护信息。 存储公司3PAR营销副总裁Craig Nunes表示：“为了有效支持云计算，基础架构必须具备几个关键特征。首先，这些系统必须是自治的，也就是说，它们必须内嵌自动化技术，消除人工部署和管理，允许系统自己智能地响应应用的要求。如果系统需要人为干预来分配和管理资源，那么它就不能充分地满足云计算的要求。其次，云计算架构必须是敏捷的，能够对需求信号或变化的工作负载做出及时反应。换句话说，内嵌的虚拟化技术和集群技术，必须能够应对业务增长或服务等级要求的快速变化。如果系统需要花几个小时、几天或几个星期的时间来响应新的应用或用户需求，那么这个系统也就不能满足云计算的要求了。” SaaS也是Storage as a Service的缩写，意为存储即服务。在云计算环境下，存储不再是冷冰冰的硬件设备，而是一种服务。这会不会改变今后用户的存储采购方式，从采购硬件转变为购买存储服务？Craig Nunes表示：“在大型企业内，不管是采用云计算模式还是自建一个公用数据中心，终端用户的IT要求终将以服务方式来满足。”

http://blog.sina.com.cn/s/blog_6444b76c0100gpsc.html
云计算热红了天，扫扫盲