内容网络技术综述

hjacker

一、内容网络介绍

    内容网络技术起源于1998年，当时由于互联网用户的数目呈爆炸性增长，Web应用飞速发展，传统网络结构的缺陷纷纷暴露：

    1、Internet基本全部采用客户/服务器模型，如HTTP、FTP、POP3/SMTP等，随着网络规模的增大，这种模型的服务器的性能已无法满足高速增长的访问量的需求，服务器的处理能力逐渐成为网络发展的瓶颈，为此必须对服务器进行升级来提高性能，或采用多台服务器组成服务器群来共同处理用户请求，也可在服务器前布放一定数目的缓存设备来快速处理用户请求。但是，单纯地升级服务器性能的代价非常昂贵，而采用服务器集群的方法难以进一步扩展，因此需要一种简单的方式来提高服务器群的扩展问题。

    2、网络访问对于带宽的要求呈现出端对端的形式，某段带宽瓶颈的限制将造成整个网络的拥塞，尤其在大量用户同时访问同一台服务器时，对连接服务器的链路带宽要求更高。同样，大量的用户请求对骨干网链路也提出了要求，通常要求在网络汇聚层的出口处部署缓存设备，处理用户请求，避免大量访问相同内容的用户请求，重复消耗骨干网的带宽。

    3、远距离用户的访问需要通过若干个网络设备进行多跳转发，从而造成了很大的时延，使系统对用户请求的响应速度大打折扣。以WWW普通页面的访问为例，Web页面是由HTML文本和数十个嵌入对象（图片、动画等）组成，根据HTTP 1.0协议，页面的访问过程是：先建立一个TCP连接，取来整个HTML页面（至少有六次数据交互过程），再依次顺序建立TCP连接，按HTML的连接来请求各个嵌入对象。假设一个页面含有20个对象，则客户和服务器之间至少要有21×6个串行数据交互过程，如果从北京访问一个包含20个嵌入对象的美国西海岸页面，仅从美国西海岸传到中国就需要50ms，因此访问时延大约为21×6×50ms＝6s。实际上，由于路由不一定是直达的，链路上的网络设备不可能没有传输延迟，且受到传输线路的带宽限制，实际的访问速率远远高于6秒钟，因此在用户侧布放缓存设备的需求更加明显。

    4、虽然被动Cache的布放可以降低服务器的负载和对骨干网带宽的消耗，并可加速用户的访问速度，但由于缓存设备内容的更新为被动形式，因此会出现缓存的内容与实际的原始内容不一致的问题，更重要的是缓存内容减少了ICP的页面访问统计数据，且对收费内容的缓存会导致ICP收入的减少。

    鉴于以上原因，业界引入了内容网络技术，其核心思想是在各接近用户的业务提供点设立若干内容的分支节点，通过集中管理的方式将内容缓存到各分支节点，实现本地化的内容访问，并在各分支节点实施流量负载均衡，从局部对网络流量进行调度，使服务提供商有能力为用户提供快捷、可靠的网络访问，并可利用内容网络的分发和管理软件加强对内容的控制和管理能力。

    内容网络的主要部件包括：

    ■  内容分发和控制系统

    负责内容的管理，包括内容的实时分发、内容访问的统计和计费，同时还需要对各个分支节点进行管理。当创建或删除一个分支节点时，需要由内容分发系统进行记录，并保证该节点缓存的内容与原始服务器一致。同样，分支节点必须及时向内容分发系统报告，共同完成内容访问的统计和计费工作。

    ■  内容路由设备

    负责基于内容的路由策略的管理和实施，通过根据设定的内容路由策略来将用户请求导向到不同的分支节点，分支节点的选择可基于用户和分支节点之间的拓扑距离，也可以基于分支节点当前的负载或分支节点的响应时间。

    ■  内容交换设备

    负责基于内容的服务器负载均衡和重定向处理，通过服务器负载均衡技术在原始服务器的前端实现每个分支节点内部的流量调度，保证服务器群的高度可用性和可扩展性，并通过重定向技术在分支节点内部实现Cache的重定向功能，将用户的请求导向到响应速度快速的Cache服务器，进一步减小响应时间。

    ■  内容缓存设备

    负责内容的本地缓存，将内容分发和控制系统所发布的内容缓存到本地的Cache服务器，利用Cache服务器的快速响应能力来为本地用户提供快捷的访问，减少访问原始服务器的次数，提高系统的处理能力。

二、内容网络的关键技术

    内容网络的关键技术包括：内容的分发和管理、Cache重定向、服务器负载均衡、全局负载均衡等。

  1、内容的分发和管理

    内容的分发和管理要求网络能够对各个站点的内容进行统一管理，包括内容的发布、更新、访问统计和计费等。根据内容更新机制的不同，同步更新可采用“推”和“拉”的两种方式。所谓“推”的方式是指由内容源主动向分支节点定期发布内容的更新情况，而所谓“拉”的方式则是指由分支节点根据既定的内容更新策略，定期向内容源请求更新。

  2、Cache重定向

    内容交换设备可在网络的出口提供透明的Cache重定向服务，这种方式可使用户访问的内容从本地Cache中快速得到，目前广泛应用的Cache服务器类型包括Web Cache和流媒体Cache。在以前，Cache通常采用串联在网络中的方式或通过专有协议（如WCCP）下挂在路由器上，通常都会对网络的性能造成负面影响，使其他业务流量的传输时延增大，路由器性能下降。但是，利用交换机的Cache重定向能力，可将需要访问缓存的用户请求重定向到本地Cache服务器上，使用户请求在本地得到快速处理，既提高了响应速度，降低了对骨干网带宽的消耗，同时又不影响其它业务的流量和设备性能。

  3、服务器负载均衡

    前面讲到，服务器升级的代价昂贵，而服务器集群方式的扩展性较差，内容网络技术通常采用服务器负载均衡（SLB，Server Load Balancing）方式来实现服务器群的扩展性能。服务器负载均衡功能最初是由通用主机平台上的负载均衡软件实现的，随着业务对性能要求的逐渐提高，相继出现了基于专门硬件平台的负载均衡设备和基于三层交换机平台的负载均衡模块。

    根据负载均衡算法的不同，服务器的负荷可通过以下几种方式进行分担：

轮转（Round robin）；
加权轮转（Weighted round robin）；
最小连接数（Least connections）；
加权最小连接数（Weighted least connections）；
源或目的IP地址哈希（Source and / or destination IP hash）。
    这些负载均衡算法可根据应用场合灵活选择。例如，在进行Cache重定向时，通常采用目的地址哈希方法，而在进行WWW服务器负载均衡时，则可采用轮转或加权轮转方法。

    在SLB情况下，同一服务器组中各个服务器的内容必须完全一致，用户请求无论发到哪个服务器上，都必须得到相同的应答。当服务器数目增加到一定程度时，服务器之间的内容同步和更新的工作量都将大大增加。为了更加灵活和合理地安排内容的存放，可采用基于内容的负载均衡技术，根据内容的不同划分不同的小型服务器群，用户请求在特定的服务器群内部进行负载均衡，从而使同步的范围缩小，进而减少内容管理的工作量。在识别内容的基础上，可以完成的功能包括：基于URL的负载均衡、基于Cookie的粘性连接和基于SSL ID的粘性连接。基于URL方式，可方便地根据URL来进行服务器上内容的组织，也可更好地保证电子商务活动的可靠性和响应速度。

  4、全局负载均衡

    全局负载均衡（GSLB，Global Server Load Balancing）主要用于同一域名对应地理上分布多处的若干服务器群的情况，在用户发起请求时，系统按照既定的算法将用户请求转发到最适合的服务器群。目前对用户请求的全局负载均衡包括三种工作机制：DNS机制、三角转发机制和利用应用层协议重定向机制。

    ■  DNS机制

    由于用户在访问服务器之前，首先通过DNS解析域名得到服务器的IP地址，因此在进行DNS解析时，由对应的授权DNS服务器依据一定的规则，从地理上分布的若干服务器群中选择一个最合适的，将其IP地址返回给用户，实现不同地域之间流量的负载均衡。站点选择所依据的因素很多，如根据用户IP地址判断各数据中心与客户的拓扑距离，或各数据中心与客户交互的响应时间，也可根据服务器和网络的负荷，甚至还可以为服务器和服务程序的可用性。为了实现上述算法，通常需要责任DNS服务器与各站点保持定期联系，从而及时地获得各站点的响应时间、负载和可用性等情况。

    ■  三角转发机制

    用户经过DNS解析出一个固定的IP地址，由该地址对应的责任站点根据用户请求和其它站点的状态进行选择，将用户的请求发送到选择的站点，该站点在返回应答时直接发送给用户，而不经过责任站点，形成了一个三角形单向前进的路径。

    在三角转发过程中，客户发往服务器的包总是先到达责任站点，再由责任站点转发到相应的处理站点，这是一个固定开销，这种方式比较适合于FTP、RTSP等持续时间长且来回流量不对称的网络应用。

    ■  利用应用层协议重定向机制

    应用层协议重定向机制包括HTTP/RTSP重定向和动态修改HTML页面连接的两种方式。

    在HTTP协议中，服务器可以向客户返回一个300系列的状态码和一个带有指定URL的Refer to头字段，表明该URL对应的内容已经被转移到另一个URL。用户在接收到这样的应答之后，需要再次解析新的URL IP地址，然后向该IP地址发起HTTP请求。采用这种思路，可以实现全局的流量负载均衡。

    通过动态页面内容也可以实现全局服务器的负载均衡：当服务器收到用户请求时，根据一定的规则，判断出距离用户最近的站点，然后动态地生成HTML页面，其内嵌入对象的连接，指向所选择站点的IP地址，用户在接收到该页面的HTML文件之后，直接到对象连接所指定的站点获取剩余的内容。

三、华为内容网络方案

  1、Quidway S8016内容交换模块

    秉承“创造客户价值”理念，凭借在数据通信领域多年积累的专业经验，经过周密的方案讨论和验证，华为公司开发出基于三层交换机平台的内容交换模块。该内容交换模块基于高端以太网路由交换机QuidwayS8016，作为其业务插板可插入任意线路板槽位。华为内容交换模块提供的负载均衡技术，在基于业界通用标准的同时，更注重实际应用的许多细节，为用户快速正确配置提供保障。

    ■  四层负载均衡能力

    每个内容交换模块支持1024个负载均衡组，每组支持256台设备的负载均衡，支持并发512K连接，每秒新建连接数达到300K，可轻松地完成Web服务器、FTP服务器、邮件服务器、DNS服务器、Radius服务器和DHCP服务器等多种设备的负载均衡。

    ■  5/7层负载均衡策略

    在5/7层处理方面，用户可以自由地设置基于HTTP URL和头字段的负载均衡策略，从而可以智能地区分出不同类型的访问流量，交由不同的服务器进行处理，提供高度便捷的服务器内容管理手段。同时，还可设置基于Cookie、SSL ID的粘性连接，充分保证大流量电子商务活动的正确进行。

    ■  流量重定向功能

    通过WSM流量重定向功能可灵活地设置Cache重定向规则，将指定的流量重定向到相应的Cache服务器组进行负载均衡，实现静态内容的本地化，使用户请求无须经过拥挤的骨干网即可得到响应。此外，利用流量重定向功能还可将流量在并联的多个防火墙之间进行分摊，使防火墙系统的处理能力和可扩展性能大大提升。

    ■  实时感知设备的运行状态

    WSM可实时感知负载均衡设备的运行状态，对于不能正常提供服务的设备不再分配流量，以保证业务能够正确处理。WSM还提供多种从简单到严格的设备状态的检测方法，可根据环境的具体情况配置相应的检测方法，实时感知设备状态。

  2、完整的流媒体内容解决方案

    在宽带IP城域网的建设过程中，应用和内容的重要性日益凸显，内容已经成为运营商的重要收入来源，一个管理灵活、部署方便的高性能内容管理平台是内容运营的关键所在，Quidway S8016内容交换模块可配合华为流媒体管理软件提供完整的宽带流媒体运营解决方案，如图1所示。

通过内容网络技术，结合统一的宽带运营支持系统，华为可向电信运营商提供适用于宽带城域网、省域网、广域网的可运营流媒体平台，实现可扩展、高可靠性和可平滑扩容的流媒体服务。通过内容交换模块与边缘缓存设备的配合，可在网络边缘提供流媒体服务，降低了骨干网的流量，进而解决了困扰流媒体应用已久的QoS问题。同时，本解决方案向ICP提供一部分接入性能，可通过开放的内容发布接口发布业务，并可采用单播或组播方式可靠地将内容分发至边缘缓存设备，而在访问调度方面支持静态、动态和基于内容的访问调度策略，适应运营管理需求。