CDN总结之一

前言&＃xff1a;一直想做一个CDN的全面总结&＃xff0c;虽然没有做出什么东西&＃xff0c;但是要做到知其所以然。辛苦总结&＃xff0c;请尊重作者。

1什么是CDN

1.2 背景

互联网已成成为人们生活不可或缺的部分。互联网应用的快速发展&＃xff0c;应用转变趋势为&＃xff1a;强调互操作性、以用户为中心的设计、在线服务、允许多终端多网络的接入&＃xff0c;互联网也相应的从一个基于内容的通信架构&＃xff08;content-based communication&＃xff09;成为了一个基于社会的组织网络&＃xff08;social-based community network&＃xff09;。新的应用不仅仅要求网络的简单性与扩展性&＃xff0c;还包括对可用性、可靠性、可扩展性&＃xff0c;以及具体服务的其他特性要求&＃xff0c;为了克服目前网络的缺点、满足未来应用的使用&＃xff0c;CDN是一个重要的手段。[1]

1.2.1 应用转变趋势

Higher Scalability&＃xff08;高可扩展性&＃xff09;&＃xff1a;最新的数据&＃xff08;June, 2011&＃xff09;显示&＃xff0c;互联网用户已经达到了6.9billion&＃xff0c;而且这一数字持续增长。[2]同时&＃xff0c;不同的电子终端也接入到网络。这些需要网络以低成本、高效率的方式分发和处理内容。

Higher Capability&＃xff08;高能力性&＃xff09;&＃xff1a;互联网上数据类型的增多以及其大小的大幅增加&＃xff0c;要求网络有更高的处理、存储和通信能力。

Higher quality of service&＃xff08;QoS&＃xff09;&＃xff1a;目前流行的流媒体应用和SNS应用&＃xff0c;都需要有较高的QoS保证&＃xff0c;例如&＃xff1a;快速启动&＃xff08;lower startup delay&＃xff0c;即用户从发出请求到被相应的时间间隔&＃xff09;、低时延、高连接性等。

Stronger interactivity&＃xff08;更高的交互性&＃xff09;&＃xff1a;互联网已成为一个社区性网络&＃xff0c;内容的提供不再是单靠以往从单一数据源获得数据&＃xff0c;现在人人都可以成为内容的创建者和发送者&＃xff0c;即除了以往从client到central server的模式&＃xff0c;增加了users-to-users的模式。

Heterogeneity&＃xff08;异构性&＃xff09;&＃xff1a;重点体现在两个方面&＃xff1a;设备与网络&＃xff0c;即异构的设备终端和接入网络。

安全性&＃xff1a;不同的应用对网络安全要求具有差异性。

1.2.2 IP网络的局限性

自从DARPA网络和Galactic Network概念[3]&＃xff08;由J.C.R. Licklider提出&＃xff0c;允许用户在世界的任意地方搜集数据、处理程序&＃xff09;在1962年产生以来&＃xff0c;互联网改变了计算机和通信世界。其主要目的就是为了资源的共享。

基于包交换(packet-switched)的IP网络采用端到端的原理[4]&＃xff0c;其设计原理可以概括为&＃xff1a;分层、基于包交换、合作网络、端到端。[5]

基于TCP/IP协议簇的网络分层

从上图可以看到基于TCP/IP协议的网络分层结构&＃xff0c;主要特点&＃xff1a;

①一个漏斗状的模型&＃xff0c;用最简单的中间网络层支持复杂多样的传输层和链路层&＃xff0c;漏斗的中间是整个网络的关键&＃xff0c;极小的限制上层和下层。

②端到端。将网络功能尽量精简&＃xff0c;可以变相的认为是将应用特定的功能移出了网络核心中&＃xff0c;只是提供通用的服务&＃xff0c;这样的好处有&＃xff1a;减少核心网络的复杂性、网络通用性、应用不依赖于网络的操作&＃xff0c;增加了可靠性。[4]

③尽最大努力的传输、无状态&＃xff0c;保证了效率。

其主要的缺点&＃xff1a;

a.               可用性。网络上应用的数据种类丰富、数据量巨大&＃xff0c;导致带宽消耗迅速&＃xff0c;需要保证数据和相关应用服务的可用性。

b.               安全性。只能提供端到端的保证&＃xff0c;不能满足各异的应用安全要求&＃xff0c;例如&＃xff1a;内容私密性、完整性、攻击时的服务可用性等。

c.                其他&＃xff1a;目前的应用与服务在功能、速率、效率、成本方面要求多样化&＃xff0c;对网络也有相应的能力要求。

1.2.3 解决的思路

虽然IP网络简单、可扩展&＃xff0c;但是缺少QoS保证、通信控制和监控管理机制。为了克服上述缺点&＃xff0c;有两个思路&＃xff1a;

a.     增加新的设计&＃xff1a;即在现有的网络结构基础上&＃xff0c;增加新的组件或功能。

b.     采用全新的设计&＃xff1a;摒弃原有设计&＃xff0c;针对新出现的要求进行设计。

&＃xff08;CDN思路&＃xff09;在通用IP网络之上建立虚拟的覆盖网&＃xff0c;从而在IP中添加额外的功能&＃xff0c;包括安全性、弹性、资源的控制性&＃xff0c;此外还有对异构网络的兼容性。

1.3 概念

CDN通过利用内容副本达到最大化网络带宽、改进访问性和内容正确性的效果。[6]

CDN是由分散的主机组成&＃xff0c;通过维护数据副本使得在用户从网络获得数据时达到带宽最大化。[1]

CDN通过提供服务来改进网络性能&＃xff0c;包括带宽最大化(maximizing bandwidth)、改进可用性(improving accessibility)、通过副本保证数据正确性。通过将内容发送到靠近用户的缓存或边缘服务器&＃xff0c;提供快速可靠的应用和服务。[7]

1.3.1 典型组成

一系列代理服务器&＃xff08;surrogate servers&＃xff09;&＃xff1a;分布式的、存储源服务器内容&＃xff1b;

路由器和网络设备&＃xff1a;发送内容请求到最合适的地方和代理服务器&＃xff1b;

统计机制&＃xff1a;源服务的日志和信息

1.3.2 两个信息流

    客户端和代理服务器之间&＃xff1b;代理服务器和源服务器之间

1.3.3 逻辑组件

CDN逻辑上有内容交付&＃xff08;content-delivery&＃xff09;、请求重路由、内容分布&＃xff08;distribution&＃xff09;和计费组件构成。

内容交付组件包含了一系列的服务器用来向用户分发数据副本。

请求重路由组件负责将用户的请求转发到合适的边缘服务器。同时请求路由组件还和内容分发组件进行通信&＃xff0c;从而保证CDN缓存内容的有效性。

内容分布组件将源服务器的内容存储到边缘服务器并保证缓存一致性。

计费组件记录用户访问信息和服务器使用信息。该信息被用来进行通信监控和用户付费。

1.4 历史

在过去几十年的发展中&＃xff0c;随着因特网的成长和成熟&＃xff0c;网络通信量剧增&＃xff0c;主要是访问量的增加、系统复杂性的提高和内容的丰富。[8]

在CDN尚未出现的十年中&＃xff0c;互联网上的内容主要是小规模的文本和图片。为了更加高效的传输这些内容&＃xff0c;早期的CDN提供者通常采用高度分布式的CDN。这种CDN被描述为深入到ISP中&＃xff08;deep into ISPs&＃xff09;[9]&＃xff0c;主要部署在接入网中&＃xff08;Point of Presence&＃xff09;。其重要思想就是把内容放到离用户更近的地方&＃xff0c;来提升用户访问的性能和吞吐量。具体实施的主要方式有&＃xff1a;增加或者改进硬件&＃xff08;高快的处理器、更大的内存和硬盘、更高的带宽&＃xff09;、缓存代理&＃xff08;靠近用户&＃xff09;。使用缓存代理时&＃xff0c;用户可以通过设置浏览器&＃xff0c;将其请求发送到缓存服务器而不是源服务器&＃xff1b;同时缓存的级别也有所不同&＃xff0c;例如有本地缓存、区域缓存、全球性缓存。

随着应用的增长和访问速度的加快&＃xff0c;多媒体数据分发成为用户的宠儿。基于CDN建立大规模数据中心成为保证大规模多媒体数据分发高效性的有力工具。这个方法可以定义为将ISPs带到了家庭[9]&＃xff0c;即在有限的地点&＃xff0c;部署用高速网络连接的内容存储服务器&＃xff0c;从而建立大型数据中心。采用这种方式的CDN&＃xff0c;实际中包含了一系列服务器&＃xff0c;每个服务器承担了一部分对同一站点请求访问的负载。[10]具备一定的可扩展性和容错性&＃xff0c;如何减少配置开销和加快部署速度成为主要问题。

将P2P技术融入到CDN中。P2P技术是利用最终用户的资源来解决大规模用户下对大容量数据请求的情况。P2P有效解决了扩展性的问题&＃xff0c;能够有效的降低对服务器的要求。将P2P技术融入到CDN中&＃xff0c;就是为了达到CDN中的可靠性和可管&＃xff0c;与P2P的可扩展性结合的效果。

现在也有很多云服务提供商结合CDN推出了一系列的服务。在云CDN中进行内容分发&＃xff0c;其主要目的是为了在已存在的云之间建立高速的连接&＃xff0c;允许用户将内容的智能定位和存储。

1.5 市场

2009年CDN的增长达到两位数&＃xff0c;利润上升了16.4%&＃xff0c;达到了$1.37billion。[11]

市场分布图

    如上图所示&＃xff0c;这是07年Frost&Sullivan报告中的CDN市场分布图。截止到08年&＃xff0c;Akamai拥有40000多台服务器&＃xff0c;部署在超过67个国家&＃xff0c;其分发的网络流量占全球网络流量的15-20%。[12]

1998&＃xff0c;出现第一个CDN。几家公司一事到应该建设CDN在不增加硬件成本的前提下增加可靠性和可扩展性。

1999&＃xff1a;出现了利用提供高速、可靠web内容分发服务的几家专业盈利公司&＃xff08;例如Akamai和Mirror Image&＃xff09;。

2000&＃xff1a;在美国&＃xff0c;CDN成为了一个巨大市场&＃xff0c;达到了$905million&＃xff0c;预计在2007会达到$12billion。

2001&＃xff1a;由于发生因大量用户同时访问网站导致的网站崩溃情况&＃xff0c;其实就是911事件导致的访问问题&＃xff0c;很多企业开始关注建设CDN。

2002&＃xff1a;一些大型ISP开始建设自己的CDN。

2004&＃xff1a;超过3000家公司使用CDN&＃xff0c;每个月花费将近$20million。

2005&＃xff1a;CDN依靠流媒体视频和音频的利润增长达到了40%。

参考文献&＃xff1a;

[1]Y.Hao,L.Xuening, M.Geyong and L.Chuang. “Content Delivery Networks: A Bridge betweenEmerging Applications and Future IP Networks”, IEEE Network, July/August 2010.

[2] http://www.internetworldstats.com/top20.htm

[3]Licklider, J.C.R.,and Clark, W. “On-Line-Man-Computer Communication”, Aug, 1962.

[4]M.S.Blumenthaland D.D.Clark, “Rethinking the Design of the Internet: The End-to-End argumentsvs. the Brave New World”, ACM Trans. Internet Tech, vol.1, no.1, Aug.2001,pp.70-109.

[5]A. Feldmann, “InternetClean-Slate Design: What and why?” ACM SIGCOMM Comp. Commun. Rev., vol.37,no.3, July 2007, pp.59-64.

[6]Vakali, A. and Pallis, G. “Content delivery networks: Status andtrends”. IEEE Internet Computing 7,6(Nov./Dec.2003), 68-74.

[7]G. Pallis, and A. Vakali, “Insight and Perspectives for ContentDelivery Networks”, Communications of the ACM, Vol.49, No.1, ACM Press, NY,USA, pp.101-106. Jan, 2006.

[8]M. Hofmann, and L.R.Beaumont, Content Networking: Architecture,Protocols and Practice, Morgan Kaufmann Publishers, San Fransico, CA, USA,pp.129-134, 2005.

[9]C. Huang et al. “Understanding Hybrid CDDNP2P: Why Limelight Needsits Own Red Swoosh”, Proc. NOSSDAV, May 2008, pp.75-80.

[10] M. Hofmann, and L. R. Beaumont, Content Networking: Architecture,Protocols, and Practice, Morgan Kaufmann Publishers, San Francisco, CA, USA,pp. 129-134, 2005.

[11] http://www.accustreamresearch.com/cdn.html

[12] http://www.akamai.cn/enzs/html/perspectives/index.html