简介
随着网际网路宽频在中国的普及,人们对Internet提出了多样化的套用需求。现在存在的各种形式,如网路游戏、线上影视和电子邮件等都极大地丰富了人们的生活。随着数字多媒体技术和计算机网路技术与家电产品的结合,融合多媒体内容和宽频网路平台的IPTV网路电视、OTT电视将成为全球下一个极具前景的、全新的宽频服务模式。
在以上视频业务的服务模式中,基于网际网路基础网路的视频套用,需要面对大并发量的用户,就需要高效的视频内容分发和传输技术,这也是视频业务服务模式的基础核心。虽然以IP为基础的网际网路的特点是效率高,但是相对于传统的电信网,其没有较好的服务质量(QoS, Quality of Service)保证(如:较大的时延、时延抖动、丢包、乱序等),将是该业务开展必须面对和解决的问题。而当前採用P2P融合CDN视频传输的技术方案,即可解决以上问题。
2.1 OTT基本概念
OTT TV是“Over The Top TV”的缩写,是指基于开放网际网路的视频服务,终端可以是电视机、电脑、机顶盒、PAD、智慧型手机等等。意指在网路之上提供服务,强调服务与物理网路的无关性。通过网际网路传输的视频节目,如PPS、UUSEE等平台的内容传输到显示萤幕(包括电视)上。
从消费者的角度出发,OTT TV就是网际网路电视,满足消费者的需求,集成互动电视功能的全功能的网际网路电视。
Over-The-Top TV 就是指网际网路电视,通过网际网路传输的视频节目,如PPS、UUSEE等平台的内容传输到显示萤幕(包括电视)上。
OTT TV (Over-The-Top TV),即以Over-The-Top 方式服务的网际网路电视。如2010年在市场上推出的Apple TV及Google TV即是此种模式。
在国际上,OTT TV指通过公共网际网路面向电视传输的IP视频和网际网路套用融合的服务。其接收终端为网际网路电视一体机或机顶盒+电视机。
在我国,OTT TV是指通过公共网际网路面向电视机传输的由国有广播电视机构提供视频内容的可控可管服务。接收终端一般为国产网际网路电视一体机。
2.2 IPTV基本概念
IPTV(InternetProtocolTV或InteractivePersonal TV)意思是网际网路协定电视,也叫互动式网路电视,是一种基于网际网路的多媒体通信技术。IPTV利用宽频网的基础设施,以家用电视机或计算机作为主要终端设备,通过网际网路协定(IP)传送电视信号,向家庭用户提供包括电视节目在内的多种互动式数字媒体服务。
IPTV的工作原理是把源端的电视信号数据进行编码处理,转化成适合IP网路传输的数据形式,然后通过IP网路传送,最后在接收端进行解码,再通过电脑或是电视播放。由于数据的传输速度要求比较高,所以要採用最新的高效视频压缩技术,例如H.264,MPEG4等。其主要特点在于互动性和实时性。
2.3 CDN技术
CDN的英文全称是ContentDeliveryNetwork,即内容分发网路,也称为内容传输网路。这个概念于1996年由麻省理工学院一个小组提出的,并开始对CDN技术进行研究,他们在1999年成立了一个专业CDN服务公司,为Yahoo提供了专业服务。如今在国内外已经有很多的企业和服务商开始使用内容传送网路CDN技术来提高网路服务质量,以满足用户的需求。
CDN是建立在现有IP网路基础结构之上的一种增值网路,是在套用层部署的一层网路架构。CDN的核心是利用智慧型化策略技术,将中心的内容和服务推送到网路边缘,使得用户可以在最近的和服务质量最佳的地方获取服务,其关键技术包括高速快取、负载均衡、内容路由、内容分发、内容存储和内容管理等。CDN的技术优点包括:(1)全局负载平衡,访问速度快,让用户连线到最近的伺服器上去。(2)热点内容主动传送,自动跟蹤,自动更新。(3)无缝集成、高可靠、可用性以及扩展性。(4) 减少对网路频宽资源的占用,具有智慧型的管理控制能力。(5) 传送的内容受到保护,而且内容提供商可在本地自己决定服务的内容。
基于上述的优点,CDN技术能提高宽频资源的利用率,增加流媒体在网际网路上的套用普及,这些套用包括线上播放、音乐点播、电视直播、互动游戏等,大大促进Internet套用和服务的发展。
但是,现有CDN网路都只是针对传统网际网路的网路结构、内容传送和业务开展方式建设起来的,如果直接用来为IPTV和OTT业务提供服务,还存在一些不足。如,对视频编码格式支持不足、时延太大、无法提供广播级的视频服务、系统结构过于简单、随着服务能力的扩展,需要不断的投资等。为了能够承担起 IPTV和OTT业务的存储、分发、传送,需要对现有CDN技术进行最佳化改造。
2.4 P2P技术
P2P是对等连线peertopeer模式的简称。目前,业界对P2P的定义还没有一个标準的说法,简单地说,P2P技术是一种用于不同终端用户之间、不经过中继设备直接交换数据或服务的技术。它打破了传统的Client/Server模式,在对等网路中,每个节点的地位都是相同的,具备客户端和伺服器双重特性,可以同时作为服务使用者和服务提供者。
P2P是採用一种与CDN完全不同的内容传递方式。P2P的核心是利用用户资源,通过对等方式进行档案传输,这完全不同于传统的客户伺服器计算模型。P2P通过“非中心化”的设计和多点传输机制,实现了不依赖伺服器而快速的交换档案。基于P2P的IPTV或OTT体系结构可以使得IPTV或OTT业务的广播和转播等门槛得到降低,可以让更多用户参与并提供自製的多媒体内容得到基于全球覆盖的共享和分发,同时还可以节约电信运营商之间的对接流量,减少网路建设成本。
然而,P2P系统也存在明显的缺点,就是可用性问题,儘管从整个系统而言,P2P是可靠的,但是对于单个内容或者单个任务而言,P2P是不稳定的,每个Peer可以随时终止服务,甚至退出系统,即交换的内容随时可能被删除或者被终止共享。
迄今为止,P2P网路已经历了集中目录式P2P网路模型、纯P2P网路模型、混合式P2P网路模型和结构化网路模型等几个时代,各种模型各有优缺点,有的还存在着本身难以克服的缺陷,因此,在目前P2P技术套用的阶段,各种网路结构依然能够共存,甚至呈现相互借鉴的形式。
P2P和CDN技术的融合
CDN和P2P被用于不同的领域,CDN主要用于可靠的Web和流媒体内容分发,而P2P则主要用于内容交换。两种技术各有优缺点。
显然,CDN和P2P技术的优缺点在套用上具有一定的互补性。如果能够结合P2P的扩展能力和CDN的可靠性、可管理性,就可以构建一个可管理的、能够承载电信级内容套用的IPTV或OTT系统平台。
从融合方式来看,CDN和P2P融合有两种形式,一种是将CDN的Cache设备以P2P的方式组织,利用P2P的目录服务和多点传输能力,实现CDNCache设备之间的内容交换,提升CDN的内容分发能力;另外一种是将CDN的管理机制和服务能力引入P2P网路,形成以CDN为可靠的内容核心,以P2P为服务边缘的架构,通过这种架构,可以在不增加CDN成本的同时有效提升CDN服务能力,更有效地避免了P2P套用的诸多弊端,这种架构下,用户需要通过P2P的客户端来获取服务。
相比较而言,第一种方式对于提高系统的扩展性帮助不大,仅仅是从管理和控制平面提高了CDN的内容分发能力。第二种方式套用前途更加广泛,是在当前运营商网路状况下最理想的媒体业务承载平台方案。
我们的CDN和P2P融合的最佳化方案是建立在CDN基础之上,在骨干网层次保留了原有的CDN系统的架构和功能,在边缘节点引入了P2P技术来进行档案及流媒体的共享,实现了CDN技术与P2P传输的结合。
P2P+CDN解决方案
通过分析CDN和P2P在作为媒体分发和交付系统时各自的技术特点,二者既有优点,也有缺点。为了扬长避短,我们将P2P的扩展能力、多用户共享资源能力与CDN的可靠性、可管理性结合起来,有效地利用和转化P2P技术,充分考虑运营商现有CDN的技术特性,构建一个新型的媒体分发和交付系统。
4.1系统整体结构
Ø 源伺服器(Origin Server):视频、网页、档案等内容源伺服器。
Ø 複製伺服器(replica servers)或者称边缘伺服器、代理快取:存有源伺服器中的全部或部分内容,它们直接服务于用户。
Ø 内容交付(content-delivery)组件:由源伺服器及位于网路边缘的边缘伺服器组成,提供向用户的内容传送。
Ø 请求重路由(request-routing )或重定向组件:负责把用户向的请求转向最合适的边缘伺服器。最合适是指:距离用户最近、满足负载均衡等参数。
Ø 内容分布组件(distributioncomponent):负责把位于源伺服器的内容分布到边缘伺服器,并维护内容的一致性。
Ø 记账组件(accounting component):维护用户访问及CDN使用情况,便于后续的计费。
4.2系统组织架构
从系统组织架构上,CDN和P2P相结合可採用以下两种结构进行实施。
4.2.1 CDN边缘节点伺服器之间的P2P
在CDN边缘节点的伺服器或硬体快取设备之间以P2P方式组织,利用P2P技术的共享计算资源和频宽资源,提升内容分发能力,由此减少CDN中心伺服器的负荷。结构如下:
4.2.2骨干CDN和边缘P2P
在骨干网层次保留了原有的CDN系统的架构和功能,在边缘节点引入可控制管理的P2P技术,进行流媒体的分发传送,实现了P2P技术与CDN的结合。通过骨干集中和边缘分散式架构,在骨干网路上使用CDN将媒体分发到边缘节点,在边缘网路上将P2P的流量严格限制在同一区域内,减少了骨干网上的突发流量。结构如下:
4.3 CDN+P2P架构的套用
P2P+CDN架构是基于CDN的,在骨干层面上保留了原有的CDN系统架构和功能,在边缘节点採用P2P技术进行媒体档案共享及分发。P2P+CDN的网路架构採用3层结构,分为中心层、边缘层和P2P自治域层,如图5所示。从中心层到边缘层和传统的CDN组织架构一样,由一个中心节点管理控制多个边缘节点,并对边缘节点分发节目。在边缘层以下的P2P自治域层是P2P+CDN架构的主要特点。为了便于P2P的管理,将系统服务的网路分成若干个区域,称之为P2P自治域,用户的数据交换仅限于在其所在的P2P自治域内,儘量避免跨域间的P2P交换,由此将用户的数据流控制在一个域内,减轻网路负载。
P2P自治域的划分遵循以下原则。
Ø 将P2P自治域根据CDN边缘节点所在的地理区域进行划分,使得该区域内的P2P节点充分连线,同时减少区域外节点互联。P2P自治域内用户的IP位址範围与其所在CDN边缘节点所服务的用户IP位址池範围一致。
Ø 将热点区域与冷门区域适当结合,利用冷门区域的网路频宽来缓解热点区域的网路压力,提高整体并发能力和网路利用效率。
Ø P2P自治域用户数和覆盖网路範围不宜太大也不宜太小,太大不宜于管理控制,太小则对P2P的优势利用不够充分,可根据系统网路实际特点,经测试得到合适的网路覆盖範围及用户数量。
Ø 在所有设定的P2P自治域以外,设定单独的逻辑P2P自治域,提供负载冗余的功能。当各个实际P2P自治域网路负载能力达到上限的时候,加入逻辑P2P自治域来增强超载P2P自治域的网路负载的能力。逻辑P2P自治域可部署在每个实际P2P自治域内,可同时起到服务和备份的功能。
P2P+CDN架构各层次的节点功能模组如下图所示:
中心节点
在中心层的中心节点延用了CDN的全局负载均衡机制、内容分发与快取机制,中心节点依旧是整个系统的节目源存储中心,运营支撑管理中心和业务套用管理中心。与传统CDN中心节点不同的是, CDN+P2P架构的中心节点增加了P2P管理中心的模组,为整个系统提供集中管理功能,实现对所有CDN边缘节点的P2P的统一管理和监控。
边缘节点
在CDN边缘节点部署多台伺服器设备,并使其具备以下6个主要功能。
Ø 与中心节点构成内容分发体系,实现内容的有序分发和传送,将节目源按照传统的CDN工作模式从中心节点推送(push)或者拉取(pull)到各个边缘节点。
Ø 将接收到的节目源进行档案切片,并以切片的方式对节目源进行存储快取。同时,具有流媒体服务的功能模组,为连线上的用户以P2P的方式提供媒体流服务。
Ø 作为P2P自治域的内容索引伺服器。CDN边缘节点提供该域内的P2P内容服务的功能。当该CDN边缘节点接收到来自中心节点某个节目时,将接收到的节目作为种子,并将其内容作索引服务,为该P2P自治域的用户节点(peer)找到同时获取该内容的用户。当服务的用户节点(peer)足够多时,边缘节点可以退出该媒体档案的分发,完全由用户节点之间进行分发。
Ø 作为P2P自治域的管理伺服器。传统的P2P是一个没有管理的自组织系统,没有中心控制与管理的伺服器。为了增加P2P的可管理性,在CDN边缘节点的设备上部署P2P管理功能模组,对该自治域内的P2P网路进行管理、控制和服务保障,也实现对内容索引服务、节目发布服务、媒体播放服务的配置管理和状态查询。当P2P服务将网路频宽资源耗尽,影响到服务质量时,P2P管理监测到网路状态,会对用户端进行流量限速控制,避免网路发生拥塞。同时,边缘节点的P2P管理功能是中心节点P2P管理中心的代理(Agent),实时地与中心节点的该功能模组进行信息互动,以便中心节点对边缘节点的P2P进行实时监控和配置管理。
Ø 为用户提供互联服务。实际网路中存在大量的防火墙和NAT设备,对P2P的内容分发与互联形成屏障,为保证用户穿越防火墙和NAT设备,在CDN边缘伺服器中部署互联服务模组,实现用户节点之间的点对点连线。
Ø 提供安全服务。为防止P2P网路中的欺骗、偷听、中间人等攻击,在CDN边缘伺服器中部署安全服务模组。对用户进行认证,并签发证书,以保证互相通信的peer都为合法用户。
在实际套用中,P2P管理服务、内容分发服务、互联服务功能模组部署在同一台伺服器上,档案存储、档案切片、流媒体服务、索引服务功能模组部署在同一台伺服器上,安全管理可部署在任意一台伺服器中。由此避免伺服器模组之间的互动由于网路通信的不稳定受到影响。伺服器部署的数量要根据P2P域的大小及并发流量进行计算确定。
用户终端节点
用户终端上应安装媒体播放器,以便将媒体数据流的播放呈现给用户,媒体播放器根据媒体的格式而定。为了实现P2P功能,用户终端必须安装具有P2P功能的客户端软体,实现直接连线其他用户、P2P数据的接收以及P2P数据的继续分发,并将接收到的P2P数据提供给媒体播放器播放。客户端的部署形式可以是媒体播放器的外挂程式,也可以是具有单独界面的软体。
P2P+CDN增值服务
TCP加速
通过对TCP连线进行最佳化,可实现访问过程实时加速,如网路游戏、炒股软体等套用,保持快速连线,对原访问方式大幅加速,提高套用效果。
安全防护
速必拓安全防护从内部(含客户网站、本地/网站DNS)和外部网际网路攻击两个方面防护安全隐患,主要涉及:服务可用性、数据安全性,如防篡改、防盗链、源站保护、防DNS攻击等。
分散式存储
速必拓分散式存储为客户提供源站档案大容量存储和上传,将不同档案分布到不同伺服器上进行存储,以实现数据的分散式存储,让每台机器只为相对固定的用户服务,以实现平行的构架和良好的扩展性。大规模内容分散存储、边缘分发,解决了网路传输环节中伺服器负载过大、频宽消耗巨大的问题。
网站质量评测报告
速必拓与第三方公司合作,共同对客户网站进行服务质量的评测,利用第三方的检测系统,在回响时间与可用性方面测试出具体数值,不但可以对客户网站的服务质量进行检测,还可以通过此产品向客户展示CDN的加速效果,并对服务不满意的地区进行针对性调试。
源站点监控
速必拓的源站监控服务,专门针对客户源站进行7x24小时监控,当源站服务出现问题时,会第一时间通知到客户网站负责人,使问题及时解决,最大限度减小客户网站的运营损失,营造良好口碑。
通过对TCP连线进行最佳化,可实现访问过程实时加速,如网路游戏、炒股软体等套用,保持快速连线,对原访问方式大幅加速,提高套用效果。
安全防护
速必拓安全防护从内部(含客户网站、本地/网站DNS)和外部网际网路攻击两个方面防护安全隐患,主要涉及:服务可用性、数据安全性,如防篡改、防盗链、源站保护、防DNS攻击等。
分散式存储
速必拓分散式存储为客户提供源站档案大容量存储和上传,将不同档案分布到不同伺服器上进行存储,以实现数据的分散式存储,让每台机器只为相对固定的用户服务,以实现平行的构架和良好的扩展性。大规模内容分散存储、边缘分发,解决了网路传输环节中伺服器负载过大、频宽消耗巨大的问题。
网站质量评测报告
速必拓与第三方公司合作,共同对客户网站进行服务质量的评测,利用第三方的检测系统,在回响时间与可用性方面测试出具体数值,不但可以对客户网站的服务质量进行检测,还可以通过此产品向客户展示CDN的加速效果,并对服务不满意的地区进行针对性调试。
源站点监控
速必拓的源站监控服务,专门针对客户源站进行7x24小时监控,当源站服务出现问题时,会第一时间通知到客户网站负责人,使问题及时解决,最大限度减小客户网站的运营损失,营造良好口碑。
页面加速主要功能 | 档案传输加速主要功能 | 流媒休加速主要功能 |
●支持网页压缩 | ●支持智慧型均衡负载,内容刷新 | ●支持多种流媒体格式 |
●支持地域化内容访问 | ●支持各种格式软体及补丁升级 | ●支持档案快取预载入 |
●支持内容刷新 | ●支持日誌下载 | ●支持动态调整各CDN节点资源 |
●支持断点续传 | ●支持网路存储备份 | ●支持不同ISP商间的畅通传输 |
●支持日誌下载 | ●支持实时频宽查询 | ●支持日誌查询下载 |
●支持实时频宽查询 | ●提供计费月报 | ●支持断点续传 |
●提供计费月报 | ●充足冗余频宽 | ●支持动态扩容 |
●频宽资源雄厚 |