十年磨一剑，美国视频巨头Hulu的直播系统架构实践

Hulu现有视频系统

Hulu 终端和视频内容

Hulu应用程序可以在电视、电脑、各种移动设备，甚至游戏机上访问，如下图：

Hulu 最初也是一个网站。随着时间的推移，尤其是在美国家庭的客厅里，用户经常观看视频，Hulu 不断开发和适配可以播放视频的硬件。点播内容主要是电视、电影、自制剧、少儿节目等制作相对专业的内容。

葫芦商业模式

Hulu主要有两种商业模式，一是通过视频广告盈利，二是通过注册会员盈利。

下图是一个电影广告的例子。不仅有常见的视频广告，还有可以直接与用户互动的部分，促使用户点击购买电影票。多年来，Hulu 尝试了多种广告模式，包括客厅设备上的多种互动形式。

除了广告之外，会员制也是Hulu赚钱的主要方式。用户通过注册成为会员并缴纳会员费，即可享受最新最全的电视节目。

点播系统面临的挑战和关键技术

数字视频供应链

虽然用户无法直接看到视频供应链，但却会对用户产生直接影响。 Hulu在美国市场最大的卖点是电视台播出的节目可以第二天同步在线。

这个看似简单的要求背后，实际上对之前的整个处理周期提出了很高的要求，比如上线速度、用户观看时间的管理等，每个环节都要做好。面对供应链带来的挑战，Hulu建立了一套完整的视频转码系统，由这个分布式集群来处理。

多平台视频服务

面对多平台播放的挑战，Hulu构建了多平台视频服务，并制作了自己的播放器，保证各平台正常播放。一套统一的视频流可以支持所有平台。

还有基于DASH的统一视频格式，在扩展性和打包效率方面也表现不错。

内容保护

Hulu基于DASH和CENC构建了多DRM视频系统，保证不同平台即使使用不同的DRM系统也能使用统一的加密视频源。

广告插入

当网络较差时，插入广告可能会导致视频重新缓冲，这可能会给用户带来负面影响。 Hulu的方法基于DASH XLINK的动态广告插入机制。两者可以在流上合并，并且可以实时预加载播放器，无需切换播放器、流等。

视频播放质量保证

为了保证视频播放质量，Hulu建立了视频播放质量保证体系，包括客户端自适应动态码流切换、多个CDN自动切换、实时视频QOS监控和响应系统等。

现有视频点播系统架构

下图展示了围绕点播产品的系统架构：

目前很多网络视频的架构基本相似，但Hulu的特别之处在于：

美国内容厂商对内容安全性要求很高，要求所有内容都必须有DRM加密模式，因此这里构建了比较完善的DRM许可证，以保证所有内容都能安全播放。

在重要的广告部分，部署独立的广告服务器，保证用户良好的广告体验，杜绝冗长、重复的广告。

Hulu OTT 直播应用

OTT是Hulu新推出的直播应用。直播在点播上增加了很多模块，但也有很多困难需要克服。

以下是直播系统的要求：

高清、高帧率直播。

尽可能接近IPTV 体验：低延迟、快速启动和切换。

724小时不间断直播服务。

接近点播体验的直播内容。

基于DASH的直播系统

为了满足OTT直播应用的需求，Hulu开发了基于DASH的直播系统。

下面是一个简单的架构图：

CP接入流通过TS Over RTP将内容发送到多比特率直播编码器。编码器输出6~8种不同码率，最小可达128K，满足用户低带宽强度下的需求。

之后，进入封装和加密过程，封装成Apple和DASH格式。一方面，时间信息和元数据存储在实时数据库中用于MPD生成。另一方面，将实际的数据文件进行封装，按照时间切割成小块，上传到源站，然后到CDN。

当客户端播放器准备开始播放时，它会向MDP服务器获知哪些视频可以播放，同时通过CDN获取实际的视频文件。

搭建直播系统面临的挑战

“点播”直播

Hulu希望在直播过程中达到点播效果。直播时，您可以随意观看之前的视频，如下图：

为了实现这种点播使用模式，Hulu 采用了DASH 视频格式来应对。

主要做了以下几件事：

时间和时间信息存储在Manifest中。 MPD不仅描述了视频本身，还描述了发生了什么，比如现在是否正在播放广告等，这些都存储在Manifest模式中。

使用视频流、短段传输和分割音频。这允许您在多个比特率之间切换并同时调整到任何播放位置。

全平台覆盖。可以支持网页、客厅设备、移动设备等几乎所有客户端设备。

如下图，为DASH格式：

用户瞬间增加

应对用户直播量瞬间激增是大多数直播平台都会遇到的事情，Hulu也不例外。这种事情在网上很常见。当热门节目推出时，例如HBO的新《权力的游戏》，流量会增加十倍以上。生长。

应对这种情况最有效的方法就是提高系统的灵活性和可扩展性。解决方案是构建微服务架构，主要方法如下：

负载平衡。在全球建立三个数据中心节点，每个节点之间可以进行负载均衡。

微服务框架。基于Docker 的可扩展微服务框架。下面是一个简单的图：

利用公有云来抵抗负载。当发现数据中心负载无法承受时，就会溢出到公有云。

全方位服务状态监测报警系统。当任何服务检测到RPS等发生变化时，都会发出警报，运维人员会尽快处理。

还有多CDN自动流量分配机制。最高级别是手动规则，根据目前国内的使用情况调整比例。当实际CDN访问失败时，会使用Fallback到另一个CDN，其他客户端也有自动流量分配算法调整。

用户观看质量

如何保证用户观看视频的质量？比如如何保证屏幕不会黑屏？ Hulu建立了实时视频质量监控系统，并在每个客户端中嵌入了相关模块。这些模块将收集关键指标。

下图是实时视频质量监控流程图：

部分采用SBAK实时事件处理进入QOS进行下一步处理。另外，实时处理模块最终会被添加到Elastic Search中。

这样就可以观察缓冲率、平均码率、直播延迟等情况。如上图，不同的颜色其实是不同团队的职责。

如下图所示，是整个流程中所有SLA的监控。对于某个服务的监控，绿色表示情况比较好，红色表示有问题。当数字变大时，就需要引起注意了。这里有各种指标。基本上所有的系统都有这样一个相应的监控系统。每个队伍都可以看到自己队伍的整体状态。

以上内容根据李斌老师在WOTA2017《高性能直播系统架构》分会场的演讲整理而成。专注于架构、算法、运维等技术领域。如果您有兴趣提交文章或寻求报告，请联系wangxy@51cto.com