许多播放器支持 LL-HLS 和/或 LL-DASH 协议,包括 Apple 的 AVPlayer、Shaka 播放器、HLS.js Dash.js 等。本文致力于分析低延迟播放器和流媒体协议的性能。 这些结果随后用于描述观察到的 LL-HLS 和基于 LL-DASH 的播放器的性能差异。 HLS.js 下载了 662 个块和 11 个整段。与 Shaka 播放器不同,AVPlayer 和 HLS.js 下载了 600 多个媒体对象。 最后,我们看看 LL-DASH 播放器的行为。这些播放器实现的比特率和延迟变化的动态分别如图 10 和图 11 所示。 图 10 比特率随时间变化 – LL-DASH / T-Mobile 4G 图 11 随着时间的推移实时延迟 – LL-DASH / T-Mobile 4G 根据表 5 和图 10,我们注意到原始 Dash.js
支持播放格式:MP4、HLS、FLV、MPEG-DASH 兼容性: PC Web端支持直接播放mp4视频,播放HLS、FLV、MPEG-DASH需要浏览器支持Media Source Extensions iOS系统Web场景支持直接播放mp4和HLS,不支持播放FLV、MPEG-DASH 安卓系统Web场景支持直接播放mp4和HLS,播放FLV、MPEG-DASH需要浏览器支持Media Source Extensions 之前我有写过一篇文章,可以查看具体的使用方法 2、flv.js播放器,HTML5 视频播放器以纯 JavaScript 编写,不含 Flash。 兼容性: Chrome, FireFox, Safari 10, IE11 和 Edge 3、chimee H5播放器 奇舞团视频云出品,到目前为止在github上已经斩获2.3K颗星。 支持格式:HLS,FLV,MPEG DASH,WebTorrent
使用 MPEG-DASH,当网络阻塞时,视频流会自动调整到较低清晰度。 这样可以减少在播放器下载下几秒钟要播放内容时观众看到“暂停”视频的可能性(也就是说,它减少了缓冲的可能性)。 当网络拥塞减少时,视频播放器将转而恢复到较高质量的流。 这种适应所需带宽的能力也会导致视频开始的速度更快。 这意味着可以在快速下载较低质量段播放最初的几秒钟,并在已缓冲足够内容后提升到更高质量。 Dash.js 是用 JavaScript 编写的开源 MPEG-DASH 视频播放器。 其目标是提供可以在需要视频播放的应用程序中自由重用的功能强大的跨平台播放器。 它在支持 W3C 媒体源扩展 (MSE) 的任何浏览器(目前为 Chrome、Microsoft Edge 和 IE11,其他浏览器已指示有意支持 MSE)中提供 MPEG-DASH 播放。 有关 DASH.js、js 的详细信息,请参阅 GitHub dash.js 存储库。
本文是来自MHV(Mile High Video)2019的演讲,演讲的作者是来自Tencent America的Iraj Sodagar,同时Iraj也是MPEG DASH小组主席、DASH-IF主席 本次演讲主要展示 了未来将要发布的MPEG DASH第四版新增的功能。 在演讲的开始,Iraj简要介绍了MPED DASH第三版的内容,随后着重介绍了今年年底或明年年初将要发布的MPEG DASH第四版的一些新的功能,有服务描述(延迟、操作质量、操作带宽);初始化集、组和表示 随后介绍了DASD-IF(DASH Industry Forum)当前的工作计划,包括DASH-IF实时媒体摄取规范、低延迟DASH指南、事件和定时元数据处理API、广告插入通用架构。 最后讨论了当前DASH的限制和挑战。 演讲PPT全文 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
4 dash.js dash.js播放器是最佳MPEG-DASH播放器之一,其声明的目标是:“dash.js是DASH行业论坛发起的,目的是使用W3C所定义的媒体源扩展API来实现产品级品质的框架,该框架用于创建播放 MPEG-DASH内容的视频和音频播放器。” 对于这款开源播放器,你可以免费使用源代码,并且按照自己的需求和要求修改dash.js播放器。 THEOplayer的HTML5视频播放器支持HLS、DASH、Smooth Streaming以及HLS和DASH的低延迟变体协议。 11 Flowplayer Flowplayer是一款非常轻量级的、可扩展的视频播放器,它是为视频流媒体提供商准备的Flowplayer全栈解决方案的一部分。
所以接下来,我们使用ffmpeg+QAudioOutput来实现一个简单的音频播放器. 2.界面展示 因为业余爱好,只是简单实现了大部分功能,支持播放、暂停、恢复、换歌、播放进度调节,如下图所示: ?
分析图中的case1,为了保证对播放器的快速响应,直接分发了历史分片3,由于切片的长度为8s,生成第一个分片就会累计8s延迟,再加上当前编码器中最新未生成的3s的缓存数据,那么本次请求的延迟就是11s左右 以下是腾讯云中国香港的媒体处理中心切片生成的CMAF流配合腾讯云直播cdn分发的效果对比普通DASH流效果图: 图11.CMAF和普通MPEG-DASH效果对比图 测试环境说明: 编码器位置:云直播中国香港集群 测试播放器:DASH.js 效果:整体效果看,CMAF比普通的MPEG-DASH流降低了15s左右的延迟。当然,测试效果和播放器的策略有一定相关性。 图14.CMAF中m4s分片结构图 图15.普通MPEG-DASH中m4s分片结构图 关于播放器兼容性: 目前我们测试验证主要基于几款开源的web播放器,比如DASH.js、THEOplayer。 ios和安卓端目前还没验证播放器相关特性以及兼容性问题。播放器兼容问题也一直是DASH和CMAF协议所面临的挑战。
通过几个简单的模式,Dash提取了构建基于Web的交互式应用程序所需的所有技术和协议。 Dash非常简单,仅仅需要一个下午写Python代码就可以完成。 Dash应用程序在Web浏览器中呈现。 由于Dash应用程序是在Web浏览器中查看的,因此Dash本质上是跨平台且可移动的。Dash是一个开放源代码库,根据许可的MIT许可证发布。 dash安装 pip install dash==1.19.0 dash布局 Dash应用程序由两部分组成。第一部分是应用程序的“布局”,它描述了应用程序的外观。第二部分描述了应用程序的交互性。 import dash import dash_core_components as dcc import dash_html_components as html import plotly.express import dash import dash_core_components as dcc import dash_html_components as html import plotly.express
打包过的视频和清单被存储在源站服务器,并等待被分发给播放器(通常使用CDN)。 在另一端,有一个兼容了MPEG-DASH的播放器,其中内置了ABR引擎。 播放器持续监测带宽条件。根据可用带宽,播放器选择MPEG-DASH MPD中描述的码率之一,并请求CDN从该变体(Variant)中发送下一个视频块。 MPEG-DASH的清单(MPD)示例 下面是一个简单的MPEG-DASH清单(MPD)示例,通过DASH协议可以向DASH兼容的播放器传输视频。 <! MPEG-DASH支持广告插入(包括客户端和服务器端的广告插入)。 哪些播放器支持MPEG-DASH? 很多播放器支持MPEG-DASH且服务于各种应用和设备。 本篇文章中,我们介绍了ABR技术的基础知识、MPEG-DASH的历史及其工作原理、MPD文件示例、DASH兼容的视频播放器等等。
所以我们需要一个播放器实现来人为地跳过这些间隙,这也是之后给 dash.js 添加的一个关键特征。 什么会导致间隙的产生呢? 由 Internet Explorer 11 实现(windows 8.1)。 ProtectionModel_21Jan2015.js:最新的 EME 实现。 在这种情况下,播放器没有要下载和播放的片段。dash.js 能够通过调整锚定时间来处理这种情况。“now UTC”时间被最后一段的“presentation time”代替。 这样,最终比实时边缘落后 11 秒——来自第三段的 8 秒,来自第四段的 3 秒。 等待第 4 段结束并立即开始下载和播放。最终得到 8 秒的延迟和 5 秒的等待时间。 它清楚地表明“每个”媒体播放器都可以与“每个” CDN 通信,并“一致地”接收和处理数据。这很重要,因为我们不希望针对不同的播放器和 CDN 组合有多种不同的规范。
上述播放器所用的传输协议很有趣,除了苹果播放器之外,其他都用的是 DASH 协议: Native AVPlayer - HLS; ExoPlayer - DASH; Roku Player - DASH ; Bitmovin - DASH; SmartTV - DASH; Chromecast - DASH; Hisense - DASH; XBOX - DASH。 理想情况 在理想情况下,我们应该能做到: 将一组 fmp4 转码为 h264 和 h265 输出; 从一组转码的 h264 和 h265 输出中打包 HLS 和 DASH; 播放器选择他们支持的格式进行播放 ; dash 播放器和hls 播放器都加密一次(加密方法); 所有设备可以解密所有媒体格式。 如果您需要支持 CENC,则需要为 hls 和 dash 提供 2 套媒体格式。 这样做的问题在于,特定的 DASH 播放器可能无法在两个视频编解码器之间切换。
低延迟:CMAF把segment切成了更小的块单元进行传输,首先不需要等待segment完全生成的编码延迟,其次更快的请求响应能力能够提升播放器的响应速度,整体上保证了播放器能否在一个块产生的延迟里获取到最新的一个块 分析图中的case1,为了保证对播放器的快速响应,直接分发了历史分片3,由于切片的长度为8s,生成第一个分片就会累计8s延迟,再加上当前编码器中最新未生成的3s的缓存数据,那么本次请求的延迟就是11s左右 测试播放器:dash.js 效果:整体效果看,CMAF比普通的MPEG-DASH流降低了15s左右的延迟。当然,测试效果和播放器的策略有一定相关性。 参考文档 1.Common Media Application Format for Segmented Media-ISO/IEC JTC1/SC29/WG11 N16186. 2.https://github.com /Dash-Industry-Forum/dash.js/wiki/Low-Latency-streaming. 3.https://github.com/cannonbeach/ott-packager
首先Bo介绍了低延迟DASH流是什么,其中,一个低延迟流,从编码器屏幕到播放器屏幕之间的延迟必须要低于5秒;视频片段会被分割成许多的块来进行编码传输;且低延迟的特性也决定了它在传输路径上不应有额外的缓冲 DASH-IF所提出的最新变动中,包含了这些特性:添加了许多重新同步的节点,来使流可以被独立地处理;增加了功能描述,来告知播放器应当如何在低延迟模式下进行工作。 Bo还介绍了在低延迟流中的前人工作,DVB低延迟DASH:使用GPAC软件实现的GPAC低延迟DASH;苹果的低延迟HLS,使用的是苹果服务器和IOS的音视频播放器,以及社区驱动的LHLS。 随后Bo展示了本次工作中低延迟DASH实现的DEMO的设置, ? 其中,编码器和播放器在波士顿区,而服务器则在西雅图。 最后Bo讨论了一些低延迟DASH的潜在问题,首先低延迟DASH的灵活性比传统的低延迟流要差;块的大小和延迟之间也存在着交换;低延迟DASH只支持HTTP/1.1。 最后附上演讲视频:
Dash则将前端后端集成在一起,只需写简单的回调就能实现交互功能。1.1 安装pip install dash安装后即可构建一个Dash应用了!现在来创建一个小的Dash应用。 # app.pyfrom dash import Dash, htmlapp = Dash(__name__)app.layout = [html.Div('Hello world!')] # app.pyfrom dash import Dash, html app = Dash(__name__)app.layout = [html.Div('Hello world!')] ,所以调用Dash的第三方拓展库dash_bootstrap_components就可以大大减少前端页面设计工作。 import dash_bootstrap_components as dbcimport dash app = dash.Dash( __name__, # 用于引入外部的css,有了这部分网页才有更多样的形式
而各大视频网站如YouTube和Netflix也已经支持MPEG-DASH,并且发展出了多种MPEG-DASH播放器。 下面我们来对DASH协议及其工作流程进行分析。 - 协议工作流程 - 上面分析了DASH协议,接下来我们对该协议工作流程也做一个说明,主要是播放器针对DASH协议下载播放流程及其特性自适应多码率切换逻辑。 自适应多码率切换逻辑 上面分析了DASH协议的播放器下载流程,接下来我们继续分析一下DASH的自适应多码率切换逻辑。 灰度验证 在DASH协议的播放灰度验证中,由于DASH对比FLV、HLS来说其发展时间相对较短,在多个DASH播放器之间也存在着一些兼容性问题。 DASH常用的播放器有dash.js(Web端)、Shaka Player(Web端)、Exo Player(Android端)等等。
关于Python可视化Dash工具,不能不提dash核心组件和html组件,用户可以使用Python结构和dash-html-components库来构建布局,而不是编写HTML或使用HTML模板引擎 dash-html-components库和标准的html还是有点区别的。以下内容来自dash官网的介绍: 如果使用的是HTML组件,那么还可以访问诸如style、class和id之类的属性。 import dash import dash_core_components as dcc import dash_html_components as html from dash.dependencies import Input, Output, State, MATCH, ALL import plotly.express as px import random as rn app = dash.Dash '), html.Div([ html.P('Dash P 测试1'), html.P("Dash P 测试2"), html.Div('Div
在这段时间内,播放器可以对新的带宽条件做出适当的反应,从而为播放器腾出一些时间来适应。缓冲时间通常还会影响比特率适应决策,因为低缓冲水平可能意味着更积极的向下适应。 DASH媒体表示描述(DASH Media Presentation Description, MPD)是一个包含DASH流基本元数据的XML文档。 低延迟流与MPEG-DASH 前文描述了分块编码和传输如何允许对仍在编码过程中的片段进行部分加载和使用。为了让播放器意识到这个动作,MPD中的片段可用性被调整到发送更早的可用性,即当第一个片段完成时。 " 10 suggestedPresentationDelay="PT2S" 11 availabilityStartTime="2019-08-20T05:00:03Z" 12 publishTime DASH行业论坛正在为低延迟DASH制定指导方针,预计将于2020年7月初在下一代DASH-IF Interoperability Points(DASH-IF IOP)中发布。
DVB-DASH定义了基于MPEG DASH规范并通过HTTP自适应流传输的电视内容交付。MPEG DASH是第一个国际标准化的基于HTTP的自适应比特率流传输解决方案。 为了提高互操作性,在DVB-DASH中定义了额外的限制和要求,并参考了DVB工具箱中适合与MPEG DASH一起使用的视频和音频编解码器。 面对的问题 由于传送网络的段长度和未知性能,DASH播放器中引入了Internet交付内容中的一些延迟。播放器采取的策略通常是缓冲多个段以减少卡顿的可能性。也可以采用更短的段来实现更低的延迟。 然后DASH打包程序将每组帧放入CMAF块中,并将其传入CDN。 当DASH客户端通过流式传输服务时,它使用媒体表示描述(MPD)文件获取服务参数。通常MPD会在整个段可用之后发出该段可用的信号。 图1 低延迟DASH服务的基本信息流 播放器在其较早的可用时间从CDN请求片段,并且CDN交付第一个块。随后的块在被传送到CDN时被交付给播放器。播放器不缓冲整个段,而是缓冲一个或两个块。
k8dash一览 k8dash于2019年3月首次发布。 它已经获得了超过660个GitHub星星和超过110万次Docker Hub拉取。 2020年5月,Indeed Engineering采用了k8dash项目。k8dash在Indeed作为标准安装。 请在 github.com/indeedeng/k8dash 给项目打星。 k8dash桌面 k8dash移动 k8dash特性 有了k8dash,就可以了: 完全管理你的集群,包括命名空间、节点、pod、副本集、部署、存储、RBAC等。 为什么使用k8dash? : https://k8dash.io/
项目的首席开发人员,我们经常面对这样的情况:我们必须评估DASH传输失败是由dash.js播放器实现中的实际bug引起,还是由错误的内容生成引起。 / 播放时序的特定问题 / “请保证您的播放器的当前播放时间不要掉出滑动窗口” 当开发DASH播放器或者创建DASH MPD时,一个关键概念是要理解DASH时序模型。 当给出了带有 <SegmentTimeline> 的明确时间信息时,播放器能够调整自身操作。下图就说明了这种调整: 播放器使用 MPD@timeShiftBufferDepth属性确定DVR窗口。 在这种情况下,播放器将找不到可供下载和播放的切片。 dash.js播放器能够处理大部分以上情况,并帮助识别和解决此类问题。