本文是来自MHV(Mile High Video)2019的演讲,演讲的作者是来自Tencent America的Iraj Sodagar,同时Iraj也是MPEG DASH小组主席、DASH-IF主席 本次演讲主要展示 了未来将要发布的MPEG DASH第四版新增的功能。 在演讲的开始,Iraj简要介绍了MPED DASH第三版的内容,随后着重介绍了今年年底或明年年初将要发布的MPEG DASH第四版的一些新的功能,有服务描述(延迟、操作质量、操作带宽);初始化集、组和表示 随后介绍了DASD-IF(DASH Industry Forum)当前的工作计划,包括DASH-IF实时媒体摄取规范、低延迟DASH指南、事件和定时元数据处理API、广告插入通用架构。 最后讨论了当前DASH的限制和挑战。 演讲PPT全文 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
通过几个简单的模式,Dash提取了构建基于Web的交互式应用程序所需的所有技术和协议。 Dash非常简单,仅仅需要一个下午写Python代码就可以完成。 Dash应用程序在Web浏览器中呈现。 由于Dash应用程序是在Web浏览器中查看的,因此Dash本质上是跨平台且可移动的。Dash是一个开放源代码库,根据许可的MIT许可证发布。 dash安装 pip install dash==1.19.0 dash布局 Dash应用程序由两部分组成。第一部分是应用程序的“布局”,它描述了应用程序的外观。第二部分描述了应用程序的交互性。 import dash import dash_core_components as dcc import dash_html_components as html import plotly.express import dash import dash_core_components as dcc import dash_html_components as html import plotly.express
打包过的视频和清单被存储在源站服务器,并等待被分发给播放器(通常使用CDN)。 在另一端,有一个兼容了MPEG-DASH的播放器,其中内置了ABR引擎。 播放器持续监测带宽条件。根据可用带宽,播放器选择MPEG-DASH MPD中描述的码率之一,并请求CDN从该变体(Variant)中发送下一个视频块。 MPEG-DASH的清单(MPD)示例 下面是一个简单的MPEG-DASH清单(MPD)示例,通过DASH协议可以向DASH兼容的播放器传输视频。 <! MPEG-DASH支持广告插入(包括客户端和服务器端的广告插入)。 哪些播放器支持MPEG-DASH? 很多播放器支持MPEG-DASH且服务于各种应用和设备。 本篇文章中,我们介绍了ABR技术的基础知识、MPEG-DASH的历史及其工作原理、MPD文件示例、DASH兼容的视频播放器等等。
4 dash.js dash.js播放器是最佳MPEG-DASH播放器之一,其声明的目标是:“dash.js是DASH行业论坛发起的,目的是使用W3C所定义的媒体源扩展API来实现产品级品质的框架,该框架用于创建播放 MPEG-DASH内容的视频和音频播放器。” 你可以看到很多公司将dash.js作为独立播放器使用,或者作为插件(比如videojs-contrib-dash[2])内置于VideoJS中使用。 对于这款开源播放器,你可以免费使用源代码,并且按照自己的需求和要求修改dash.js播放器。 THEOplayer的HTML5视频播放器支持HLS、DASH、Smooth Streaming以及HLS和DASH的低延迟变体协议。
许多播放器支持 LL-HLS 和/或 LL-DASH 协议,包括 Apple 的 AVPlayer、Shaka 播放器、HLS.js Dash.js 等。本文致力于分析低延迟播放器和流媒体协议的性能。 这些结果随后用于描述观察到的 LL-HLS 和基于 LL-DASH 的播放器的性能差异。 接下来,我们将注意力转移到 LL-DASH 播放器上。这些播放器实现的比特率和延迟变化的动态分别如图 6 和图 7 所示。 最后,我们观察到所有 LL-DASH 播放器下载的片段数量几乎相同,下载的数据总量与这些播放器使用的平均比特率成正比。 最后,我们看看 LL-DASH 播放器的行为。这些播放器实现的比特率和延迟变化的动态分别如图 10 和图 11 所示。
上述播放器所用的传输协议很有趣,除了苹果播放器之外,其他都用的是 DASH 协议: Native AVPlayer - HLS; ExoPlayer - DASH; Roku Player - DASH ; Bitmovin - DASH; SmartTV - DASH; Chromecast - DASH; Hisense - DASH; XBOX - DASH。 理想情况 在理想情况下,我们应该能做到: 将一组 fmp4 转码为 h264 和 h265 输出; 从一组转码的 h264 和 h265 输出中打包 HLS 和 DASH; 播放器选择他们支持的格式进行播放 ; dash 播放器和hls 播放器都加密一次(加密方法); 所有设备可以解密所有媒体格式。 如果您需要支持 CENC,则需要为 hls 和 dash 提供 2 套媒体格式。 这样做的问题在于,特定的 DASH 播放器可能无法在两个视频编解码器之间切换。
首先Bo介绍了低延迟DASH流是什么,其中,一个低延迟流,从编码器屏幕到播放器屏幕之间的延迟必须要低于5秒;视频片段会被分割成许多的块来进行编码传输;且低延迟的特性也决定了它在传输路径上不应有额外的缓冲 DASH-IF所提出的最新变动中,包含了这些特性:添加了许多重新同步的节点,来使流可以被独立地处理;增加了功能描述,来告知播放器应当如何在低延迟模式下进行工作。 Bo还介绍了在低延迟流中的前人工作,DVB低延迟DASH:使用GPAC软件实现的GPAC低延迟DASH;苹果的低延迟HLS,使用的是苹果服务器和IOS的音视频播放器,以及社区驱动的LHLS。 随后Bo展示了本次工作中低延迟DASH实现的DEMO的设置, ? 其中,编码器和播放器在波士顿区,而服务器则在西雅图。 最后Bo讨论了一些低延迟DASH的潜在问题,首先低延迟DASH的灵活性比传统的低延迟流要差;块的大小和延迟之间也存在着交换;低延迟DASH只支持HTTP/1.1。 最后附上演讲视频:
Dash则将前端后端集成在一起,只需写简单的回调就能实现交互功能。1.1 安装pip install dash安装后即可构建一个Dash应用了!现在来创建一个小的Dash应用。 # app.pyfrom dash import Dash, htmlapp = Dash(__name__)app.layout = [html.Div('Hello world!')] # app.pyfrom dash import Dash, html app = Dash(__name__)app.layout = [html.Div('Hello world!')] ,所以调用Dash的第三方拓展库dash_bootstrap_components就可以大大减少前端页面设计工作。 import dash_bootstrap_components as dbcimport dash app = dash.Dash( __name__, # 用于引入外部的css,有了这部分网页才有更多样的形式
而各大视频网站如YouTube和Netflix也已经支持MPEG-DASH,并且发展出了多种MPEG-DASH播放器。 下面我们来对DASH协议及其工作流程进行分析。 - 协议工作流程 - 上面分析了DASH协议,接下来我们对该协议工作流程也做一个说明,主要是播放器针对DASH协议下载播放流程及其特性自适应多码率切换逻辑。 自适应多码率切换逻辑 上面分析了DASH协议的播放器下载流程,接下来我们继续分析一下DASH的自适应多码率切换逻辑。 灰度验证 在DASH协议的播放灰度验证中,由于DASH对比FLV、HLS来说其发展时间相对较短,在多个DASH播放器之间也存在着一些兼容性问题。 DASH常用的播放器有dash.js(Web端)、Shaka Player(Web端)、Exo Player(Android端)等等。
关于Python可视化Dash工具,不能不提dash核心组件和html组件,用户可以使用Python结构和dash-html-components库来构建布局,而不是编写HTML或使用HTML模板引擎 dash-html-components库和标准的html还是有点区别的。以下内容来自dash官网的介绍: 如果使用的是HTML组件,那么还可以访问诸如style、class和id之类的属性。 import dash import dash_core_components as dcc import dash_html_components as html from dash.dependencies import Input, Output, State, MATCH, ALL import plotly.express as px import random as rn app = dash.Dash '), html.Div([ html.P('Dash P 测试1'), html.P("Dash P 测试2"), html.Div('Div
DVB-DASH定义了基于MPEG DASH规范并通过HTTP自适应流传输的电视内容交付。MPEG DASH是第一个国际标准化的基于HTTP的自适应比特率流传输解决方案。 为了提高互操作性,在DVB-DASH中定义了额外的限制和要求,并参考了DVB工具箱中适合与MPEG DASH一起使用的视频和音频编解码器。 面对的问题 由于传送网络的段长度和未知性能,DASH播放器中引入了Internet交付内容中的一些延迟。播放器采取的策略通常是缓冲多个段以减少卡顿的可能性。也可以采用更短的段来实现更低的延迟。 然后DASH打包程序将每组帧放入CMAF块中,并将其传入CDN。 当DASH客户端通过流式传输服务时,它使用媒体表示描述(MPD)文件获取服务参数。通常MPD会在整个段可用之后发出该段可用的信号。 图1 低延迟DASH服务的基本信息流 播放器在其较早的可用时间从CDN请求片段,并且CDN交付第一个块。随后的块在被传送到CDN时被交付给播放器。播放器不缓冲整个段,而是缓冲一个或两个块。
1、西瓜视频播放器(XGPlayer) 西瓜团队出品,到目前为止在github上已经斩获4.5K颗星。 支持播放格式:MP4、HLS、FLV、MPEG-DASH 兼容性: PC Web端支持直接播放mp4视频,播放HLS、FLV、MPEG-DASH需要浏览器支持Media Source Extensions iOS系统Web场景支持直接播放mp4和HLS,不支持播放FLV、MPEG-DASH 安卓系统Web场景支持直接播放mp4和HLS,播放FLV、MPEG-DASH需要浏览器支持Media Source Extensions 之前我有写过一篇文章,可以查看具体的使用方法 2、flv.js播放器,HTML5 视频播放器以纯 JavaScript 编写,不含 Flash。 支持格式:HLS,FLV,MPEG DASH,WebTorrent
k8dash一览 k8dash于2019年3月首次发布。 它已经获得了超过660个GitHub星星和超过110万次Docker Hub拉取。 2020年5月,Indeed Engineering采用了k8dash项目。k8dash在Indeed作为标准安装。 请在 github.com/indeedeng/k8dash 给项目打星。 k8dash桌面 k8dash移动 k8dash特性 有了k8dash,就可以了: 完全管理你的集群,包括命名空间、节点、pod、副本集、部署、存储、RBAC等。 为什么使用k8dash? : https://k8dash.io/
可播放的流地址: rtmp://192.168.1.3/live/livestream webrtc://192.168.1.3/live/livestream DASH.js MPEG-DASH 是视频内容自适应流式处理的 使用 MPEG-DASH,当网络阻塞时,视频流会自动调整到较低清晰度。 这样可以减少在播放器下载下几秒钟要播放内容时观众看到“暂停”视频的可能性(也就是说,它减少了缓冲的可能性)。 当网络拥塞减少时,视频播放器将转而恢复到较高质量的流。 这种适应所需带宽的能力也会导致视频开始的速度更快。 这意味着可以在快速下载较低质量段播放最初的几秒钟,并在已缓冲足够内容后提升到更高质量。 Dash.js 是用 JavaScript 编写的开源 MPEG-DASH 视频播放器。 其目标是提供可以在需要视频播放的应用程序中自由重用的功能强大的跨平台播放器。 有关 DASH.js、js 的详细信息,请参阅 GitHub dash.js 存储库。
项目的首席开发人员,我们经常面对这样的情况:我们必须评估DASH传输失败是由dash.js播放器实现中的实际bug引起,还是由错误的内容生成引起。 / 播放时序的特定问题 / “请保证您的播放器的当前播放时间不要掉出滑动窗口” 当开发DASH播放器或者创建DASH MPD时,一个关键概念是要理解DASH时序模型。 当给出了带有 <SegmentTimeline> 的明确时间信息时,播放器能够调整自身操作。下图就说明了这种调整: 播放器使用 MPD@timeShiftBufferDepth属性确定DVR窗口。 在这种情况下,播放器将找不到可供下载和播放的切片。 dash.js播放器能够处理大部分以上情况,并帮助识别和解决此类问题。
JS播放器调通以实验性功能发布。 MPEG-DASH在国外用来替代HLS和RTMP,当然也用来替代HTTP-FLV,比如YouTube就有DASH的播放器,实际上DASH在Chrome中是属于MSE的播放器。 SRS3折腾DASH费了很久,主要DASH本身的标准都说得含糊不清,MPD按照标准的协议来写,发现DASH Player竟然播放不了,也无语了。 如果你对DASH感兴趣,可以点原文链接,里面详细描述了SRS3如何切DASH,如何用在线的js播放器播放DASH,不过可惜是播放器会DECODE ERROR,没有说明详细的错误,所以我也只能等熟悉播放器的大神来指出到底什么地方出了问题 请原谅我时间真的有限,不能花大量时间看DASH的js播放器,只能把这个问题抛出来了。
与 LL-DASH 播放器不同,苹果 LL-HLS 播放器并不利用 CMAF 片段,因为这些平台上的启发式传输依赖于全线速传输,但至少它们与之兼容,这使得 LL-HLS 和 LL-DASH 清单文件之间共享一套媒体片段成为可能 如果 DASH 播放器和包装商支持足迹的扩展,毫无疑问,这将很快成为 DASH 直播清单的主导方法。 虽然 DASH SGAI 和 HLS Interstitials 共享大致相同的服务器端方法,但在客户端有区别,DASH 播放器将用一个播放器实例处理媒体段和广告段,而在 Interstitials 方法中 CDN 日志相关联,专有的 CDN 负载平衡机制往往需要自定义播放器实现,因为 HLS 和 DASH 规范并没有提供足够的原生机制。 它基本上是将单播的 DASH 或 HLS 流作为输入,并将其转化为多播的 DASH 或 HLS 的直播边缘片段,视频播放器以单播方式请求 DVR 片段,传递直播内容的最后几分钟。
CDN交付(CDN Delivery) 对于HLS的playlist和DASH的manifest,如果播放器支持此类压缩,则应检查CDN配置是否允许以gzip格式提供。 最后,如果在CDN端设置了HLS playlist或DASH manifest的TTL,则应验证它们是否短于或等于HLS切片间隔或DASH manifest更新间隔。 dash.js 这种用于MSE环境的开源DASH播放器提供了几种方法来设置与实时边缘时间相比的初始延迟。 Exoplayer 这款适用于Android的开源播放器兼容多种流媒体格式,包括HLS和DASH。 在HLS中,Exoplayer在引用太少切片的playlist时会遇到一些问题。 Shakaplayer 这个用于MSE环境的开源HLS和DASH播放器提供了几个可以修改的参数选项,以实现更低的延迟,因为默认值是比较保守的: streaming.bufferingGoal(默认值:
低延迟:CMAF把segment切成了更小的块单元进行传输,首先不需要等待segment完全生成的编码延迟,其次更快的请求响应能力能够提升播放器的响应速度,整体上保证了播放器能够在一个块产生的延迟里获取到最新的一个块 测试播放器:DASH.js 效果:整体效果看,CMAF比普通的MPEG-DASH流降低了15s左右的延迟。当然,测试效果和播放器的策略有一定相关性。 分析CMAF和普通MPEG-DASH差异点: 1、传输方式: 普通DASH采用了文件式的传输方式,而CMAF采用了chunk流式传输方式。 图14.CMAF中m4s分片结构图 图15.普通MPEG-DASH中m4s分片结构图 关于播放器兼容性: 目前我们测试验证主要基于几款开源的web播放器,比如DASH.js、THEOplayer。 ios和安卓端目前还没验证播放器相关特性以及兼容性问题。播放器兼容问题也一直是DASH和CMAF协议所面临的挑战。
本文来自The broadcast knowledge的演讲,演讲者是FuboTV公司的工程负责人Nick Krzemienski,演讲内容为HLS和DASH多编解码器的编码和打包。 现在众多播放器中,仅有非常少数接受的是HLS,绝大部分皆为DASH。 从理想情况开始,即将单个fmp4同时编码为h264与h265的情况开始,他将二者都打包为HLS和DASH,然后让播放器去选择其支持的内容。 而在两种编码器不在一个播放器下同时可用时,就需要先将fmp4转码为 h264与h265输出文件,再先后将其打包为HLS与DASH。 这可以保证在打包之前进行一个DRM流程,但是实际上如果要使用CENC,则需要两套HLS与DASH媒体,且可能特定的DASH播放器无法在两个视频编解码器之间切换。