来源:Demuxed 2021 主讲人:Luke Curley(Twitch) 内容整理:彭峰 QUIC (RFC 9000) 是一种新的网络协议,旨在为 HTTP/3 提供支持,但它也是视频等其他应用程序的强大传输方式 目录 WebRTC 能否实现低延时目标 视频质量和延时之间的平衡 更好的解决方案——Segment Truncation Warp——基于 Segment Truncation 的视频协议 WebRTC 能否实现低延时目标 演讲者作为 Twitch 的工程师,主要负责降低视频观看延时方面的工作,从而使得视频观看过程中增加交互的可能。 ,例如对话语音数据有较高的优先级,而视频观看体验却不是很好,经历了一年的努力,工程师团队放弃了利用 WebRTC 实现低延时目标的愿望。 Warp原理 最后附上演讲视频: http://mpvideo.qpic.cn/0bc3yyaciaaa4aaalfjldbrfbrwdetdaajaa.f10002.mp4?
http://49.233.81.68:8081/supersecret 播流 安装web服务器 当然安装Nginx和Apache都行 npm -g install http-server 第3个
(1) 不进入这个行当,很少会知道,人们对低延时的渴求。专业人士为了低延时,做过各种各样的努力。以往我们将数据库的某些SQL从秒级优化到毫秒级,至少会在心底里欢呼一下,百倍提升! 业界大概有这么个说法 慢5毫秒,损失1%的利润 慢10毫秒,损失10%的利润 1毫秒延时=400万美元损失 这不,某公司软件提升60%实现端到端3微秒。埋个坑,FPGA。 低延时网卡及驱动:用于Mellanox ConnectX-4 LX的VMA和用于SolarFlare Flareon X1/X2的OpenOnload。 低延时系统的硬件配置建议: 1)一个socket上的核数尽可能少,Gen10最佳就是8核。当然,可以想象的,必须关闭SMT。别的不说,核多了,你看/etc/interrupts的时候得疯。 为低延迟配置做准备 BIOS环境的低延时配置表: 参数 值 描述 HPE generation Workload Profile Low latency 允许同时设置一组BIOS选项以适应目标应用程序类
本次演讲主要介绍了JPEG XS这一低延时且视觉无损的新压缩标准。 首先,Branislav简单介绍了为什么需要研发Jpeg XS。 过去是使用JPEG 2000来实现低延迟的压缩,但JEPG 2000的性能有限。 而JPEG XS是第一个对具有较高延时要求场景设计的ISO标准(ISO/IEC 21122),具有轻量级和低延迟的特点,可以在压缩比为8:1的情况下实现视觉无损的压缩。 JPEG XS可以实现极低的延时,对于CPU的使用量也极低。 在延时方面,JPEG XS相比于SMPTE 2110-20也有较大的提升,端到端情况JPEG XS的延时减小了91 lines。
基于 FPGA 的低成本、低延时成像系统 副标题:优秀的IC/FPGA开源项目(三)-低成本、低延时成像系统 《优秀的IC/FPGA开源项目》是新开的系列,旨在介绍单一项目,会比《优秀的 Verilog 目前商用领域的成像系统还是以嵌入式ASIC为主(成品时间快,性价比高),对于一些军工、医学等特殊领域还是以FPGA为主,在特殊领域里延迟是最先考虑的问题(成本不是主要问题),所以今天介绍一下使用FPGA实现低延迟的成像系统 低延迟架构 我们这次使用的是AMD-Xilinx FPGA,大部分的图像处理都有IP可以使用,在官方文档中有相关的架构,具体如下: 上面的架构是比较通用的架构,官方也有例程可以参考,但是上面架构多了一个 VDMA,这就导致视频传输的时候有1到几帧的延迟,这对于低延迟、高分辨率的情形肯定是不能容忍的。 但是砍掉了VDMA和DDR,所以整体成本会低很多。关于没有VDMA情况下的各个IP的设置及测试可以看下面的文章《不使用VDMA情况下使用AXI4总线实现视频输入输出(低延迟首选)》。
随着直播行业的快速发展,特别是在今年疫情的影响下,各种低延时的直播场景得到了爆发性发展。最典型的应用就是直播带货秒杀和在线教育答题。 快直播正是采用WebRTC协议对标准直播的拉流侧进行低延时改造,以达到高兼容、低成本、大容量的低延时直播要求。 总之,客户可以从现有的标准直播平滑地迁移到快直播上来,快速实现低延时直播场景应用。 终端的生态环境也是快直播采用WebRTC进行低延时改造的重要考量。 这样我们既能通过浏览器提供标准的WebRTC直播能力,也能通过定制SDK提供升级的更完善的低延时直播能力。 图二 基于标准直播的WebRTC低延时改造 标准WebRTC支持的音视频编码格式已经无法满足国内直播行业需求。
目录 发展历史 苹果的低延时 HLS 业界研究 ABR 部分 发展历史 苹果的低延时 HLS 在 2019 年 6 月,苹果发布了低延时 HLS 的操作指南,你已经可以使用该低延时 HLS 实现一些实例 到了 2017 年,低延时得到了更多的关注。2018 年的时候,低延时 dash 正式发布。与此同时,也有一些会议提到了之后是否会有低延时 HLS 的出现。但所有这些都发生在整个 WWDC 故事之前。 这样每个块之间都有阻塞时间,这在低延时 dash 中也是一个很难解决的问题。 图1 在实现低延迟 HLS 之前,我们已经解决过低延时 dash 的很多问题。 低延时 dash 在网络状况突然崩溃的情况下表现得并不好,响应很慢,而且对带宽估计并不准确。于是我们考虑是不是能在低延时 HLS 中做的更好。 图3 另外一个需要特殊介绍的就是 INDEPENDENT 标记,这在规范里面有明确规定。带有 INDEPENDENT 标记的部分并不会以一个关键帧开头,但是该部分包含一个关键帧,详情见规范中的说明。
因为TCP重传效率低,ACK反馈延迟导致数据积压,所以TCP方案的延时基本上在3到10秒。虽然HTTP-FLV/RTMP可以做到3秒左右,但是HLS因为切片的原因,会延长到10秒。 从云信传统的CDN直播转入到云信的低延时直播十分简便,只需要再重新申请一个低延时拉流的域名即可。 三、低延时播放器框架 这是云信低延时播放器的框架。云信低延时播放器是一个传输层的SDK,最底层是WebRTC。 缓冲区一般设置为3到5秒。如果接入云信的低延时SDK,只要把云信的SDK编到FFMPEG中,作为FFMPEG的第三方插件,后续的整个流程不需要任何的改动,只需要把缓冲区降为0。 3、延时优化 在起播阶段,服务器会发送GOPCache中的数据,导致起播阶段延时较大。整个播放过程中延时最高的时候就是在起播阶段。
大量互动的内容将通过5G以低延时的方式以视频的形式传输。 5G将对视频分辨率和清晰度提出越来越高的要求。 淘宝直播高清低延时系统架构 在降码率上,我们自研高效编码器,升级播放架构,添加智能ROI,场景编码,智能码控等工具,有效地降低了视频码率带宽。 不断去优化整套高画质低延时系统。 与此同时,我们建立了客观质量和主观质量评价体系,采用vmaf,psnr,ssim这一系列的指标作为客观质量评价。 ▐ 低延时编码 在直播中,低时延意味着高效率和优质体验。试想以下场景: 场景一:当主播展示下一个商品后,10秒才收到上一个的商品的提问。 我们对低延迟传输模块封装了FFmpeg的扩展demuxer,将支持低延时传输协议的demuxer注册到FFmpeg,播放器通过FFmpeg打开网络连接读取数据,这种接入方案基本不影响播放器原有逻辑,对播放器改动较小
对于这类应用来说,它对于视频的延时是非常敏感的,往往差之毫厘,失之千里。所以,这些应用场景下必须采用低延时的直播解决方案。 然而,当前主流的直播云平台主要采用如下几种技术实现方式: 1. 在这种情况下,端到端延时比较低的方案是端到端采用RTMP协议(延时在3秒左右),然而不支持终端以H5方式播放。因此,行业内普遍采用HLS协议在终端接收(多终端兼容),但是延时通常在10~30秒。 这种方案比第一种方案延时更低,端到端可以控制在1秒以内。 终端: 基于H5标准自主实现低延时播放器,有效控制缓冲区大小,通常只缓冲一帧的图像数据,并调用本地的硬件解码器进行视频解码,从而实现快速实时播放的目标。 在高带宽低延时的专网环境中(网络延时低于1ms),该直播平台的端到端延时在300ms以内; 2. 在单一运营商的广域网环境中(网络延时低于10ms),该平台的端到端延时在500ms以内; 3.
图片众所周知,iOS系统支持HLS流,但是HLS流延时高,无法满足实时流的要求;而WebRTC播放延时低,因此,很多用户希望能在iOS系统上播放Webrtc视频流。
无论是SRT还是QUIC,UDP都成为实现低延迟视频流传输的必选项。在刚刚结束的俄罗斯世界杯,以及即将到来的重大体育赛事中,SRT与QUIC还将有一番较量。 Parks在2017年第三季度对超过10,000个美国家庭进行的一项调查中发现,OTT视频服务的累积流失率超过了50%,这不包括相对低流失率的Netflix和亚马逊服务。 但有一点似乎是肯定的:增强型UDP注定要取代TCP来传输低延迟视频流。 目前关于UDP的思考带来了流媒体传输的全面发展。 QUIC使用潜在的重大扩展的一个发展指向涉及3GPP,即5G移动标准的开发者。 “3GPP正在研究QUIC取代TCP的潜力。虽尚未做出定论,但这说明了QUIC成为首选运输选择的潜在途径,这不仅是考虑用户的流量,也是为了控制平面的流量。”
虽然今年低延时从第一降到了第二,成本控制成为当下最为关注焦点,但是低延时还是最受行业长期关注的发展方向之一。近些年来,特别是疫情以后,低延时直播需求得到了迅猛增长。 RTC场景升级降本的需求,像在线教育和会议行业,可以通过大房间低延时旁路直播,来提升并发数和降低成本;3. 可以直观地看到快直播WebRTC拉流端到端延时只有500ms左右,远低于标准直播FLV 3秒,HLS 10秒左右的延时。 2.低延时播放质量优化 下面介绍腾讯云快直播在低延时播放质量优化上的一些实践工作。 在详细讲述之前,先总体介绍下腾讯云快直播低延时播放的定制优化解决方案。 3.快直播SDK接入 下面我将介绍如何通过快直播SDK接入解决WebRTC媒体能力不足和接入门槛高的问题,从而实现向快直播的快速迁移。
最近我简单研究了一下低延迟网络架构,今天和大家分享分享。 谈到优秀的低延时网络架构,大家首先可能想到的是各家互联网大厂,比如腾讯阿里字节,总会觉得大厂做的肯定最好。 所以高频量化交易场景中的网络架构几乎是全球最顶级的低延时网络架构了,非常值得学习。我请教了朋友圈中几位从事量化交易的专业人士,也看了一些技术资料,初步对这个网络架构有了一点点理解。 这个在国内用的还是很多的,因为相对下面的微波传输网络成本要低很多。 1.2 微波传输 提到光速,我们都知道它的速度是 3 × 10 的 8 次方 m/s。 通过改变数据包封装,包括IP和UDP标头,RoCE v2 现在可以跨 L2 和 L3 网络使用。 2.3 TOE 硬件卸载 传统的计算都是由 CPU 进行的。 一般普通的服务器 CPU 主频在 3 GHz 多点,而量化交易甚至都会采购 5 GHz 主频的硬件。也会通过 BIOS 调整进制 CPU 进入省电降频模式。
适用于各类远程监控、远程管理、数据采集等应用,具有低延时、高速率的特点。 1 (1).jpg 5G网络,千兆速率! 更高级自然更高速 计讯物联5G千兆工业路由器TG463,支持5G网络,高达20Gbps速率,端到端延时低于5毫秒。能提供更高速无损采集传输各种大数据如:文件、图片、动画、声音及视频等。 1 (3).jpg 全网通5G网络,兼容性更强覆盖面更广 设备集成4个千兆网口,支持全网通5G网络接入,可多网同时在线。已通过运营商的5G网络速率测试。
虽然今年成本控制超过低延时成为当下最受关注的焦点,但不可否认,低延时仍是最受行业长期关注的发展方向之一。近些年来,特别是疫情以后,低延时直播需求得到了迅猛增长。 RTC场景升级降本的需求,例如在线教育和会议行业,可以通过大房间低延时旁路直播,来提升并发数和降低成本;3. 可以直观地看到快直播WebRTC拉流端到端延时只有500ms左右,远低于标准直播FLV 3秒,HLS 10秒左右的延时。 低延时播放质量优化 下面我将向各位介绍腾讯云快直播在低延时播放质量优化上的一些实践工作。 在详细讲述之前,我先总体介绍下腾讯云快直播低延时播放的定制优化解决方案。 3. 快直播SDK接入 下面我将介绍如何通过快直播SDK接入解决WebRTC媒体能力不足和接入门槛高的问题,从而实现向快直播的快速迁移。
所以如果是低延时的场景,那么就需要关闭这个功能,让服务端每次收到一个包就解析。 低延时直播方案 适用场景 教育直播 大班课可以支持超大数量规模的同学同时在线低延时与老师互动。 电商直播 实时与买家互动答疑,交流商品信息。 阿里的低延迟直播:官方文档 低延时直播RTS(Real-time Streaming)在阿里云视频直播(ApsaraVideo Live)的基础上,进行全链路延时监控、CDN传输协议改造、UDP等底层技术优化 ,通过集成直播播放端SDK,支持千万级并发场景下的毫秒级延时直播能力,弥补了传统直播3~6秒延时的问题,保障低延时、低卡顿、秒开流畅的极致直播观看体验。 低延时直播拉流(UDP)使用artc://格式。 本文参考自:https://www.zhihu.com/question/25497090
HTTP-FLV HLS 全称 Real Time Message Protocol RTMP over HTTP HTTP Live Streaming 所在层 传输层 网络层 网络层 是否长链接 是 是 否 延时 1 ~ 3s 1 ~ 3s 10s以上 兼容性 部分平台不一定支持 全平台支持 全平台支持 扩展性 差,Adobe已经不维护了 差,Adobe已经不维护了 Apple全力支持, 扩展性强 显而易见, 简而言之, 必须至少加载3个分片视频, 当前的分片才能被启动播放, HLS标准的分片时长是10s, 加载3个分片, 也就说标准的时延要达到30s, 这在正常直播场景中是无法忍受的. 2.LL-HLS 做了什么改进 /LLHLS_Video1.m3u8 ? 3.小结 (1)LL-HLS在直播中的延时大大降低, 可以降低值3s内, 但是即使这样, 还是不如RTMP, 不过Apple还会努力的, 我觉得LL-HLS还是可以优化的, 例如多服务器控制源 (2)LL-HLS
图片3.png 图片2.png 图片1.png 计讯物联边缘网关,支持全网通5G/4G网络,数据边缘处理满足工业等物联网场景高速率低延时多接入量的自动化数字化管理。 3、行业接口丰富可兼容采集多种工业传感器采集需求,RS232接口、RS485接口、I2C接口、TTL电平串口、开关量输入接口、模拟量输入接口、继电器输出、电源输出(外设供电)等。 6、支持边缘计算,减轻服务器符合,实现数据高速、低延时传输。 7、触摸屏进行设备配置、维护和管理、查看数据。 8、支持远程管理、支持远程程序升级。 图片3.png 图片4.png
SRT和NDI®技术都是低延时传输典范,SRT协议是帮助用户在复杂且变幻莫测的互联网上安全可靠地进行视频传输。NDI协议重在局域网通过IP网络实现高质量、低延迟的音视频传输。 SRT和NDI:传输延时 SRT是一种能够在复杂网络环境下实时、准确地传输数据流的网络传输技术,它在传输层使用UDP协议,具备UDP速度快、开销低的传输特性,支持点对点传输,无需中间进行服务器中转(仅需任意一端具备固定公网 NDI是能够允许局域网络内的设备对信号进行高质量传输,在局域网内的一个设备可以通过一条网线输出或者接收多个NDI信号,不需要复杂的布线,局域网内端到端延时仅为1-3帧(小于100ms)。 NDI广泛应用于电视节目本地/远程制作、NDI投屏、NDI视频会议、超低延时手术示教等行业,以及一些需要更便捷、低延时、高画质的视频传输场景。 总结: 互联网SRT技术和局域网NDI技术都是当下最受欢迎的两种低延时传输协议,两者之间可根据实际应用来选择合适的解决方案。