目录 WebRTC 能否实现低延时目标 视频质量和延时之间的平衡 更好的解决方案——Segment Truncation Warp——基于 Segment Truncation 的视频协议 WebRTC 能否实现低延时目标 演讲者作为 Twitch 的工程师,主要负责降低视频观看延时方面的工作,从而使得视频观看过程中增加交互的可能。 ,例如对话语音数据有较高的优先级,而视频观看体验却不是很好,经历了一年的努力,工程师团队放弃了利用 WebRTC 实现低延时目标的愿望。 WebRTC 不能提升视频观看体验 视频质量和延时之间的平衡 对失败项目进行评估后,工程师们觉得要实现高视频质量的同时降低延时是很困难的,如果单独对视频质量优化,必然会引起观看时延增加,同理,如果只考虑减低时延 Quality vs Latency 为了解决上述的平衡问题,对视频播放延时进行优化的同时保证服务质量,首先需要明确视频播放延时来自何处。通常而言,延时主要来自网络拥塞。
官网:http://jsmpeg.com/ Github:https://github.com/phoboslab/jsmpeg
(1) 不进入这个行当,很少会知道,人们对低延时的渴求。专业人士为了低延时,做过各种各样的努力。以往我们将数据库的某些SQL从秒级优化到毫秒级,至少会在心底里欢呼一下,百倍提升! 业界大概有这么个说法 慢5毫秒,损失1%的利润 慢10毫秒,损失10%的利润 1毫秒延时=400万美元损失 这不,某公司软件提升60%实现端到端3微秒。埋个坑,FPGA。 低延时系统的硬件配置建议: 1)一个socket上的核数尽可能少,Gen10最佳就是8核。当然,可以想象的,必须关闭SMT。别的不说,核多了,你看/etc/interrupts的时候得疯。 ) (3)为低延迟配置做准备 BIOS环境的低延时配置表: 参数 值 描述 HPE generation Workload Profile Low latency 允许同时设置一组BIOS选项以适应目标应用程序类 ) 禁用内存故障前通知 Gen8 以上 (4) 先来看看HPE为低延时(宽频交易)准备的新品硬件: ?
本次演讲主要介绍了JPEG XS这一低延时且视觉无损的新压缩标准。 首先,Branislav简单介绍了为什么需要研发Jpeg XS。 过去是使用JPEG 2000来实现低延迟的压缩,但JEPG 2000的性能有限。 而JPEG XS是第一个对具有较高延时要求场景设计的ISO标准(ISO/IEC 21122),具有轻量级和低延迟的特点,可以在压缩比为8:1的情况下实现视觉无损的压缩。 JPEG XS可以实现极低的延时,对于CPU的使用量也极低。 在延时方面,JPEG XS相比于SMPTE 2110-20也有较大的提升,端到端情况JPEG XS的延时减小了91 lines。
本文的话题有关音视频传输优化,优化目标: 低卡顿率,超流畅。 秒互动,超低延时。 超高清。 优化要点不外乎: 音视频传输优化不能基于TCP/QUIC。 音视频传输优化需要对高清做柔性。 本文不含技术细节,更不会涉及API调用,但理解这些基本思路,胜过10倍的技术细节。 稍详细点说。 《超低延时直播白皮书》,说是联合信通院发布的业内首份,据此提到的技术,延时可控制在500ms以内。 若非要图示buffer,流畅度和清晰度两个圆之间交集的面积即为buffer的大小,而buffer大小直接表征延时: 延时受拥塞排队及重传共同影响,接收端部署buffer可抵抗排队或重传带来的延时抖动 当音视频传输优化很难进行下去时,不妨换个思路,与其费劲纠结于低卡顿,低延时,高清晰度如何实现,不如看看能放弃些什么。人们绞尽脑汁设计的那些个复杂无比且脆弱并且不一定有效的算法真的必要吗?
基于 FPGA 的低成本、低延时成像系统 副标题:优秀的IC/FPGA开源项目(三)-低成本、低延时成像系统 《优秀的IC/FPGA开源项目》是新开的系列,旨在介绍单一项目,会比《优秀的 Verilog 低延迟架构 我们这次使用的是AMD-Xilinx FPGA,大部分的图像处理都有IP可以使用,在官方文档中有相关的架构,具体如下: 上面的架构是比较通用的架构,官方也有例程可以参考,但是上面架构多了一个 VDMA,这就导致视频传输的时候有1到几帧的延迟,这对于低延迟、高分辨率的情形肯定是不能容忍的。 但是砍掉了VDMA和DDR,所以整体成本会低很多。关于没有VDMA情况下的各个IP的设置及测试可以看下面的文章《不使用VDMA情况下使用AXI4总线实现视频输入输出(低延迟首选)》。 视频接口由 10 位数据(分为 8 位和 2 位)、帧和行有效、像素时钟和参考时钟 (24 MHz) 组成。 配置接口由连接到sensor的 I2C 和 复位IO组成。
目录 发展历史 苹果的低延时 HLS 业界研究 ABR 部分 发展历史 苹果的低延时 HLS 在 2019 年 6 月,苹果发布了低延时 HLS 的操作指南,你已经可以使用该低延时 HLS 实现一些实例 对大多数的低延时 HLS 而言,他们正式开始发展的时间可以说是在 2020 年 6 月。 业界研究 但是对我们而言,我们对低延时的研究从 5 年前,也就是 2016 年就开始了。 到了 2017 年,低延时得到了更多的关注。2018 年的时候,低延时 dash 正式发布。与此同时,也有一些会议提到了之后是否会有低延时 HLS 的出现。但所有这些都发生在整个 WWDC 故事之前。 这样每个块之间都有阻塞时间,这在低延时 dash 中也是一个很难解决的问题。 图1 在实现低延迟 HLS 之前,我们已经解决过低延时 dash 的很多问题。 低延时 dash 在网络状况突然崩溃的情况下表现得并不好,响应很慢,而且对带宽估计并不准确。于是我们考虑是不是能在低延时 HLS 中做的更好。
随着直播行业的快速发展,特别是在今年疫情的影响下,各种低延时的直播场景得到了爆发性发展。最典型的应用就是直播带货秒杀和在线教育答题。 快直播正是采用WebRTC协议对标准直播的拉流侧进行低延时改造,以达到高兼容、低成本、大容量的低延时直播要求。 总之,客户可以从现有的标准直播平滑地迁移到快直播上来,快速实现低延时直播场景应用。 终端的生态环境也是快直播采用WebRTC进行低延时改造的重要考量。 这样我们既能通过浏览器提供标准的WebRTC直播能力,也能通过定制SDK提供升级的更完善的低延时直播能力。 图二 基于标准直播的WebRTC低延时改造 标准WebRTC支持的音视频编码格式已经无法满足国内直播行业需求。
大量互动的内容将通过5G以低延时的方式以视频的形式传输。 5G将对视频分辨率和清晰度提出越来越高的要求。 淘宝直播高清低延时系统架构 在降码率上,我们自研高效编码器,升级播放架构,添加智能ROI,场景编码,智能码控等工具,有效地降低了视频码率带宽。 不断去优化整套高画质低延时系统。 与此同时,我们建立了客观质量和主观质量评价体系,采用vmaf,psnr,ssim这一系列的指标作为客观质量评价。 通过此方法,我们在淘宝直播里面获得了7-10%的BDrate收益。在淘拍场景下获得了40%的BDrate收益。 ▐ 低延时编码 在直播中,低时延意味着高效率和优质体验。 我们对低延迟传输模块封装了FFmpeg的扩展demuxer,将支持低延时传输协议的demuxer注册到FFmpeg,播放器通过FFmpeg打开网络连接读取数据,这种接入方案基本不影响播放器原有逻辑,对播放器改动较小
如果延时很大,问完问题5到10秒才能听到主播的回答,会带来很差的交流体验,导致用户没有及时的收到反馈而直接退出直播间,成交转化率也较低。 因为TCP重传效率低,ACK反馈延迟导致数据积压,所以TCP方案的延时基本上在3到10秒。虽然HTTP-FLV/RTMP可以做到3秒左右,但是HLS因为切片的原因,会延长到10秒。 从云信传统的CDN直播转入到云信的低延时直播十分简便,只需要再重新申请一个低延时拉流的域名即可。 三、低延时播放器框架 这是云信低延时播放器的框架。云信低延时播放器是一个传输层的SDK,最底层是WebRTC。 第二种方法,收到第一个RTP包,不管前面有没有丢包,直接往前重传10~20个包。 最后一个优化方式是首帧快速出帧。
对于这类应用来说,它对于视频的延时是非常敏感的,往往差之毫厘,失之千里。所以,这些应用场景下必须采用低延时的直播解决方案。 然而,当前主流的直播云平台主要采用如下几种技术实现方式: 1. 在这种情况下,端到端延时比较低的方案是端到端采用RTMP协议(延时在3秒左右),然而不支持终端以H5方式播放。因此,行业内普遍采用HLS协议在终端接收(多终端兼容),但是延时通常在10~30秒。 流媒体服务器程序采用C语言编码实现,支持多核多线程,同时采用异步I/O模式,因此具有很高的运行效率,单颗Intel E5系列 10核CPU可以支持2000并发用户访问。 终端: 基于H5标准自主实现低延时播放器,有效控制缓冲区大小,通常只缓冲一帧的图像数据,并调用本地的硬件解码器进行视频解码,从而实现快速实时播放的目标。 在高带宽低延时的专网环境中(网络延时低于1ms),该直播平台的端到端延时在300ms以内; 2. 在单一运营商的广域网环境中(网络延时低于10ms),该平台的端到端延时在500ms以内; 3.
无论是SRT还是QUIC,UDP都成为实现低延迟视频流传输的必选项。在刚刚结束的俄罗斯世界杯,以及即将到来的重大体育赛事中,SRT与QUIC还将有一番较量。 /2018/08/14/udp-based-streaming-modes-battle-for-traction-as-paths-to-low-latency/ 一个充满挑战的任务—通过互联网实现低延迟 Parks在2017年第三季度对超过10,000个美国家庭进行的一项调查中发现,OTT视频服务的累积流失率超过了50%,这不包括相对低流失率的Netflix和亚马逊服务。 但有一点似乎是肯定的:增强型UDP注定要取代TCP来传输低延迟视频流。 目前关于UDP的思考带来了流媒体传输的全面发展。
图片众所周知,iOS系统支持HLS流,但是HLS流延时高,无法满足实时流的要求;而WebRTC播放延时低,因此,很多用户希望能在iOS系统上播放Webrtc视频流。
虽然今年成本控制超过低延时成为当下最受关注的焦点,但不可否认,低延时仍是最受行业长期关注的发展方向之一。近些年来,特别是疫情以后,低延时直播需求得到了迅猛增长。 直播领域的各种传输协议本身也在不断向低延时方向发展,像低延时HLS、CMAF,还有被国内直播行业用到极致的RTMP/FLV。 可以直观地看到快直播WebRTC拉流端到端延时只有500ms左右,远低于标准直播FLV 3秒,HLS 10秒左右的延时。 低延时播放质量优化 下面我将向各位介绍腾讯云快直播在低延时播放质量优化上的一些实践工作。 在详细讲述之前,我先总体介绍下腾讯云快直播低延时播放的定制优化解决方案。 测试在MAC上进行,采用系统自带工具来设置系统丢包率,丢包率从10%逐步提高到 20%、30%、40%、50%。
适用于各类远程监控、远程管理、数据采集等应用,具有低延时、高速率的特点。 1 (1).jpg 5G网络,千兆速率! 更高级自然更高速 计讯物联5G千兆工业路由器TG463,支持5G网络,高达20Gbps速率,端到端延时低于5毫秒。能提供更高速无损采集传输各种大数据如:文件、图片、动画、声音及视频等。 坚固耐用品质可靠;高EMC电磁兼容,强电磁环境工作稳定,通过EMC等级测试,确保传输稳定性;耐高低温材料(-40℃至80℃),宽压(5V-35V),超强的防潮、防雷、防电磁干扰能力适应各种恶劣环境; 1 (10
最近我简单研究了一下低延迟网络架构,今天和大家分享分享。 谈到优秀的低延时网络架构,大家首先可能想到的是各家互联网大厂,比如腾讯阿里字节,总会觉得大厂做的肯定最好。 慢 10 ms 损失会扩大到 10 %。 所以高频量化交易场景中的网络架构几乎是全球最顶级的低延时网络架构了,非常值得学习。 这个在国内用的还是很多的,因为相对下面的微波传输网络成本要低很多。 1.2 微波传输 提到光速,我们都知道它的速度是 3 × 10 的 8 次方 m/s。 所以在交易场景下采用的都是 10 Gbps 甚至是 25 Gbps 的网络。 1.5 低延迟交换机 传统交换机都是工作在二层上。为了解决信号之间的碰撞,搞出了 CSMA/CD 等协议。 FPGA 相比 GPU 的核心优势在于低延迟。所有数据均不需要跨越 PCIE 总线,另外在 FPGA 的数据传输不需要进行多次数据拷贝。其加速效果甚至可以达到 CPU 的 10 - 100 倍。
虽然今年低延时从第一降到了第二,成本控制成为当下最为关注焦点,但是低延时还是最受行业长期关注的发展方向之一。近些年来,特别是疫情以后,低延时直播需求得到了迅猛增长。 直播领域的各种传输协议本身也在不断向低延时方向发展,像低延时HLS、CMAF,还有被国内直播行业用到极致的RTMP/FLV。 可以直观地看到快直播WebRTC拉流端到端延时只有500ms左右,远低于标准直播FLV 3秒,HLS 10秒左右的延时。 2.低延时播放质量优化 下面介绍腾讯云快直播在低延时播放质量优化上的一些实践工作。 在详细讲述之前,先总体介绍下腾讯云快直播低延时播放的定制优化解决方案。 测试在MAC上进行,采用系统自带工具来设置系统丢包率,丢包率从10%逐步提高到 20%、30%、40%、50%。
所以如果是低延时的场景,那么就需要关闭这个功能,让服务端每次收到一个包就解析。 低延时直播方案 适用场景 教育直播 大班课可以支持超大数量规模的同学同时在线低延时与老师互动。 电商直播 实时与买家互动答疑,交流商品信息。 但是 延迟上WebRTC优于RTMP,WebRTC可以做到延迟低于1秒,RTMP一般在1秒以上 基本都在2到10秒之间 完善程度RTMP优于WebRTC 我们对低延迟直播技术的未来展望有三点: 阿里的低延迟直播:官方文档 低延时直播RTS(Real-time Streaming)在阿里云视频直播(ApsaraVideo Live)的基础上,进行全链路延时监控、CDN传输协议改造、UDP等底层技术优化 ,通过集成直播播放端SDK,支持千万级并发场景下的毫秒级延时直播能力,弥补了传统直播3~6秒延时的问题,保障低延时、低卡顿、秒开流畅的极致直播观看体验。
HTTP-FLV HLS 全称 Real Time Message Protocol RTMP over HTTP HTTP Live Streaming 所在层 传输层 网络层 网络层 是否长链接 是 是 否 延时 1 ~ 3s 1 ~ 3s 10s以上 兼容性 部分平台不一定支持 全平台支持 全平台支持 扩展性 差,Adobe已经不维护了 差,Adobe已经不维护了 Apple全力支持, 扩展性强 显而易见, 简而言之, 必须至少加载3个分片视频, 当前的分片才能被启动播放, HLS标准的分片时长是10s, 加载3个分片, 也就说标准的时延要达到30s, 这在正常直播场景中是无法忍受的. 2.LL-HLS 做了什么改进 3.小结 (1)LL-HLS在直播中的延时大大降低, 可以降低值3s内, 但是即使这样, 还是不如RTMP, 不过Apple还会努力的, 我觉得LL-HLS还是可以优化的, 例如多服务器控制源 (2)LL-HLS
文章前言 低代码/无代码开发平台提供了一个通过图形用户界面创建应用软件而不是传统的手工编码计算机程序的开发环境,这种平台减少了传统手工编码的规模,从而加快了商业应用程序的交付,而随着低代码/无代码开发平台激增以及被组织广泛使用 ,产业界提出了一个明确而紧迫的需求,即建立依赖此类平台开发的应用程序相关的安全和隐私风险意识 OWASP Top 10 Low-Code/No-Code Security Risks(简称OWASP低代码十大安全风险 风险清单 身份冒充 风险评级 风险要点 无代码/低代码开发的应用程序可能内嵌任何应用程序用户隐式冒充的用户身份,这为权限提升创建了一 条攻击路径,允许攻击者隐藏在另一个用户的身份背后来绕过传统的安全控制 (PaaS)和云平台的跨组织堆栈上,大多数无代码/低代码平台都内置了大量连接器(即围绕API的包装器),可轻松地实现快速连接,大多数无代码/低代码平台中连接器和用户凭证形式的连接都是头等对象,这意味着可以在应用程序之间 ,作为数据移动的载体,无代码/低代码应用程序轻易就可以通过把数据移动到组织边界外部的另一个组织或个人账号而导致数据泄露,而当作为操作触发器,无代码/低代码应用程序可能通过将一个系 统中的操作与另一个系统中的更改隐式耦合而造成意想不到的后果