背景在比较同一个数据源,是RTMP播放延迟低还是RTSP延迟低之前,我们先看看RTMP和RTSP的区别,我们知道,RTMP(Real-Time Messaging Protocol)和RTSP(Real RTMP以二进制形式传输数据,具有低延迟和高效传输的特点。RTSP:RTSP则是一种控制流媒体会话的协议,它不直接传输媒体数据本身,而是负责描述流媒体会话,并指示客户端如何获取流媒体数据。 应用范围RTMP:RTMP因其低延迟和高效传输的特点,广泛应用于需要高性能实时流媒体传输的场景,如直播、视频聊天等。 ,用我们的RTMP推送、轻量级RTSP服务、RTMP|RTSP播放器,延迟基本上相差无几,可见,配好的推拉流服务模块,尤其关键。 单就延迟来看,如果好的RTMP或RTSP播放,二者差异不大,主要是看实际场景。以上是大概的比较,感兴趣的开发者,可以单独跟我沟通探讨。
技术背景 实际上,我们在2015年做Android平台RTSP、RTMP播放模块的时候,第一版就支持了多实例播放,因为SDK设计比较灵活,做个简单的player实例封装即可实现多实例播放(Android Unity的就有多路demo),所以官方一直没有正式demo,本次也是有个开发者提到,希望测试下我们多路播放的效果,自己又不想做封装,索性给做个版本。 技术实现 废话不多说,先上图: 我们针对的功能展示,主要是播放和录像这块,先说播放: /* * SmartPlayer.java * Author: daniusdk.com * Created 、录像的演示,除此之外,大牛直播SDK的RTSP、RTMP播放器海康实现播放缓冲设置、软硬解码设置、实时快照、实时音量调节、实时解码后数据回调等。 毫秒级延迟,完全满足对延迟、稳定性要求苛刻的场景下。感兴趣的开发者,可以单独和我沟通。
好多开发者在QT环境下实现RTMP或RTSP播放时,首先考虑到的是集成VLC,集成后,却发现VLC在延迟、断网重连、稳定性等各个方面不尽人意,无法满足上线环境需求。 本文以调用大牛直播SDK(官方)的Windows平台播放端SDK为例,介绍下如何在QT下实现低延迟的RTMP|RTSP播放器,废话不多说,先上图: QTPlayer.png 大牛直播SDK有MFC的demo ,所以在QT上实现播放轻车熟路,如果需要多窗口播放,也可以参考转发的demo,转发的那个4窗口预览的demo做了二次封装,调用更方便。 play->OnWindowSize(widgets.at(i)->width(), widgets.at(i)->height()); } } } 以上是QT环境下集成个低延迟的 RTMP、RTSP播放的基本流程,感兴趣的开发者可酌情参考。
概述与优势1.1 SDK功能特性1.1.1 支持协议与格式 支持RTMP、RTSP协议,兼容H.265、H.264视频格式及AAC、PCMA等音频格式,满足多样化播放需求。 提供RTSP TCP/UDP模式设置及自动切换功能,适应不同网络环境,确保播放稳定性。 1.1.2 性能优化特性 内置低延迟模式,可将延迟控制在毫秒级别,满足实时性要求高的场景。 低延迟播放技术实现3.1 网络优化策略3.1.1 缓冲时间设置 将缓冲时间设置在几十毫秒到几百毫秒之间,减少数据缓冲带来的延迟,同时保证播放稳定性。 4.2 低延迟关键参数配置4.2.1 网络协议优化 RTSP模式选择:默认使用UDP(NT_SP_SetRTSPTcpMode设为0)以减少握手延迟,若网络不稳定则开启TCP/UDP自动切换(NT_SP_SetRtspAutoSwitchTcpUdp RTSP/RTMP播放器,适用于VR、安防、直播等高实时性场景。
如果需要浏览器场景下有更好的兼容性,对于RTSP流来说,好多公司通常的做法是把RTSP转RTMP,然后分发到RTMP服务器,然后服务器转http-flv出来,浏览器直接播放http-flv流,或者直接播放 本文基于大牛直播SDK https://github.com/daniulive/SmarterStreaming 现有RTSP、RTMP播放接口的基础上,二次封装,扩展了ocx控件,用于IE浏览器下的低延迟 RTMP或RTSP播放,支持RTMP/RTSP H.265(hevc)播放。 ULONG NT_SetLowLatencyMode(LONG mode); 设置是否低延迟模式播放; 13. OpenPlayer(); } var obj = document.getElementById("SmartPlayerActiveX"); //设置是否启用低延迟模式
在发布国产操作系统|Linux平台的RTMP|RTSP直播播放SDK之前,大牛直播SDK在Windows、Android、iOS平台已经有了非常成熟的技术积累,功能齐全、稳定性高、超低延迟、超低资源占用 、网络自动重连等,RTMP支持扩展H265播放, RTSP也支持H265播放。 Linux原生的RTSP、RTMP播放模块这里我们不做赘述,本文主要讲的是如何在Linux平台构建Unity下的RTSP和RTMP低延迟直播播放。 Unity侧,在Unity下完成绘制,这里就需要原生的RTMP、RTSP播放模块,拉流解码延迟非常低,数据投递效率非常高,无图无真相:Linux平台,我们是回调的YUV的数据,也就是 NT_SP_E_VIDEO_FRAME_FROMAT_I420 1 : 0); //设置是否启用低延迟模式//设置旋转角度(设置0, 90, 180, 270度有效,其他值无效)int rotate_degrees = 0;NTSmartPlayerSDK.NT_SP_SetRotation
背景我们看过了太多介绍RTSP、RTMP播放相关的技术资料,大多接口设计简约,延迟和扩展能力也受到一定的局限,好多开发者希望我们能从接口设计的角度,大概介绍下大牛直播SDK关于RTMP、RTSP播放器开发设计 低延迟模式低延迟模式下,设置buffer time为0,延迟更低,适用于比如需要操控控制的超低延迟场景下。 /*设置低延时播放模式,默认是正常播放模式mode: 1为低延时模式, 0为正常模式,其他只无效接口调用成功返回NT_ERC_OK*/NT_UINT32(NT_API* SetLowLatencyMode ,这里就不再赘述,除Windows平台外,我们还同步开发了Linux、Android、iOS平台的RTSP、RTMP播放器,大多常规接口四个平台基本统一,延迟也都做到了毫秒级。 一个好的播放器,特别是要满足低延迟稳定的播放(毫秒级延迟),需要注意的点远不止如此,感兴趣的开发者,可以参考blog其他文章。
技术实现如何在VR头显实现RTMP或RTSP播放? VR头显播放RTMP或RTSP流数据,简单来说,通过jni层打通RTMP或RTSP流传输,解包并解码回调给Unity YUV或RGB数据,Unity场景下,绘制即可,本文以大牛直播SDK的Unity平台 RTMP、RTSP播放为例,介绍下具体技术实现:图片开始播放:public void Play() { if (is_running) { Debug.Log 1 : 0); //设置是否启用低延迟模式 NT_U3D_SetMute(player_handle_, is_mute_ ? RTMP或RTSP,可实现毫秒级的延迟,可满足大多数有交互诉求的技术场景,此外,如果头显端支持硬解码的话,可以优先考虑硬解码。
在视频播放应用的开发中,如何有效地管理多个 RTSP|RTMP流实例是一个挑战。 尤其是在 Android 上开发高性能、低延迟的多实例 RTSP|RTMP 播放器时,涉及到资源管理、线程同步和回调事件处理等多个层面的考虑。 项目背景和需求本项目的目标是实现一个支持多个 RTSP|RTMP流播放的 Android 播放器,用户可以通过不同的界面组件(如按钮和 SurfaceView)控制多个 RTSP|RTMP播放流的启动、 播放器需要具备以下特点: 多实例管理:能够同时管理多个 RTSP|RTMP播放器实例,确保每个实例的生命周期独立。 低延迟播放:优化播放器的启动时间和播放延迟。 它包含多个 SurfaceView 和控制按钮,每个按钮控制一个 RTSP|RTMP播放流的播放和录制。它的关键任务是初始化播放器实例,处理按钮点击事件,以及更新 UI 显示。
技术探讨自2017年我们发布跨平台的低延迟Unity下的RTSP|RTMP直播播放器后,Unity下的直播体验有了质的提升,特别是RTMP,从大家认知里面的几秒钟,直接缩减到100-300ms,满足了绝大多数场景下低延迟的技术诉求 今天就Unity下的RTSP|RTMP的低延迟播放,从以下几个维度,抛砖引玉,做个探讨: 选择合适的播放插件 Unity下的RTSP|RTMP低延迟播放,业内想到最多的是大牛直播SDK的SmartPlayer ,支持 RTMP 和 RTSP 直播流播放,在资源占用、延迟等方面表现较好。 低延迟模式:如果插件或 SDK 提供了低延迟模式的选项,一定要开启该模式。不过,有些情况下开启低延迟模式可能会牺牲一定的视频质量或稳定性,需要进行权衡。 4路海康2560*1440分辨率的RTSP流,资源占用如下:总结Windows平台如果对延迟和资源占有等,要求非常高,可以选择合适的低延迟RTSP或RTMP播放插件、优化播放参数设置、优化网络环境、优化代码和渲染流程
随着VR类、游戏类场景的快速发展,开发者对Unity3d低延迟的直播需求量越来越大,前两年,大牛直播SDK发布了Windows平台、Android平台和iOS平台的Unity3d RTMP和RTSP的播放 本文以Android平台为例,我们的实现:基于大牛直播SDK现有非常成熟的native RTMP和RTSP播放模块,回调解码后的原始数据,传递给Unity3d,实现相应的绘制即可,对应demo,可以参考 player_obj_.Call<int>("SetFastStartup", handle, is_fast_startup);
}
///
本文将以大牛直播SDK × YOLO(You Only Look Once)算法的融合方案为核心,系统讲解如何构建一套: ✅ 端到端低延迟 ✅ 多实例高并发处理 ✅ 跨平台通用部署(支持 Android 高延迟链路,无法满足实时响应 视频通常先通过播放器或采集卡展示,再经过转码处理或保存为文件,最后输入 AI 模型; 整个链路延迟高达数秒,严重影响对突发事件或动态目标的快速识别与处置; 结果导致“看到很快 为此,需要一个具备稳定解码、灵活回调、低延迟传输、多平台兼容等特性的“视频智能入口层”,而这正是大牛直播SDK × YOLO结合方案的切入点与价值所在。 而将这两者深度融合,必须具备两个核心能力: 一个具备高并发、低延迟、强适配性的视频输入通道; 一个能高效处理图像并输出语义结果的智能分析模块。 通过本篇文章所述的实践探索,我们可以清晰看到: 大牛直播SDK作为 AI 感知系统的视频输入层,不仅具备高并发、低延迟、跨平台的技术优势,还以其稳定的数据帧回调机制打通了“视频→算法”的关键接口;
技术背景RTMP播放器的延迟可以受到多种因素的影响,包括网络状况、推流设置、播放器配置以及CDN分发等。因此,RTMP播放器的延迟并不是一个固定的数值,而是可以在一定范围内变化的。 然而,当网络状况不佳、推流设置不当或播放器配置不合理时,延迟可能会增加。具体来说,RTMP播放器的延迟可能受到以下因素的影响:网络状况:网络延迟和丢包是影响RTMP播放器延迟的重要因素。 配置播放器以使用较小的缓冲区或选择适合低延迟的播放模式。合理配置CDN节点,确保内容能够快速、稳定地传输到用户端。 ,然后,右侧是我们的播放器拉取rtmp流的整体时延,整体毫秒级,可低至150-300ms。 ]支持低延迟模式设置(公网200~400ms); [复杂网络处理]支持断网重连等各种网络环境自动适配; [快速切换URL]支持播放过程中,快速切换其他URL,内容切换更快; [音视频多种render机制
技术背景好多开发者,希望我们能探讨下Unity平台RTMP或RTSP直播流数据播放和录制相关的模块,实际上,这块流程我们已经聊过多次,无非就是通过原生的RTMP或者RTSP模块,先从协议层拉取到数据 ;Windows平台RTMP|RTSP直播播放模块;Linux平台RTMP直播推送模块(采集Unity窗体、Unity声音),也可扩展轻量级RTSP服务模块;Linux平台RTMP|RTSP直播播放模块 |RTSP直播播放模块;iOS平台RTMP|RTSP直播播放模块。 下图系Linux平台RTMP播放图,可以看到,延迟非常低。 1 : 0); //设置是否启用低延迟模式 NT_U3D_SetMute(player_handle_, is_mute_ ?
在本文之前,我们发布了Unity环境下的RTMP推流(Windows平台+Android平台)和RTMP|RTSP拉流(Windows平台+Android平台+iOS平台)低延迟的解决方案,今天做个整体汇总 Unity环境下RTMP|RTSP播放器 Unity环境下RTMP或RTSP直播播放我们前几年就有发布,并已应用在好多传统行业领域,比如教育或工业仿真或一些低延迟的控制场景。 多实例支持:播放端和推送不一样,比如智慧城市,播放端有多路场景,所以多实例支持是必备功能,多实例环境下,需要能有好的区分event状态回调等; 2. 相关博客: Windows平台Unity3d下如何同时播放多路RTSP或RTMP流 https://cloud.tencent.com/developer/article/1800633 如何在Unity3d 平台下低延迟播放RTMP或RTSP流 https://cloud.tencent.com/developer/article/1592731
然而,在过去几年中,低延迟在实施和标准化方面取得了很多进展,因此我们的处境要比几年前好得多。低延迟的主要驱动因素之一就是现场体育赛事。 几秒钟后,视频继续播放,这会很烦人,尤其是和朋友一起看比赛的时候。 自适应播放技术概述 低延迟体育节目是低延迟直播的主要驱动力。 在提供优质的低延迟实时流媒体服务这方面,我们开发了一些实用的技术,比如说自适应播放——通过改变每秒播放的帧数来减慢播放速度,并对音频和字幕做同样的事情。 请注意,虽然 CAPSC 可以在短期内改变播放速度,但在低延迟直播中,长期平均播放速度不能快于 1 倍。 如果是这样,CAPSC 会选择较慢的播放速度。如果当前缓冲区级别不是非常低,CAPSC 检查当前延迟和目标延迟之间的差异,并选择 1x 或更高的值作为播放速度。
Electron 低延迟视频流播放方案探索 Bobi.ink 2020-04-05 好久不见,接近四个月没更新博客了! 唯一的要求是低延迟,低资源消耗: 我们视频会议语音和视频是分离的。 只有一路混合语音,通过 SIP 传输。而会议视频则可能存在多路,使用 WebRTC 进行传输。 目录 ① 典型的Web直播方案 RTMP 推流 RTMP 拉流 RTMP 低延迟优化 ② JSMpeg & BroadwayJS Relay 服务器 推送 视频播放 多进程优化 简单说一下 Broadway.js 经过简单的测试, 相比 RTMP, JSMpeg 和 BroadwayJS 延迟都非常低,基本符合我们的要求。下面简单介绍一下 JSMpeg 用法。Broadwayjs 用法差不多, 下文会简单带过。 我们还可以利用requestAnimationFrame 由浏览器来调度播放的速率,丢掉积累的帧,保持低延迟播放。
播放器如果要提供播放效率和秒开其实本质上是做好解复用(Demux),Demux是指解析视频的封装格式,得到包含的音视频原始码流,Demux时间越短,就越快得到视频流,从而加快秒开速度,实现我们想要的低延迟播放的效果
在网校教学场景中,从主讲端推流,到视频CND节点分发,最后到用户侧设备播放,这 3 个过程,哪一个是最耗时的?直播延迟,主要延在了哪一步?第 2 步。 第 2 步,采用 UDP 分发,甚至可以复用成熟多年、穿透能力强的 P2P 分发方案,保证从数据中心,低延迟分发各个运营商的边缘分发节点。这种分发方案避免了主要的分发延迟。 第 3 步,从边缘节点到用户设备,通过 WebSocket 连接边缘节点,使用 jsMpeg 播放 video1mpeg 视频流,延迟可以控制在 50ms。50ms 已经非常低了。
从内容分发到行业应用,RTMP 等经典流媒体协议依然是移动端低延迟视频传输的中坚力量,尤其在以下几类场景中扮演关键角色: 1. 三、⚙️ 核心技术点拆解—— 构建行业领先的 Android RTMP 低延迟播放器核心能力大牛直播SDK 提供的 Android 平台 RTMP 播放器,以“毫秒级低延迟、多格式支持、多实例能力、丰富回调与渲染可控性 播放器的硬实力大牛直播SDK 提供的 Android RTMP 播放器,专为“低延迟、高兼容、强扩展”场景打造。 ✅ H.264 / H.265 全面支持软解+硬解(可切换)部分支持,硬解控制较弱播放流切换✅ 支持播放中快速切换 RTMP 地址,无缝衔接❌ 不支持 / 需重建播放器实例缓冲策略控制✅ 可选低延迟 / 以下为典型场景与实际价值对应关系: 行业典型落地场景一览应用场景实际应用方式技术价值与优势️ 无人机图传与远程操控无人机RTMP实时推流至移动端或指挥中心,进行低延迟预览与操作超低延迟播放 + 实时快照