下面以“大牛直播SDK 的 RTSP 播放器遇到 RTP 不带 Marker 位(M bit)”为切入点,结合 RTP/RTCP 基础 与 H.264/H.265/AAC 的负载规范,说明发送端如何规范打包 二、发送端(打包器)如何“规范打包”:H.264/H.2651) 通用约束 时间戳:同一帧(AU)内的所有 RTP 包 使用相同的 RTP 时间戳;视频时钟为 90 kHz。 5) MTU 与分片尺寸建议 典型 UDP MTU 1500,预留:IP(20/40) + UDP(8) + RTP(12) + 负载头(H.264 FU 2B / HEVC FU 3B 左右),保守 负载≈1200–1300B; TCP/RTSP 内嵌(interleaved)虽无 UDP 头,但仍建议与 UDP 一致的分片尺寸,利于复用与中间件处理。 接收端(大牛直播SDK RTSP 播放器侧):实现 “M 位优先 + 时间戳变化 + FU 完整 + 超时兜底” 的复合切帧算法,这既符合规范精神,又能兼容“不带 M 位”的常见设备。
RTSP被用于建立的控制媒体流的传输,它为多媒体服务扮演“网络远程控制”的角色。尽管有时可以把RTSP控制信息和媒体数据流交织在一起传送,但一般情况RTSP本身并不用于转送媒体流数据。 媒体数据的传送可通过RTP/RTCP等协议来完成。 一次基本的RTSP操作过程是:首先,客户端连接到流服务器并发送一个RTSP描述命令(DESCRIBE)。 当前播放点 •end 节目结束点 方法2 时间描述 •直接用数字形式表示与起始点的时间 绝对时间描述——clock ISO 8601时间戳标准 5、 第四步:请求开始传送数据 4.C->S:PLAY request //C请求S开始发送数据 4.S->C:PLAY response //S回应该请求的信息 5. 第五步: 数据传送播放中 S->C:发送流媒体数据 // 通过RTP协议传送数据 6.
关于使用rtp推流,TSINGSEE青犀视频团队实际已经研发了很长时间,其中也碰到了不少问题,比如RTP推流客户端无法解析播放,或者遇到不同的报错,但这些目前都已经有了比较完善的解决办法。 在使用RTP推流时,默认ffmpeg使用的打包模式是packetization-mode=1,本文我们和大家分享另一个比较实用的技巧,就是使用ffmpeg配置rtp打包模式。 如何修改打包模式? 关于RTP打包模式的说明如下: 目前ffmpeg默认使用的是1: Not interleaved 模式,针对客户的需要,服务端不支持STAP-A的组包模式,需要每个包单独发送,所以需要配置Single 配置完成后,还有个问题,需要配置pkt size,否则I帧无法完整发送,默认pkt size是1024个字节,而一般I帧都大于1024个字节,导致I帧发送不完整,图像传输失败,需要配置pkt size,在rtp url后面加上如下所示内容: rtp://192.168.99.138:6666?
前面我们花了较多的篇幅来介绍了RTSP协议的一些细节,但是rtsp传输,本质上涉及三种协议,RTSP、RTP以及RTCP。RTSP主要负责连接建立,销毁及一些其他的控制。 而实际涉及媒体数据传输使用的是RTP协议,本节我们来介绍一下RTP协议。 RTP概览 RTP是一种应用层协议,传输层协议可以是TCP或者UDP(UDP多一些)! RTP数据包由两部分组成,一部分是RTP Heaeder,一部分是RTP body,RTP Header占用最少12个字节,最多72个字节;另一部分是RTP Payload,用来封装实际的数据负载,如封装 下面我们来仔细看下RTP Header和RTP Body的组织形式! RTP包格式示意图 ? CSRC 由于RTP Header中CC的值为0,所以表示CSRC在本数据包中的个数为0,在此处没有,RTP HEADER中允许有0-15个CSRC。 RTP Payload ?
❝将PCM数据打包为RTP包。 /* 数据有效性判断 */ if (info.encoder_type == AudioEncoder::CodecType::kOther) return; 打包为 RTP // 对于连续的音频包,需要连续的timestamp。 timestamp += sizeof(int16_t) * encoder->NumChannels() * encoder->RtpTimestampRateHz()/100; /* 创建rtp包 packet.SetTimestamp(timestamp); packet.SetSsrc(ssrc); uint8_t *payload = packet.SetPayloadSize(buffer.size()); /* 装载rtp
RTP协议既可以理解为传输层也可以理解为应用层,这么说是因为RTP负载可以放到RTSP上进行传输,通过二元交织通道方式实现。 2.RTP数据包的生成: 通过RTSP等协议的SDP信息协商好了RTP数据包的发送目的和传输方式,我们就需要把音视频数据打包成RTP包,用UDP发送给接收端了。 5bit提取出来就确认了该RTP包承载的不是一个完整的NALU,是其一部分。 字段在RTP打包时划分为两个字节 1、NALU header的前3bit为RTP固定头后面第一个字节FU-indication的前3bit,后面5bit后面跟了FU-A打包这种类型28; 2、NALU header的后面5bit变成了RTP固定头第二字节的后面5bit,其中前3bit标识了分片的开始和结束。
优势:RTSP为媒体播放器提供了一种标准化的控制接口,使得不同品牌和型号的播放器能够兼容不同的流媒体服务器,提高了系统的兼容性和可扩展性。 5. RTP(Real-time Transport Protocol)简介:RTP是一个实时传输媒体数据的协议,通常与RTSP一起使用。它负责在网络上传输音视频数据。 优势:RTP的低延迟和高效传输特性使得IP电话通信具有与传统电话相似的通话质量,并且不受地理位置的限制。 5. 监控录像 应用场景:在监控系统中,RTP协议被用于实时传输监控视频数据。 5. 实时性要求 实时性:尽管这些协议在实时性方面的表现各不相同(如HLS的延迟较大,适合点播;RTMP和RTSP的实时性较好,适合直播),但它们都旨在满足流媒体传输对实时性的基本要求。 5.
二、RTSP / RTP 协议机制深度解读要理解轻量级 RTSP 服务 SDK 的价值,必须先回顾 RTSP 与 RTP 的核心机制。 简而言之:RTSP 管“会话”,RTP 管“数据”,SDP 管“说明”。 四、关键技术实现细节 RTP 打包 视频(H.264/H.265):支持 FU-A(大帧分片)、STAP-A(多帧打包)。 音频(AAC):每帧 1024 个采样点,时间戳递增。 低延迟优化 减少缓冲区层级(编码→RTP→Socket)。 RTP 发送线程实时优先级。 网络环境复杂性 Wi-Fi/4G/5G/专网的丢包率和抖动不同,需支持自适应。 5.
此时得到的为原始数据 涉及技术或协议: 摄像机:CCD、CMOS 拾音器:声电转换装置(咪头)、音频放大电路 2、数据编码: 使用相关硬件或软件对音视频原始数据进行编码处理(数字化)及加工(如音视频混合、打包封装等 ,得到可以直接显示的图像/声音 涉及技术或协议: 一般对应的编码器都会带有相应的解码器,也有一些第三方解码插件等 5、播放显示: 在显示器(电视、监视屏等)或扬声器(耳机、喇叭等)里,显示相应的图像画面或声音 2、RTSP(Real Time Streaming Protocol,实时流传输协议) RTSP定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。 RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。 RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
随着H.265的普及,越来越多的开发者希望大牛直播SDK(Github)能支持低延迟的RTSP H.265播放,并分享相关经验: 实现思路: 对rtsp来说,要播放h265只要正确解析sdp和rtp包即可 RTP 打包格式 实际中其实就用到两种格式,一种是一个nal单元打包到一个rtp包中。 一种是nal单元比较大,分片打包在多个rtp中. 3.1 单个Nal单元打包: PayloadHdr 把 NAL单元头填入就好. 3.2 Nal单元分片打包: PayloadHdr还是拷贝NAL FU header 就一个字节,格式如下: +---------------+ |0|1|2|3|4|5|6|7| +-+-+-+-+-+-+-+-+ |S|E| FuType | +--------- 相关资料分享:RTP Payload Format for HEVC:http://pike.lysator.liu.se/docs/ietf/rfc/77/rfc7798.xml
2、RTSP(Real Time Streaming Protocol,实时流传输协议) RTSP定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。 RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。 RTSP语法和运作跟HTTP/1.1类似,但并不特别强调时间同步,所以比较能容忍网络延迟。 代理服务器的缓存功能也同样适用于RTSP,并且因为RTSP具有重新导向功能,可根据实际负载情况来切换提供服务的服务器,以避免过大的负载集中于同一服务器而造成延迟。 RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
在底层,RTSP 通常与 RTP(Real-time Transport Protocol) 和 RTCP(RTP Control Protocol) 配合使用: RTP 负责音视频帧的实际传输; RTCP RTP Header:序列号、时间戳、SSRC; PS Packet:系统头 + 音视频打包; Transport Mode:UDP 单播为主,部分实现支持 TCP fallback。 随后,RTMP、GB28181、录制模块分别从该缓冲区读取帧进行编码、打包或输出。 → GB28181:将标准 RTSP 流重新打包为 PS 流,并通过 SIP/INVITE 注册上级平台; RTMP → GB28181:适用于移动推流或自定义直播源纳入国标平台; 多协议并发输出: 5.
背景 在事先Android平台RTSP、RTMP转GB28181网关之前,我们已经实现了Android平台GB28181的接入,可实现Android平台采集到的音视频数据,编码后,打包按需发到GB28181 和我们之前实现的轻量级RTSP服务网关模块类似,我们要做的是,实现RTSP或RTMP流,按需打包对接到GB28181服务平台。 轻量级RTSP服务模块、RTSP|RTMP转GB28181网关模块和内置RTSP网关模块的区别和联系: 内置轻量级RTSP服务模块和内置RTSP网关模块,核心痛点是避免用户或者开发者单独部署RTSP或者 内置RTSP网关模块,实际上是RTSP/RTMP拉流模块+内置轻量级RTSP服务模块组合出来的。 数据源来自RTSP或RTMP网络流,拉流模块完成编码后的音视频数据回调,然后,汇聚到内置轻量级RTSP服务模块。RTSP|RTMP转GB28181网关模块,和内置RTSP网关模块数据源接入一样。
二、协议拼装:RTSP/SDP/RTP/RTCP/RTMP 的边界把转发做稳,首要是把边界划清楚: RTSP(控制层):常见为 1.0 版本;2.0 在语义和报文上与 1.0 并非完全兼容。 RTP/RTCP(承载层):视频常见 H.264/H.265 负载规范;AAC 音频有各自打包规则。RTCP 提供丢包/抖动/时钟校正等统计反馈。 TCP 内嵌(穿透友好,弱网更稳,时延略高) RTP/RTCP 复用在 RTSP TCP 连接 内,通过 channel 编号区分:SETUP rtsp://cam/trackID=1 RTSP/1.0 AAC:RTP 打包有固定帧步进(常见 1024 samples/帧)。 RTCP:SR/RR 提供丢包、抖动、RTP↔参考时钟映射,可用来指导缓冲深度、网络拥塞控制和 TCP/UDP 切换策略。 读薄,在于边界清晰:RTSP 负责控制、SDP 做能力描述、RTP/RTCP 承载与校时、RTMP 负责复用与上行,外加一条可验证的时钟映射(RTP→毫秒)。
产品设计方面,媒体流支持最新GB28181-2016的UDP和TCP被动模式,参数配置,支持注册有效期、心跳间隔、心跳间隔次数、TCP/UDP信令设置,支持RTP Sender IP地址类型、RTP Socket 本地端口、SS-R-C、RTP socket 发送Buffer大小、RTP时间戳时钟频率设置,支持注册成功、注册超时、INVITE、ACK、BYE状态回调。 待收到服务端的Ack后,发送编码、打包后的媒体流数据。在此期间,按照设定间隔,定时发送keepalive。 如上图所示,模块除了常规的音视频参数配置外,系统可同时亦或单独实现如RTMP推送、RTSP推送、轻量级RTSP服务、实时录像、GB28181前端接入。 、RTMP和音视频采集、编码传输等有了多年积累,GB28181接入,对我们来说,只是在现有架构的基础上,完成信令交互和数据打包传输(H264, H265打包成PS流,然后拆成RTP包发送即可),RTP传输支持
之上,默认使用端口1935; 2.RTMPE在RTMP的基础上增加了加密功能; 3.RTMPT封装在HTTP请求之上,可穿透防火墙; 4.RTMPS类似RTMPT,增加了TLS/SSL的安全功能; 二、RTSP RTSP具有重新导向功能,可视实际负载情况来转换提供服务的服务器,可以避免过大的负载集中于同一服务器而造成延迟。 RTP协议常用于流媒体系统(配合RTSP协议),视频会议和一键通(Push to Talk)系统(配合H.323或SIP),使它成为IP电话产业的技术基础。 RTP协议和RTP控制协议RTCP一起使用,而且它是建立在用户数据报协议上的。RTP广泛应用于流媒体相关的通讯和娱乐,包括电话、视频会议、电视和基于网络的一键通业务(类似对讲机的通话)。 四、RTCP协议(RTP Control Protocol)RTP控制协议 提供数据分发质量反馈信息,RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
打包多种流媒体协议(RTSP/RTMP/HLS),支持协议间的互相转换,提供一站式的服务。 使用epoll+线程池+异步网络IO模式开发,并发性能优越。 RTSPS 服务器,支持亚马逊echo show这样的设备 RTSP 播放器,支持RTSP代理,支持生成静音音频 RTSP 推流客户端与服务器 支持 rtp over udp rtp over tcp rtp over http rtp组播 四种RTP传输方式 。 支持H265编码 服务器支持RTSP推流(包括rtp over udp rtp over tcp方式) 支持任意编码格式的rtsp推流,只是除H264/H265+AAC外无法转协议 RTMP RTMP 的代码 2 使用cmake-gui打开工程并生成vs工程文件. 3 找到工程文件(ZLMediaKit.sln),双击用vs2017打开. 4 选择编译Release 版本. 5
3、RTSP(Real Time Streaming Protocol,实时流传输协议) RTSP定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。 RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。 RTSP语法和运作跟HTTP/1.1类似,但并不特别强调时间同步,所以比较能容忍网络延迟。 代理服务器的缓存功能也同样适用于RTSP,并且因为RTSP具有重新导向功能,可根据实际负载情况来切换提供服务的服务器,以避免过大的负载集中于同一服务器而造成延迟。 RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
一、RTSP 如何支持 H.266:协议与封装的挑战H.266 在算法层面实现了更高的压缩效率,但要通过 RTSP 低延迟链路传输,还必须解决协议与封装上的一系列问题: SDP 信令扩展 在 RTSP RTP 打包与传输 RTSP 的核心在于 RTP(Real-Time Transport Protocol)承载数据,而 H.266 引入了新的 NALU 结构,与 H.265/HEVC 有相似但更复杂的分片和聚合需求 IETF 已在推进 H.266 的 RTP 打包草案,未来 SDK 需要支持 VVC RTP payload format,以保证端到端的标准兼容。 播放器端解包与解码 RTSP 客户端在接收 RTP 包后,需要正确完成 解复用 → NALU 重组 → 解码器输入 的流程。 H.266 可在有限带宽的 4G/5G 或专网中传输 高分辨率航拍画面,SDK 播放端通过 RTSP 实现 实时指挥与调度,避免延迟导致的飞行安全风险。
RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。 RTSP语法和运作跟HTTP/1.1类似,但并不特别强调时间同步,所以比较能容忍网络延迟。 代理服务器的缓存功能也同样适用于RTSP,并且因为RTSP具有重新导向功能,可根据实际负载情况来切换提供服务的服务器,以避免过大的负载集中于同一服务器而造成延迟。 直播1.png 3、RTCP(Real-time Transport Control Protocol,实时传输控制协议 RTCP是RTP的配套协议,为RTP媒体流提供信道外的控制。 RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。