下面以“大牛直播SDK 的 RTSP 播放器遇到 RTP 不带 Marker 位(M bit)”为切入点,结合 RTP/RTCP 基础 与 H.264/H.265/AAC 的负载规范,说明发送端如何规范打包 二、发送端(打包器)如何“规范打包”:H.264/H.2651) 通用约束 时间戳:同一帧(AU)内的所有 RTP 包 使用相同的 RTP 时间戳;视频时钟为 90 kHz。 3) 分片(FU-A for H.264 / FU for HEVC) 当 NALU 过大需分片为 FU:首片 S=1,E=0,中片 S=0,E=0,尾片 S=0,E=1; 只有“该 AU 的最后一个 5) MTU 与分片尺寸建议 典型 UDP MTU 1500,预留:IP(20/40) + UDP(8) + RTP(12) + 负载头(H.264 FU 2B / HEVC FU 3B 左右),保守 负载≈1200–1300B; TCP/RTSP 内嵌(interleaved)虽无 UDP 头,但仍建议与 UDP 一致的分片尺寸,利于复用与中间件处理。
RTSP被用于建立的控制媒体流的传输,它为多媒体服务扮演“网络远程控制”的角色。尽管有时可以把RTSP控制信息和媒体数据流交织在一起传送,但一般情况RTSP本身并不用于转送媒体流数据。 媒体数据的传送可通过RTP/RTCP等协议来完成。 一次基本的RTSP操作过程是:首先,客户端连接到流服务器并发送一个RTSP描述命令(DESCRIBE)。 SETUP 主要功能: 与服务器协商流媒体传输方式 此过程中,建立 RTP 通道 关键字段: Transport—— 传输方式 Transport: MP2T/RTP/ UDP;unicast 第三步:建立RTSP会话 3.C->S:SETUP request //通过Transport头字段列出可接受的传输选项,请求S建立会话 3.S->C:SETUP response 第五步: 数据传送播放中 S->C:发送流媒体数据 // 通过RTP协议传送数据 6.
关于使用rtp推流,TSINGSEE青犀视频团队实际已经研发了很长时间,其中也碰到了不少问题,比如RTP推流客户端无法解析播放,或者遇到不同的报错,但这些目前都已经有了比较完善的解决办法。 在使用RTP推流时,默认ffmpeg使用的打包模式是packetization-mode=1,本文我们和大家分享另一个比较实用的技巧,就是使用ffmpeg配置rtp打包模式。 如何修改打包模式? 关于RTP打包模式的说明如下: 目前ffmpeg默认使用的是1: Not interleaved 模式,针对客户的需要,服务端不支持STAP-A的组包模式,需要每个包单独发送,所以需要配置Single 配置完成后,还有个问题,需要配置pkt size,否则I帧无法完整发送,默认pkt size是1024个字节,而一般I帧都大于1024个字节,导致I帧发送不完整,图像传输失败,需要配置pkt size,在rtp url后面加上如下所示内容: rtp://192.168.99.138:6666?
前面我们花了较多的篇幅来介绍了RTSP协议的一些细节,但是rtsp传输,本质上涉及三种协议,RTSP、RTP以及RTCP。RTSP主要负责连接建立,销毁及一些其他的控制。 而实际涉及媒体数据传输使用的是RTP协议,本节我们来介绍一下RTP协议。 RTP概览 RTP是一种应用层协议,传输层协议可以是TCP或者UDP(UDP多一些)! RTP数据包由两部分组成,一部分是RTP Heaeder,一部分是RTP body,RTP Header占用最少12个字节,最多72个字节;另一部分是RTP Payload,用来封装实际的数据负载,如封装 下面我们来仔细看下RTP Header和RTP Body的组织形式! RTP包格式示意图 ? RTP Header格式 0 1 2 3 4 +-+-+-+-+-+
❝将PCM数据打包为RTP包。 /* 数据有效性判断 */ if (info.encoder_type == AudioEncoder::CodecType::kOther) return; 打包为 RTP // 对于连续的音频包,需要连续的timestamp。 timestamp += sizeof(int16_t) * encoder->NumChannels() * encoder->RtpTimestampRateHz()/100; /* 创建rtp包 packet.SetTimestamp(timestamp); packet.SetSsrc(ssrc); uint8_t *payload = packet.SetPayloadSize(buffer.size()); /* 装载rtp
问题背景: 前面讲解了PS、TS、FLV这三种媒体封装格式,现在新开一个系列讲解下传输协议,这里面会包含RTP、RTSP、HLS、RTMP等。 RTP协议既可以理解为传输层也可以理解为应用层,这么说是因为RTP负载可以放到RTSP上进行传输,通过二元交织通道方式实现。 2.RTP数据包的生成: 通过RTSP等协议的SDP信息协商好了RTP数据包的发送目的和传输方式,我们就需要把音视频数据打包成RTP包,用UDP发送给接收端了。 我们对于NALU的长度>=1400的则采用了FU-A的方式进行了打包,这种就是把一个大的NALU进行了切分,最后接收方则进行了合并,把多个RTP包合并成一个完整的NALU即可; 3. 打包时划分为两个字节 1、NALU header的前3bit为RTP固定头后面第一个字节FU-indication的前3bit,后面5bit后面跟了FU-A打包这种类型28; 2、NALU header
优势:RTSP的低延迟特性保证了视频会议的流畅性,同时其可扩展性和灵活性也支持了大规模会议的需求。 3. 直播与点播服务 应用场景:RTSP广泛应用于直播和点播服务中。 优势:RTSP的低延迟和实时控制功能保证了虚拟现实和增强现实应用的流畅性和互动性,提升了用户体验。 3. RTP(Real-time Transport Protocol)简介:RTP是一个实时传输媒体数据的协议,通常与RTSP一起使用。它负责在网络上传输音视频数据。 3. 流媒体服务 应用场景:流媒体服务如在线视频点播、网络电视等也广泛采用RTP协议。它允许用户随时随地访问和播放音视频内容,而无需等待整个文件下载完成。 3. 支持多种传输层协议 底层协议兼容性:这些协议通常可以基于TCP或UDP等传输层协议进行数据传输。
此时得到的为原始数据 涉及技术或协议: 摄像机:CCD、CMOS 拾音器:声电转换装置(咪头)、音频放大电路 2、数据编码: 使用相关硬件或软件对音视频原始数据进行编码处理(数字化)及加工(如音视频混合、打包封装等 OGG、AAC等 3、数据传输: 将编码完成后的音视频数据进行传输,早期的音视频通过同轴电缆之类的线缆进行传输,IP网络发展后,使用IP网络优传输 涉及技术或协议: 传输协议:RTP与RTCP、RTSP RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。 3、RTP(Real-time Transport Protocol,实时传输协议) RTP是针对多媒体数据流的一种传输层协议,详细说明了在互联网上传递音频和视频的标准数据包格式。 RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
它有三种变种: 1)工作在TCP之上的明文协议,使用端口1935; 2)RTMPT封装在HTTP请求之中,可穿越防火墙; 3)RTMPS类似RTMPT,但使用的是HTTPS连接; RTMP协议是被Flash 2、RTSP(Real Time Streaming Protocol,实时流传输协议) RTSP定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。 RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。 3、RTP(Real-time Transport Protocol,实时传输协议) RTP是针对多媒体数据流的一种传输层协议,详细说明了在互联网上传递音频和视频的标准数据包格式。 RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
随着H.265的普及,越来越多的开发者希望大牛直播SDK(Github)能支持低延迟的RTSP H.265播放,并分享相关经验: 实现思路: 对rtsp来说,要播放h265只要正确解析sdp和rtp包即可 TID: 3 bits. nuh_temporal_id_plus1. TemporalId 是TID-1. 2. RTP 打包格式 实际中其实就用到两种格式,一种是一个nal单元打包到一个rtp包中。 一种是nal单元比较大,分片打包在多个rtp中. 3.1 单个Nal单元打包: PayloadHdr 把 NAL单元头填入就好. 3.2 Nal单元分片打包: PayloadHdr还是拷贝NAL FU header 就一个字节,格式如下: +---------------+ |0|1|2|3|4|5|6|7| +-+-+-+-+-+-+-+-+ |S|E| FuType | +---------
二、RTSP / RTP 协议机制深度解读要理解轻量级 RTSP 服务 SDK 的价值,必须先回顾 RTSP 与 RTP 的核心机制。 简而言之:RTSP 管“会话”,RTP 管“数据”,SDP 管“说明”。 内置协议栈:RTSP/RTP/SDP 由 SDK 自研实现,不依赖第三方服务。 多会话能力:单设备支持多客户端同时拉流。 四、关键技术实现细节 RTP 打包 视频(H.264/H.265):支持 FU-A(大帧分片)、STAP-A(多帧打包)。 音频(AAC):每帧 1024 个采样点,时间戳递增。 3. 机器人远程操控在服务型机器人、安防机器人、工业巡检机器人等领域,远程操控离不开 第一人称视角视频。 机器人端内置 SDK,摄像头画面通过 RTSP 服务实时输出。
它有三种变种: (1)工作在TCP之上的明文协议,使用端口1935; (2)RTMPT封装在HTTP请求之中,可穿越防火墙; (3)RTMPS类似RTMPT,但使用的是HTTPS连接; RTMP协议是被 3、RTSP(Real Time Streaming Protocol,实时流传输协议) RTSP定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。 RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。 代理服务器的缓存功能也同样适用于RTSP,并且因为RTSP具有重新导向功能,可根据实际负载情况来切换提供服务的服务器,以避免过大的负载集中于同一服务器而造成延迟。 RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
他有多种变种: 1.RTMP工作在TCP之上,默认使用端口1935; 2.RTMPE在RTMP的基础上增加了加密功能; 3.RTMPT封装在HTTP请求之上,可穿透防火墙; 4.RTMPS类似RTMPT ,增加了TLS/SSL的安全功能; 二、RTSP协议(Real Time Streaming Protocol)实时流传输协议。 RTSP具有重新导向功能,可视实际负载情况来转换提供服务的服务器,可以避免过大的负载集中于同一服务器而造成延迟。 RTP协议常用于流媒体系统(配合RTSP协议),视频会议和一键通(Push to Talk)系统(配合H.323或SIP),使它成为IP电话产业的技术基础。 四、RTCP协议(RTP Control Protocol)RTP控制协议 提供数据分发质量反馈信息,RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
本地端口、SS-R-C、RTP socket 发送Buffer大小、RTP时间戳时钟频率设置,支持注册成功、注册超时、INVITE、ACK、BYE状态回调。 待收到服务端的Ack后,发送编码、打包后的媒体流数据。在此期间,按照设定间隔,定时发送keepalive。 如上图所示,模块除了常规的音视频参数配置外,系统可同时亦或单独实现如RTMP推送、RTSP推送、轻量级RTSP服务、实时录像、GB28181前端接入。 秒, 如 3600 * @param heartBeatInterval 心跳间隔, 单位: 秒, 默认60 * @param heartBeatCount 心跳超时次数, 默认3次 、RTMP和音视频采集、编码传输等有了多年积累,GB28181接入,对我们来说,只是在现有架构的基础上,完成信令交互和数据打包传输(H264, H265打包成PS流,然后拆成RTP包发送即可),RTP传输支持
3️⃣ Session Control: 客户端使用 PLAY / PAUSE / TEARDOWN 控制播放状态。 RTP 流在此阶段通过 UDP(或 TCP interleaved)持续传输。 RTP Header:序列号、时间戳、SSRC; PS Packet:系统头 + 音视频打包; Transport Mode:UDP 单播为主,部分实现支持 TCP fallback。 GB28181 的流传输模型强调“平台拉流”而非“设备推流**”——上级平台控制 INVITE,设备在收到请求后才发 RTP 流,这符合政企安防对访问控制与带宽管理的要求。3. 随后,RTMP、GB28181、录制模块分别从该缓冲区读取帧进行编码、打包或输出。 → GB28181:将标准 RTSP 流重新打包为 PS 流,并通过 SIP/INVITE 注册上级平台; RTMP → GB28181:适用于移动推流或自定义直播源纳入国标平台; 多协议并发输出:
背景 在事先Android平台RTSP、RTMP转GB28181网关之前,我们已经实现了Android平台GB28181的接入,可实现Android平台采集到的音视频数据,编码后,打包按需发到GB28181 和我们之前实现的轻量级RTSP服务网关模块类似,我们要做的是,实现RTSP或RTMP流,按需打包对接到GB28181服务平台。 轻量级RTSP服务模块、RTSP|RTMP转GB28181网关模块和内置RTSP网关模块的区别和联系: 内置轻量级RTSP服务模块和内置RTSP网关模块,核心痛点是避免用户或者开发者单独部署RTSP或者 内置RTSP网关模块,实际上是RTSP/RTMP拉流模块+内置轻量级RTSP服务模块组合出来的。 数据源来自RTSP或RTMP网络流,拉流模块完成编码后的音视频数据回调,然后,汇聚到内置轻量级RTSP服务模块。RTSP|RTMP转GB28181网关模块,和内置RTSP网关模块数据源接入一样。
RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据。该协议目的在于控制多个数据发送连接,为选择发送通道如UDP、组播UDP与TCP提供途径,并为选择基于RTP上发送机制提供方法。 RTSP语法和运作跟HTTP/1.1类似,但并不特别强调时间同步,所以比较能容忍网络延迟。 代理服务器的缓存功能也同样适用于RTSP,并且因为RTSP具有重新导向功能,可根据实际负载情况来切换提供服务的服务器,以避免过大的负载集中于同一服务器而造成延迟。 直播1.png 3、RTCP(Real-time Transport Control Protocol,实时传输控制协议 RTCP是RTP的配套协议,为RTP媒体流提供信道外的控制。 RTCP和RTP一起协作将多媒体数据打包和发送,定期在多媒体流会话参与者之间传输控制数据。
RTP/RTCP(承载层):视频常见 H.264/H.265 负载规范;AAC 音频有各自打包规则。RTCP 提供丢包/抖动/时钟校正等统计反馈。 TCP 内嵌(穿透友好,弱网更稳,时延略高) RTP/RTCP 复用在 RTSP TCP 连接 内,通过 channel 编号区分:SETUP rtsp://cam/trackID=1 RTSP/1.0 用 0-1,audio 用 2-3。 /2a=fmtp:97 mode=AAC-hbr;config=1190;sizeLength=13;indexLength=3;indexDeltaLength=3 视频 RTP 时钟通常 90kHz AAC:RTP 打包有固定帧步进(常见 1024 samples/帧)。 RTCP:SR/RR 提供丢包、抖动、RTP↔参考时钟映射,可用来指导缓冲深度、网络拥塞控制和 TCP/UDP 切换策略。
打包多种流媒体协议(RTSP/RTMP/HLS),支持协议间的互相转换,提供一站式的服务。 使用epoll+线程池+异步网络IO模式开发,并发性能优越。 RTSPS 服务器,支持亚马逊echo show这样的设备 RTSP 播放器,支持RTSP代理,支持生成静音音频 RTSP 推流客户端与服务器 支持 rtp over udp rtp over tcp rtp over http rtp组播 四种RTP传输方式 。 支持H265编码 服务器支持RTSP推流(包括rtp over udp rtp over tcp方式) 支持任意编码格式的rtsp推流,只是除H264/H265+AAC外无法转协议 RTMP RTMP 1 进入ZLMediaKit目录执行 git submodule update --init 以下载ZLToolKit的代码 2 使用cmake-gui打开工程并生成vs工程文件. 3
编码方式通常为:CBR、VBR,编码格式视频常用H.264、AVI、MP4等,音频为AAC、MP3等。 RTSP(real time streaming protocol,实时流传输协议) RTSP定义了一对多应用程序如何有效的通过IP网络传送多媒体数据,RTSP提供了一个可扩展框架,数据源可以包括实时数据与已有的存储的数据 RTP(real transport protocol,实时传输协议) RTP是针对多媒体数据流的一种传输层协议,详细说明了在互联网上传递音频和视频的标准数据包格式。 RTP实行有序传送,RTP中的序列号允许接收方重组发送方的包序列,同时序列号也能用于决定适当的包位置,如在视频解码中,就不需要顺序解码。 RTCP(real transport control protocol,实时传输控制协议) RTCP是RTP的配套协议,为RTP媒体流提供信道外的控制,RTCP和RTP一起协作将多媒体数据打包和发送,