正因如此,RTSP(Real Time Streaming Protocol)作为低延迟播放的核心协议,其对 H.266 的支持成为产业落地的关键环节。 一、RTSP 如何支持 H.266:协议与封装的挑战H.266 在算法层面实现了更高的压缩效率,但要通过 RTSP 低延迟链路传输,还必须解决协议与封装上的一系列问题: SDP 信令扩展 在 RTSP IETF 已在推进 H.266 的 RTP 打包草案,未来 SDK 需要支持 VVC RTP payload format,以保证端到端的标准兼容。 在移动端(Android/iOS),SDK 将优先支持 软解方案,并逐步兼容硬件解码。 H.266 能在保持 4K/8K 画质的同时显著降低码率,结合 SDK 的 RTSP 低延迟播放器,能在指挥中心实现 毫秒级调度画面切换,支持海量摄像头的并发接入。
作为多年专注于RTSP/RTMP 实时流媒体链路、低延迟直播系统的技术实践者,我们尝试从编解码效率、实时传输适配性、硬件生态、系统落地等多个维度,全面梳理 H.266、H.265、AV1 及 H.264 应用价值举例:在 RTSP 监控场景中,使用 H.266 可将单路 4K 码率从 12Mbps 降至 6Mbps 以下,极大节省边缘-云传输带宽。✅ 2. 、轻量 RTSP 服务,可在边缘完成 VVC 解码与转发,为后端系统提供兼容输出 + 高压缩传输的桥梁能力。 软件解码 fallback 支持 逐步支持 GPU/硬件加速的动态切换推流 SDK⚠️ 暂以 H.265 为主 后续可支持 H.266 profile + codec fallback转码系统✅ 支持 H.265 → H.266 批量转码 引入场景感知编码策略(运动/静态/AI输入)轻量 RTSP 服务模块✅ 保持解码能力兼容性 引入“智能分发”:客户端能力协商选择编码格式 开发建议:大牛直播SDK
、芯片、推流服务端等支持不足VLC/FFmpeg初步支持,芯片硬解尚未商用 流媒体协议适配滞后H.266 的 RTP/RTSP 打包未标准化需自定义 Payload,主流协议栈尚未更新特别是在实时传输( 解码链路接口抽象:解码器接入接口统一定义,支持未来 H.266 解码插件按需挂载。 意义:提前打通 RTSP/RTP 在传输链路中的 H.266 支持,为 AI 终端、4K/8K监控、智能机器人等场景提供更高压缩效率的视频输入路径。✅ 2. ,将 RTSP(H.266) 转换为 RTMP等更兼容格式; 多级缓存与调度:结合多路流的 QoS 调控策略,优化大规模接入设备下的链路稳定性与延迟控制。 典型“演进型”部署策略建议应用阶段推荐做法技术建议 现阶段在 AI 边缘节点或中转服务部署软解/软编FFmpeg + libvvdec / libvvcenc 模块试点 过渡期建立 RTSP(H.266
服务端:轻量级 RTSP/HTTP-FLV 服务模块,支持多路转发与边缘分发,降低系统复杂度与带宽消耗。 路径:在现有 RTSP 播放器内核中增加 H.266 解码能力,优先支持 Windows/Linux/Android 平台,并逐步扩展到 iOS/Unity。 路径:待硬件厂商逐步开放 GPU/ASIC/移动端芯片的 H.266 硬件加速能力后,SDK 将提供 RTMP/RTSP 推流端的编码支持。 路径:在边缘节点和云端增加 H.266 转码模块,支持 H.264/H.265 ↔ H.266 的互转。 解决方案:摄像端采用 H.266 编码,SDK 播放器低延迟解码;边缘节点通过轻量 RTSP 服务实现多路转发。
协议层对接 —— RTSP/RTMP/GB28181/WebRTC 等传输协议需要支持新的 SDP 描述与封装方式,确保拉流、推流的兼容性。 4. 机会与价值 对 国际应用 而言,提前布局 H.266 解码支持,将帮助企业在未来的跨境流媒体竞争中占据优势。 协议层适配:扩展 RTSP/RTMP/GB28181/WebRTC 的 SDP/信令能力,支持 H.266/AVS3 的描述和封装。 SDK 提供稳定的 RTSP/GB28181 接入模块,未来可无缝扩展 AVS3 解码。 2. 应用链路:医疗/教育采集端 → 编码(H.265/H.266/AVS3) → RTSP/RTMP → SDK 播放/互动。
H.266,即VVC,已于2020年6月完成标准化工作,其标准号为Rec. ITU-T H.266 and ISO/IEC 23090-3,标准将在2020年11月正式开始生效。 H.266最显著的特点就是其相比起它前一代的标准,即ITU-T and ISO/IEC High Efficiency Video Coding (HEVC),标准号Rec. 因为是基于VTM做得优化,所以其也支持所有VTM的特性。 tree/VTM-10.2-MT Fraunhofer HHI发布的一款VVC编解码器,VVenC和VVdeC,完全开源,与2020年9月发布,现在参与的人数还不是很多,大部分是机构内部人员在开发,它支持很多特性 解码2K CTC视频,单线程达到94fps,4.78倍于VTM-11.0 字节跳动BVC,支持多平台,Android,IOS,Linux/MacOS, Windows,专为移动平台做了特别优化,解码
在H.266生态中,一方面,支持H.266硬件解码的端侧芯片业界已经开始有所行动 [2];另一方面,端侧软件解码速度逐渐提升,已经可以覆盖绝大部分的端侧场景。 随着H.266应用于直播场景的时机日趋成熟,腾讯云率先在业界实现了H.266在直播业务的全线支持,助力客户节省带宽成本,提升播放体验。 腾讯云直播全线支持H.266 云端支持H.266,主要包括两部分:H.266的传输分发和H.266编解码的支持。 H.266的传输和分发 多媒体领域应用最广泛的MP4格式和MPEG-TS格式,在最新版标准文档中都新增了H.266的封装支持[3][4]。 但FLV标准已停止更新,目前缺少H.266编码格式支持。类似H.265的处理方式,我们可以定义一套扩展标准来支持H.266。
在H.266生态中,一方面,支持H.266硬件解码的端侧芯片业界已经开始有所行动 [2];另一方面,端侧软件解码速度逐渐提升,已经可以覆盖绝大部分的端侧场景。 随着H.266应用于直播场景的时机日趋成熟,腾讯云率先在业界实现了H.266在直播业务的全线支持,助力客户节省带宽成本,提升播放体验。 腾讯云直播全线支持H.266 云端支持H.266,主要包括两部分:H.266的传输分发和H.266编解码的支持。 H.266的传输和分发 多媒体领域应用最广泛的MP4格式和MPEG-TS格式,在最新版标准文档中都新增了H.266的封装支持[3][4]。 但FLV标准已停止更新,目前缺少H.266编码格式支持。类似H.265的处理方式,我们可以定义一套扩展标准来支持H.266。
随着H.265的普及,越来越多的开发者希望大牛直播SDK(Github)能支持低延迟的RTSP H.265播放,并分享相关经验: 实现思路: 对rtsp来说,要播放h265只要正确解析sdp和rtp包即可
大牛直播SDK凭借全自研跨平台内核,构建了从采集、推流、传输到播放、转发的完整能力,涵盖 RTSP/RTMP 推流、超低延迟播放器、轻量级 RTSP 服务、GB28181 对接、多路转发等核心模块。 ; 可扩展与演进:已验证 H.265/HEVC 支持,并为 H.266/VVC、AV1 等下一代标准预留接口,保证未来演进。 ,协议栈碎片化,兼容性差原生支持 RTSP / RTMP / GB28181,多路转发互通跨平台常见平台需分别移植,维护成本高Windows / Linux (x86_64/aarch64) / Android / iOS / Unity 全覆盖工程复杂度代码复杂,难以维护,调优成本高模块化封装,接口清晰,快速集成未来演进对 H.265/H.266/AV1 的支持依赖社区进度已支持 H.265/Enhanced RTMP HEVC,预留 H.266/AV1 扩展接口可以看到,开源方案更多适合科研、验证或轻量级应用,而在低延迟、稳定性、跨平台、合规对接都要求极高的低空经济落地场景中,SmartMediakit
在安防、视频流媒体、实时通信等行业中,从超高清摄像机、NVR、解码器/视频综合平台到中心平台软件等,都必须能够支持H.266技术。 然而,目前市场上支持H.266的设备和技术方案还相对有限,许多设备和服务仍然依赖于更成熟的H.264或H.265等较旧的编解码器。 虽然已有企业开始设计支持H.266的芯片和软件,但这些产品还未大规模应用,导致技术门槛较高,限制了H.266的普及速度。H.266要成为主流,必须得到广泛的硬件和软件支持,这需要时间来逐步实现。 3)市场接受度与竞争环境市场接受度也是影响H.266普及的重要因素。目前,H.264仍然是最为主流的视频编码格式,能够支持解码的硬件普遍且成本较低。 特别是在实时通信、超高清视频传输等领域,H.266需要更加成熟和稳定的技术支持,才能满足行业对视频质量和传输效率的高要求。
# -*- coding: utf-8 -*- """ A demo python code that .. 1) Connects to an IP cam with RTSP 2) Draws RTP ***************************************** ip="192.168.1.74" # IP address of your cam port=1616 adr="rtsp **************************************************************************** dest="DESCRIBE "+adr+" RTSP \r\nCSeq: 2\r\nUser-Agent: python\r\nAccept: application/sdp\r\n\r\n" setu="SETUP "+adr+"/trackID=1 RTSP .com/ https://github.com/odie5533/Python-RTSP
例如,一些新的视频分析和处理技术,如人工智能视频分析、虚拟现实等,可能需要更高效率的视频编码支持。H.265 的先进特性可以为这些技术的应用提供更好的基础。RTSP播放器如何支持H.265? 在 RTSP 连接建立过程中,客户端和服务器会进行 SDP 协商,确定双方支持的媒体格式和参数。 、Linux、Android、iOS全平台支持): [多实例播放]支持多实例播放; [事件回调]支持网络状态、buffer状态等回调; [视频格式]支持H.265、H.264,此外,还支持RTSP MJPEG ]支持RTSP TCP/UDP模式设置; [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换; [RTSP超时设置]支持RTSP超时时间设置,单位:秒; [RTSP 401认证处理 ]支持上报RTSP 401事件,如URL携带鉴权信息,会自动处理; [缓冲时间设置]支持buffer time设置; [首屏秒开]支持首屏秒开模式; [复杂网络处理]支持断网重连等各种网络环境自动适配;
最新一代视频编码标准 H.266/VVC 正是在这种背景下,走入“舞台”中央。作为支撑庞大视频产业的核心关键要素,H.266 在流媒体生态中起着举足轻重的作用。 H.266 的重点应用场景可分为三个部分:点播、直播、RTC。虽然 H.266 硬解码器的支持正在逐步增加,但目前市场上硬解支持 H.266 的设备相对较少,尤其是一些移动终端。 因此,优化 H.266 的软件解码器就显得尤为重要。 其中,点播编解码更注重压缩效率与画质平衡,H.266 的核心优势在于压缩效率提升约 50%。 在动态范围与色彩支持方面,H.266 的 Main10 Profile 原生支持 10bit 色深和 HDR,解决了点播内容在宽色域和高动态范围下的色彩断层问题。 这些特性使得 H.266 已经成为视频企业必选的技术栈、必做的标准升级。有数据显示,2026 年支持 H.266 硬解设备将超 20 亿台,推动 8K/VR 内容普及。
前面的两篇文章分别介绍了如何在Linux环境和Windows环境给FFmpeg集成H.266的编码器vvenc,接下来利用ffmpeg把视频文件转换为VVC格式,观察新生成的vvc视频能否正常播放。 编码格式(即H.265视频编码标准): ffmpeg -i fuzhous.mp4 -vcodec hevc ff_recode_video2.mp4 再执行下面命令,把视频文件转为vvc编码格式(即H.266 因为FFmpeg从7.1开始支持解码vvc格式,所以编译出来的ffplay程序能够播放vvc视频。 虽然通过ffplay命令能够播放vvc视频,但是VLC media player的3.0.21版本尚不支持vvc格式。 若想通过可交互界面播放vvc视频,需下载最新版的PotPlayer,最新的PotPlayer支持播放VVC格式视频。
技术背景 我们在做Windows平台RTMP推送、轻量级RTSP服务录像模块的时候,部分开发者抱怨路径无法设置中文,只能设置为英文。 UnmanagedType.LPStr)] String dir, IntPtr pReserve); 考虑到一些场景的特殊性,可能需要中文路径,我们设计的接口如下: /* * 设置本地录像目录, 支持中文目录 break; } EventGetPublisherEventMsg(event_log); } 总结 Windows平台RTMP推送、轻量级RTSP
RTSP对流媒体提供诸如暂停、快进等控制,而它本身并不传输数据。RTSP的作用相当于流媒体服务器的远程控制。 2、RTSP与HTTP的区别与联系 联系:两者都用纯文本来发送消息,且RTSP协议语法也和HTTP类似。RTSP一开始这样设计,也是为了能够兼容使用以前写的HTTP协议分析代码。 区别:rstp有状态,不同的是RTSP的命令需要知道现在处于一个什么状态,也就是说RTSP的命令总是按照顺序来发送的,某个命令总在另外一个命令之前发送。RTSP不管处于什么状态都不会断掉连接。 交互流程 C表示rtsp客户端, S表示rtsp服务端。 SDP 不支持会话内容或媒体编码的协商,所以在流媒体中只用来描述媒体信息。媒体协商这一块要用RTSP来实现。
引言 MediaMTX(原rtsp-simple-server)是一款轻量级、高性能的流媒体服务器,广泛应用于实时视频传输、监控和流媒体处理场景。 本文将详细介绍此次更新的核心内容,包括RTMP协议增强、RTSP-over-HTTP/WebSocket支持、安全改进及依赖库升级等。 RTMP • 支持更多增强的 RTMP 功能: • 支持读取 AV1、VP9、H265、Opus、AC-3、G711、LPCM • 支持一次读取多个视频或音频轨道。 RTSP • 支持 RTSP-over-HTTP • 支持 RTSP-over-WebSocket 修复与改进 通用 • 重构:使用内置的 max/min 简化代码 • 重构:移除重复的 http 中间件 API • 为 RTSP 连接与会话添加 tunnel 和 profile RTSP • 切换到 gortsplib/v5 • 修复关闭会话时的内存泄漏 • 支持通过 HTTP 或 WebSocket
上一篇我们简单介绍了rtsp协议,本篇我们来看一下rtsp的消息结构! RTSP消息分为两大类,一类是请求消息(request),一类是回应消息(ressponse)! 说明: 请求消息由方法+URI+RTSP版本开头,之后跟一条或多条消息! URI:表示接收方的地址,如rtsp://192.168.1.201:554 CR:表示回车 LF:表示换行 RTSP使用消息类型和消息体来表示不同类型的消息。 最后一条消息要使用两个CR LF。 我们通过wireshark的抓包来实际看一个RTSP的请求消息: ? 如图中所示,该RTSP请求消息的方法为OPTIONS,请求的目标地址为rtsp://192.17.1.63:554,RTSP的版本为1.0; 接下来包含两种类型的消息,第一种为CSeq表示序列号,本次请求的序列号为
《FFmpeg开发实战:从零基础到短视频上线》该书的第八章介绍了如何在Windows环境给FFmpeg集成H.264和H.265的编码器,如今H.266的编码器vvenc也日渐成熟,从7.1版本开始的最新 FFmpeg源码已经支持H.266的编码器vvenc。 H.266是H.265的升级版本,H.265的视频编码标准为HEVC(High Efficiency Video Coding,高效视频编码),H.266的视频编码标准为VVC(Versatile Video 至于VVEnc(Versatile Video Encoder)是一个开源的高效视频编码器,它实现了最新的视频编码标准VVC,能够把视频数据按照H.266标准编码为VVC格式。 接下来以微软的视窗系统为例,介绍如何在Windows环境给FFmpeg集成H.266的编码器vvenc,具体的操作步骤说明如下: 一、配置VVEnc 先下载最新的vvenc源码,解压下载后的源码包,再打开