H.266,即VVC,已于2020年6月完成标准化工作,其标准号为Rec. ITU-T H.266 and ISO/IEC 23090-3,标准将在2020年11月正式开始生效。 H.266最显著的特点就是其相比起它前一代的标准,即ITU-T and ISO/IEC High Efficiency Video Coding (HEVC),标准号Rec. ,测试CTC视频,相比起VTM,单线程情况下,有三倍的速度提升,8线程情况下有20倍速度提升,解码UHD视频最高可达到60fps、40Mbps,解码Full HD最高可达到200fps, 2020年12 ,能超100fps,甚至对于8比特 4K UHD 采用Random Access,可以达到30fps的解码速度。 解码2K CTC视频,单线程达到94fps,4.78倍于VTM-11.0 字节跳动BVC,支持多平台,Android,IOS,Linux/MacOS, Windows,专为移动平台做了特别优化,解码
在H.266生态中,一方面,支持H.266硬件解码的端侧芯片业界已经开始有所行动 [2];另一方面,端侧软件解码速度逐渐提升,已经可以覆盖绝大部分的端侧场景。 腾讯云直播全线支持H.266 云端支持H.266,主要包括两部分:H.266的传输分发和H.266编解码的支持。 H.266/VVC视频解码 在2020年H.266/VVC最终定稿后的三个月内,腾讯在国内率先开源发布了实时 H.266/VVC播放器O266player,内置腾讯自研的H.266/VVC解码器O266dec ,能够在客户端上完成4K H.266/VVC视频的实时解码,性能指标国际领先。 腾讯H.266/VVC解码器O266dec核心技术领先性源于其H.266/VVC解码加速技术采用了不同维度的并行处理方式,从而达到大幅利用多核多线程技术的目的。
引言:H.266与实时视频的交汇点视频编解码的发展历程,始终是 带宽效率与视觉体验的博弈。 播放器端解包与解码 RTSP 客户端在接收 RTP 包后,需要正确完成 解复用 → NALU 重组 → 解码器输入 的流程。 由于 H.266 的解码复杂度显著高于 H.265,播放器必须同时具备 高效软解能力 与 硬件解码适配机制(依赖 SoC 厂商 GPU/VPU 的更新)。 二、大牛直播SDK的规划与演进基于以上链路要求,大牛直播SDK 的规划重点在于: 跨平台解码适配 SDK 已在 H.264/H.265 上构建完整的跨平台播放框架,未来只需在解码层引入 H.266 的软 /硬件解码接口,即可保持整体架构的连贯性。
二、 H.266/VVC:下一代视频编码的希望与难题在 AI 驱动的视频时代,编解码技术正在被重新审视。 因此,H.266 不仅是带宽优化的工具,更是“AI原生”的编解码技术。 解码链路接口抽象:解码器接入接口统一定义,支持未来 H.266 解码插件按需挂载。 分布式协同架构:用边缘预解码解耦终端压力 边缘预解码节点部署:将 H.266 视频在边缘节点(如 AI 盒子、网关、边缘服务器)解码/重编码为主流格式(如 H.264)后再分发; 中间协议转换机制:集成自适应桥接模块 H.266 是一项“战略型编解码技术”,它的潜力是未来 5~10 年视频通路效率革命的重要基石。
Duo-Core Intel Core i7@2.5GHz 此次开源的播放器O266player内置腾讯自研的H.266/VVC解码器O266dec,能够在客户端上完成4K H.266/VVC视频的实时解码 开发者无需了解具体的视频编解码技术,即可快速实现H.266/VVC标准格式在其产品中的嵌入。 腾讯自研H.266/VVC编解码器 O266enc和O266dec 由腾讯多媒体实验室编解码团队于2019年牵头并协同腾讯云(架平)、微信和腾讯视频等多个团队联合研发。 腾讯H.266/VVC解码器O266dec核心技术领先性源于其H.266/VVC解码加速技术采用了不同维度的并行处理方式,从而达到大幅利用多核多线程技术的目的。 腾讯O266player播放器能够促使H.266/VVC标准加速被工业界采纳,同时联合腾讯云H.266/VVC视频转码服务,加速腾讯在视频编解码领域的布局。
面向并行与低延迟优化的架构设计 虽然 H.266 复杂度高,但标准设计时已考虑并行处理能力: 支持 tile、slice 并行编码; 解码器可以提前解码非依赖块,适配多核/多线程场景; 这为未来GPU 在未来的低延迟直播系统中,一旦硬件加速成熟,H.266 有潜力取代 H.265 成为主力编解码标准。✅ 6. 四、从直播 / 监控 / AI 角度看 H.266 的工程挑战与机会尽管 H.266/VVC 在标准层面展现出令人惊艳的压缩效率和通用性,但对于工程实践者而言,编解码标准的“好”不仅是算法层面的好,更重要的是 工程建议: AI 系统可逐步从传统 YUV 解码输入转向“VVC 解码直连 Tensor 数据流”,节省解码中间环节,并提高处理吞吐。 对视频技术厂商而言,不是等到客户提出支持 H.266 才开始准备,而是从现在就应打下“能力底座”: 播放器具备基础解码适配能力; 推流/转码系统具备 H.266 profile 预设; 服务端具备
引言:视频编解码演进的必然路径从 H.264 到 H.265,再到迈向商用的 H.266,视频编解码标准的迭代并非简单的“版本升级”,而是一场围绕压缩效率、画质保真、延迟控制与算力消耗的长期博弈。 技术指标对比表(H.264 / H.265 / H.266)编解码标准压缩效率(相对 H.264)同等画质码率占用编解码计算复杂度(相对 H.264)硬件解码普及度典型适用场景H.264 / AVC基准 编解码复杂度指算法执行所需的 CPU/GPU 运算量,相对数值为大致范围。 硬件普及度会随芯片迭代逐年提升,H.266 预计在未来 3–5 年进入主流消费终端。 H.266:当前仅部分旗舰芯片、专业解码卡支持,需软硬件混合策略。 大牛直播SDK的演进方向 H.266 全链路支持:随着硬件解码的普及和针对H.266规范的明确化,逐步开放推流端、播放端的 H.266 硬编/硬解能力。
图1:已经得到批准并被纳入VVC标准的各公司贡献(IPlytics,2021年8月) 图中显示,中国公司在视频编解码领域的技术积累已经达到世界领先水平,占据行业前十的半壁江山。其中腾讯位列前三。 与H.265/HEVC时代相比,中国公司在视频编解码领域的进步速度大家有目共睹。 在积极参与标准制定的同时,腾讯围绕视频内容的生产、分发和播放持续推动H.266/VVC技术落地和产品研发。 2020年11月,在H.266/VVC标准第一版截稿不到半年时间内,腾讯将H.266解码器优化覆盖至全平台,推出iOS/Android平台ARM优化版解码器。 凭借全面的模块性能优化和出色的并行结构设计,实现了H.266/VVC 标准在移动端的单核 1080p 或多核 4K 超高清码流的实时解码,同时覆盖Windows、Mac、Linux、Android和iOS 腾讯多媒体实验室负责人刘杉博士认为,作为视频应用的核心能力,视频编解码技术的发展离不开实践检验和生态支持。“我们着力制定的新一代视频标准和自研的编解码器能够通过腾讯云音视频服务行业客户,这令人振奋。
图1:已经得到批准并被纳入VVC标准的各公司贡献(IPlytics,2021年8月) 图中显示,中国公司在视频编解码领域的技术积累已经达到世界领先水平,占据行业前十的半壁江山。其中腾讯位列前三。 与H.265/HEVC时代相比,中国公司在视频编解码领域的进步速度大家有目共睹。 在积极参与标准制定的同时,腾讯围绕视频内容的生产、分发和播放持续推动H.266/VVC技术落地和产品研发。 2020年11月,在H.266/VVC标准第一版截稿不到半年时间内,腾讯将H.266解码器优化覆盖至全平台,推出iOS/Android平台ARM优化版解码器。 凭借全面的模块性能优化和出色的并行结构设计,实现了H.266/VVC 标准在移动端的单核 1080p 或多核 4K 超高清码流的实时解码,同时覆盖Windows、Mac、Linux、Android和iOS 腾讯多媒体实验室负责人刘杉博士认为,作为视频应用的核心能力,视频编解码技术的发展离不开实践检验和生态支持。“我们着力制定的新一代视频标准和自研的编解码器能够通过腾讯云音视频服务行业客户,这令人振奋。
一、H.266 与 AVS3 的核心差异虽然 H.266 与 AVS3 都被称作「新一代超高清编解码标准」,但二者在起源、目标和应用环境上存在显著差异。 延迟与算力的博弈 H.266 在压缩效率上优势明显,但编码/解码计算复杂度极高。如果没有硬件解码器支持,实时场景下可能造成延迟飙升、功耗上升,难以应用在弱算力终端(如移动设备、嵌入式设备)。 机会与价值 对 国际应用 而言,提前布局 H.266 解码支持,将帮助企业在未来的跨境流媒体竞争中占据优势。 面向新标准的潜在演进 解码插件化:未来可通过 插件/扩展库 形式引入 H.266 与 AVS3 解码器,不影响现有主链路。 SDK 厂商需要通过 插件化架构 引入 H.266/AVS3 解码,确保用户能无缝切换。 3.
经过不懈的努力与探索,最终在H.266/VVC标准定稿后的三个月内,即2020年10月,率先发布了基于X86平台的实时H.266/VVC解码器O266dec,以及基于该解码器的开源播放器O266player ,目前能够在PC端上完成4K H.266/VVC视频的实时解码。 为了能够在移动端支持H.266/VVC解码,腾讯多媒体实验室在O266dec上增加了许多移动端相关优化,使得其解码器性能在移动端得到大幅提升。 插值模块也是H.266/VVC解码器中计算量比较大的一个模块,其涵盖的多种多样的滤波器是整个模块的优化重点。 同时,腾讯自研的解码器也已经集成在了O266player的iOS端应用上,在移动端播放H.266解码画面清晰流畅,能够充分满足H.266/VVC实时解码的需求,性能优势十分明显。
这一系列新需求,对视频编解码技术的要求是:在带宽不变的情况下,画质更优;同等画质下,存储和传输成本更低。 最新一代视频编码标准 H.266/VVC 正是在这种背景下,走入“舞台”中央。 虽然 H.266 硬解码器的支持正在逐步增加,但目前市场上硬解支持 H.266 的设备相对较少,尤其是一些移动终端。因此,优化 H.266 的软件解码器就显得尤为重要。 其中,点播编解码更注重压缩效率与画质平衡,H.266 的核心优势在于压缩效率提升约 50%。 比如,从官方数据口径来看,火山引擎 H.266 解码器的计算复杂度几乎只有 VTM-23.5 的四分之一到七分之一,是 FFmpeg 7.1 的三分之一。 专题末尾,我们会单独提及火山引擎对点播、直播、RTC 场景下编码器及解码器的优化工作。
在H.266生态中,一方面,支持H.266硬件解码的端侧芯片业界已经开始有所行动 [2];另一方面,端侧软件解码速度逐渐提升,已经可以覆盖绝大部分的端侧场景。 腾讯云直播全线支持H.266 云端支持H.266,主要包括两部分:H.266的传输分发和H.266编解码的支持。 H.266/VVC视频解码 在2020年H.266/VVC最终定稿后的三个月内,腾讯在国内率先开源发布了实时 H.266/VVC播放器O266player,内置腾讯自研的H.266/VVC解码器O266dec ,能够在客户端上完成4K H.266/VVC视频的实时解码,性能指标国际领先。 腾讯H.266/VVC解码器O266dec核心技术领先性源于其H.266/VVC解码加速技术采用了不同维度的并行处理方式,从而达到大幅利用多核多线程技术的目的。
2020年10月 即在H.266/VVC最终定稿后的三个月内,腾讯在国内率先开源发布了基于Tencent266解码器[4][5]的实时H.266/VVC播放器O266player,性能指标国际领先。 H.266/VVC 标准在移动端的单核 1080p 或多核 4K 超高清码流的实时解码,为服务腾讯内外部业务奠定良好基础。 2021年7月 腾讯云基于Tencent266宣布支持新一代国际视频编解码标准H.266/VVC,为全球云厂商中首家,旨在提升对高清视频的压缩能力。 目前,腾讯云音视频旗下转码及相关媒体处理应用已支持H.266/VVC标准,播放器等产品支持H.266/VVC解码,助力用户在保持视频质量的同时大幅节省存储及带宽成本,提升超高清视频的观看体验。 Tencent266编解码器和H.266/VVC技术的推广必将为现有多媒体业务以及未来新兴多媒体应用带来巨大发展空间。
解决方案:摄像端采用 H.266 编码,SDK 播放器低延迟解码;边缘节点通过轻量 RTSP 服务实现多路转发。 解决方案:手术室视频流通过 H.266 推流至边缘节点,SDK 播放端低延迟解码,远程专家端实时观看。 解决方案:无人机端采用 H.266 编码,通过 SDK 推流模块上传;地面站通过 SDK 播放器解码,延迟保持在 200ms 内。 解决方案:教育平台使用 H.266 编码推流,Unity3D 播放器 SDK 在 XR 头显中解码播放,实现低延迟沉浸体验。 解决方案:前端摄像设备采用 H.266 编码,SDK 在边缘节点低延迟解码,并将视频流对接 AI 模型进行检测与分析。
在安防、视频流媒体、实时通信等行业中,从超高清摄像机、NVR、解码器/视频综合平台到中心平台软件等,都必须能够支持H.266技术。 然而,目前市场上支持H.266的设备和技术方案还相对有限,许多设备和服务仍然依赖于更成熟的H.264或H.265等较旧的编解码器。 H.266不是免费的开源解码器,目前存在着专利问题未解决,高昂的专利授权费用让许多生产硬件设备的厂商难以承担。这种不确定性使得许多企业在选择视频编码标准时持谨慎态度,从而影响了H.266的普及。 3)市场接受度与竞争环境市场接受度也是影响H.266普及的重要因素。目前,H.264仍然是最为主流的视频编码格式,能够支持解码的硬件普遍且成本较低。 尽管H.266在压缩效率和视频质量上有显著提升,但高昂的专利费用可能使得一些企业或用户选择继续使用更成熟的编解码器。
H.266 的另一个重要改进是引入解码端运动细化和双向光流这两个工具,在不增加码率开销的情况下进一步提升运动补偿效率。 3.2.5、逐渐解码刷新(GDR) GDR 指的是可以从一个帧间编码的图像进行随机访问,虽然不能立即得到正确解码的图像,但是随着更多帧的解码,视频内容中正确解码的区域逐渐增大直至到某一帧所有的区域都能正确解码 在 H.266 中,GDR 通过一个新的 NAL 单元类型来表明,GDR 恢复点的位置信息放在图像头里,一个码流或 CVS 的首帧就可以是采用帧间编码的 GDR 帧,甚至整个合法码流里面可以没有任何一帧是瞬时解码刷新 相对于 H.264 和 H.265 后期版本中的多层可伸缩编码,H.266 中的多层可伸缩编码设计从一开始就聚焦于对单层解码器设计的友好性。 首先,对解码多层码流的能力的规定与单层码流一致,从而一个单层解码器只需要少量的改变就可以解码多层码流,比如级别中对最小 DPB 能力的规定与码流中有几层无关。
腾讯自研的最新一代视频编解码标准VVC/H.266编码器Tencent266,以出色的压缩性能和节省带宽的能力取得了12项第一,第一总数最多,并在H.266赛道中取得15项关键指标全部第一。 作为H.266/VVC编解码器,Tencent266在技术研发方面具备丰富的实力。 通过自主研发和优化,Tencent266完全自主从零打造了Tencent266编解码器,展现了腾讯在视频编码技术方面的实力和创新能力。 在VVC标准完成仅1年之际,Tencent266就率先上线了腾讯云,助腾讯云成为全球首家支持H.266/VVC的云厂商,展现了其对新一代视频编解码标准的领先实力。 随着H.266/VVC编解码器技术的成熟落地,视频行业将能够节省更多的带宽和存储成本。
Tencent266连续两年 包揽H.266编码器全部指标第一 标准与实现双驱并进 H.266/VVC是最新一代国际标准,相比上一代标准H.265/HEVC,H.266/VVC可以在相同主观质量条件下将视频带宽降低 腾讯积极参与了H.266/VVC的标准制定,不仅在标准组织中担任包括H.266/VVC标准联合主编与参考软件联合主席的重要职位,也同时是重要的技术贡献者。 本次比赛中,H.266赛道共有6个来自不同公司的编码器参与,Tencent266脱颖而出,包揽15项指标15项全部第一。 H.266赛道的排名与相同画质条件下的相对码率 Tencent266包揽15项指标全部第一 目前,腾讯云已率先在业界实现了H.266在各业务的全线支持。 Tencent266于2021年7月正式上线腾讯云,腾讯云成为全球首家支持新一代国际视频编解码标准H.266/VVC的云厂商。
腾讯积极参与了 H.266/VVC 的标准制定,不仅在标准组织中担任包括 H.266/VVC 标准联合主编与参考软件联合主席的重要职位,也同时是重要的技术贡献者。 Tencent266 是腾讯自研的 H.266/VVC 编解码器,由腾讯多媒体实验室、腾讯云、微信、腾讯视频等多个团队联合,完全自主研发。 Tencent266 已于 2021 年 7 月正式上线腾讯云,帮助腾讯云成为全球首家支持新一代国际视频编解码标准 H.266/VVC 的云厂商。 这是通过自研编解码器融合传统编码和 AI 智能编码技术,不断探索商用编码器压缩率极限的结果。 TVC 作为腾讯推出的首款私有编解码器,通过在编码工具、快速算法、工程优化和码率控制等方面的深入优化,不断克服标准迭代周期长产生的压缩率瓶颈、优化新型 AI 智能编码工具引入的高编解码复杂度、满足定制化编解码功能需求