在过去的一段时间中,VVC视频编码性能逐步提升,在编码质量相同的情况下,所需码率逐步下降。PSNR指标也在稳步增长。 a-quick-and-dirty-look-at-vvc-16e8c2c56512 VVC是ITU H.266最有希望的候选方案,它取代了H.265,(我们称为HEVC),其目标是在编码质量相同的情况下比 最新版本需要50分钟才能编码60帧1080p的视频(系统规格和数据)。实际上我没有看过任何VVC内容,所以我不知道它是看起来不错,还是数字确实如此。 我们需要建立VVC。 作为编码质量的一个简单指标,PSNR也在稳步增长。还有更好的度量标准,比如VMAF。 ? 编码速度是...... 不太好。 接下来 实际解码并查看内容 与不同的HEVC(x265)和AV1(aom,SVT-AV1)编码器进行比较 统计更多的数据(SSIM,VMAF) 用更多序列和不同的分辨率进行测试 使用更多不同的编码器和速度设置来进行测试
最近在研究音视频技术,对其中的码率计算做了点研究,记录一下 ---- 音频录制时,对于产品经理来说,他们最关注的应该就是码率。因为码率意味着流量,流量意味着钱。 码率 好了终于到了码率了,先给一个公式码率=通道数*采样率*采样深度。 以44.1khz,双通道,16位深的音频信号,他的码率=44.1*2*16=1411.2kbps=1.4Mbps 是不是很惊讶? 不过不要担心这个只是原始码率,对于这个码率,一般我们都不能使用。所以会经过一系列压缩。 压缩 不同的压缩算法的压缩率不同。 ---- 参考文献: 音频采样率和码率简介 - 简书 常见音频编码格式总结 - tianx3344的个人空间 - OSCHINA AAC和MP3在码率压缩上的一些事 - 简书 奈奎斯特频率 - 维基百科 ,自由的百科全书 视频压缩编码和音频压缩编码的基本原理 - 雷霄骅(leixiaohua1020)的专栏 - CSDN博客 ---- 本文会经常更新,请阅读原文: https://xinyuehtx.github.io
方案将8K内容智能地编码成4个4K流传输,由8K电视放大,这样可以节省带宽,降低发行成本。 这个方案是NHK设计的,因为四年前在日本没有人能够对8K进行编码。 “因此,如果你把内容感知编码、云计算和一些智能工程结合起来,你就能用8K创造奇迹。”Thierry说。 人工智能编码 在现有的人工智能编码方法中,来自三星研究院视觉技术团队的研究人员开发了AI ScaleNet,这是一种基于人工智能的编解码器,可以在通常只支持4K速度的网络上传输8K内容,而且都不需要额外的基础设施 (富士通旗下品牌)也在研究这种类型的AI辅助编码,目前Brightcove和Kaltura等多频道托管和播放服务正在部署这种编码方案。他们正在将8K的母带内容,在AI的辅助下,降频到4K进行发行。 然后,利用流媒体中的元数据或编码信息,在8K电视机中智能上变换。 Mandel表示,三星在2019年CES上推出了AI ScaleNet,并在去年10月的三星开发者大会上展示了更多。
,用3个字节(byte)存储; 那么一帧画面所需要的存储体积=2,073,600*3/1024/1024≈5.7M 因此,对视频编码十分必要,下面是常见封装格式的视频编码类型[3]: 视频压缩 上述这些视频编码都是通过压缩视频的画面帧来减小视频的体积 视频码率 虽然上述视频编码方式能够极大压缩视频体积,不过影响视频质量关键因素还包括码率。如果采用固定码率进行编码,如果视频太过复杂,比如很多随机粒子,就会让视频看起来非常模糊。 可变码率是指码率按需进行分配,简单场景码率低,复杂场景码率高,用的最多,在PR中,还提供了VBR2次编码的选项,即包含一个目标码率和一个最大码率,因此VBR被广泛使用。 OpenCV视频编码 了解完上述基础知识后,不难发现,在视频分辨率和帧率固定的基础上,视频体积的大小主要取决于视频的编码格式和码率。 虽然OpenCV可以自定义编码方式,但无法直接修改码率,这导致有些视频输出之后,码率变得极大,比如这段12秒中的1080p视频,码率达到71150kps,整个文件110M大小。
视频在我们生活中应用越来越广了,不可避免的,我们在使用视频时,会遇到一些最常见的专业术语:视频编码格式、视频码率、视频帧率、视频分辨率,这些专业术语在一个视频文件中,到底是指的什么呢?听阿酷来说说吧。 编码格式:一个视频文件本身,通常由音频和视频两部分组成。 例如上图的视频文件,就是由avc视频编码+AAC音频编码组成的,常见的视频编码格式有Xvid,AVC/H.264,MPEG1,MPEG2 等,常见的音频编码有MP3、AAC等。 视频码率:是指视频文件在单位时间内使用的数据流量,也叫码流率。码率越大,说明单位时间内取样率越大,数据流精度就越高,这样表现出来的的效果就是:视频画面更清晰画质更高。 视频标清、高清、全高清的分类分辨率码率帧率参考(附图)?
表 1:初代 8K 标准 HDR 是 8K 内容中不得不谈的一个部分。目前的 HDR 生态还是十分复杂的,多种格式百花齐发,包括 HLG、HDR10/HDR10+、Dolby Vision 等等。 根据最近的论文中的对比实验,VVC 参考软件可以在同等质量下比 HEVC 节省 41.54% 的码率,但编码复杂度比 HEVC 高 8 倍,AV1 则比 HEVC 节省 19.89% 的码率,编码复杂度则为它的 表 3:编码器性能对比 哪一个编解码标准更适合 8K 实时内容,需要考虑的不仅仅是压缩效率(在保证高质量的前提下维持较低的码率),还有计算复杂度(能否实时编码),以及是否有可用的编解码器生态(编解码器是否广泛部署 首先,它具有较好的压缩效率,可以在 50-80 Mbps 的码率下保持一个较好的质量,而且它的编码复杂度对于 8K 内容也是可接受的,而且最重要的是,其对应的编解码器很多厂商都有实现和部署。 8K 直播服务并不是最近才提出来的,早在 2008 年,NHK 和 BBC 就用 MPEG-2 编码器以 600 Mbps 的码率实现了从伦敦到阿姆斯特丹的 8K 服务。
文章第一部分会介绍4K/8K超高清视频的特点以及这些超高清视频广泛应用面临哪些问题。之后第二部分会介绍我们在编码器方面所做的优化,来使编码器更适配超大码率、超高分辨率的视频。 4K/8K超高清视频的特点就是它的分辨率和清晰度非常高,同时视频码率极高。超高的分辨率和码率对下游系统带来了新的挑战。 当前也有很多专属硬件的方式来支持4K/8K分辨率的实时编码,虽然其能满足实时编码的需求,但压缩率相对软编较差,若要保持4K/8K的清晰度,往往需要几十兆甚至上百兆的码率。 除此之外,V265也支持8K/10bit/HDR编码。 对于AV1来说,其编码复杂度比H.265更高。 如果和硬件编码器相比,可以有70%以上的压缩率提升。也就是说通过前面的系统方案,直播4K/8K超高清视频在同样的画质下,所需要的编码码率只是硬件编码码率的30%左右。
来源:8K Association 作者:Ben Schwarz 内容整理:胡经川 本文从 8K 内容的编码、质量评价以及码率和质量的权衡对 8K 内容的实时编码现状进行了分析,并进一步展望了 8K 内容的码率会达到一个什么样的水平 那么如果要深入探究这个标准,那么就必须回答一个问题:8K 内容所需的真实比特率是多少,更具体地说 8K/60Hz/10bit/HDR 内容编码的比特率是多少?它又取决于什么? 编码权衡 没有恒定不变的标准,凡事都要有一个权衡,8K 视频的编码也是如此,如何实现码率和质量的权衡是十分重要的。 综合来看,Spin Digital 目前建议在使用 HEVC 时,8Kp60/10bit/HDR 直播内容的码率为 48 Mbit/s,而且编码器仍有改进的余地,但在 HEVC 上的改进余地不大。 与优化的 HEVC 实时编码器相比,使用一个合理的计算资源的实时 VVC 编码器可以实现大约 15% 的比特率降低,从而使 8Kp60/10bit/HDR 内容的编码比特率达到大约40 Mbit/s。
随着视频直播不断向着超高清、低延时、高码率的方向发展, Apple Vision的出现又进一步拓展了对3D, 8K 120FPS的视频编码需求,视频的编码优化也变得越来越具有挑战性。 TXAV1相比X265 medium:在速度相当的情况下,码率节省大于40%;加速1.5倍下码率仍然有35%以上的节省。 TXAV1相比V265:在相近速度下,仍有10%左右的压缩率提升。 全功能:能够最大支持8K、60fps、10bit、150Mbps、422、HDR 、ABR直播,基本满足目前市面上所有的功能需求。 低延时:能够采用单一设备,最高支持到8K,60fps,无需分布式,将编码延时控制到最低。 高性能:即使在8K 60pfs下, 压缩性能仍然明显高于X265 medium档,并有近9倍的加速。 算法优化 8K场景下一些加速算法的优化同样会出现的新问题。比如,在8K中,变换过程占比更加突出,影响编码速度。因此尝试了使用非标准DCT来简化DCT过程进行加速。
不足: 编码复杂度较 H.264 提高约 2–10 倍,对 CPU/GPU 要求更高。 旧设备硬件解码支持不足,软解耗电与发热问题明显。 3. 100%1×极高(全平台通用)移动直播、视频会议、安防监控、低算力终端H.265 / HEVC↑ 提升约 50%~50%2–10×中高(2015 年后设备普遍支持)4K/8K 超高清直播、远程医疗、弱网传输 H.266 / VVC↑ 提升约 75%~25%10–30×低(导入期)8K 转播、VR/AR、云渲染、车载感知视频 说明: 压缩效率提升比例为主观画质相似条件下的平均值,实际效果依赖于编码器实现、内容类型和编码参数 H.266 理论上可在相同延迟下显著降低码率,但在缺乏硬件支持的阶段,实时编码延迟较高。 适合对带宽极为敏感的高码率内容(8K、VR),但短期内多用于高端设备与云端处理链路。 2. H.265 优先场景 高分辨率与弱网结合:远程医疗、4K/8K 工业巡检、长距离传输。 H.266 尝试场景 带宽成本极高的高码率内容:8K 转播、AR/VR 沉浸式体验、云渲染视频。 4.
帧级实时优化:对关键帧(I帧)采用高精度编码,P/B帧则动态降低冗余,实测码率较友商降低8%-10%。 (三)超高清实时编码能力 支持8K/30fps实时转码,压缩耗时低于50ms,较传统方案效率提升30倍。 三、行业实践:从体育赛事到泛娱乐的全面赋能 (一)重大赛事直播 央视世界杯项目:私有化部署10节点转码集群,支持CCTV5多路信号实时处理,码率降低10%的同时VMAF值达92分,用户投诉率下降70% (三)广电媒体转型 4K/8K超高清制播:央视超高清频道采用极速高清后,单日素材处理量从10TB增至50TB,历史媒资检索效率提升20倍。 感知编码:基于用户端网络抖动实时调整码率,实现“网络-画质-体验”三位一体优化。
放大状态下支持8K/16K高品质 为了满足本次5G超高清赛事直播对于超高清直播点播的需求,腾讯明眸极速高清在视频编码层面进行大量优化,其中一个主要内容便是实现多tile宫格方式编码:多tile宫格编码在 其中腾讯明眸极速高清具有智能动态编码功能,能够基于业界领先的音视频编码、图像深度学习与画质增强、ROI区域编码等技术积累,通过实时的智能场景识别,对视频进行动态感知编码和画质增强处理,以更低的码率为直播 为了满足更多场景下对于音视频AI产品的需求,腾讯云根据大量用户的实际应用反馈,结合不同场景特点,对腾讯明眸进行全新升级,正式推出腾讯明眸-极速高清2.0版本,针对高帧率(60fps+)、高码率(10Mbps +)及4K/8K/16K 直播、点播视频业务场景,对视频编码算法进行升级,并进一步实现视频编码算法性能、工程编码框架及前处理优化,提高视频编码效率,在保证流畅度的同时提升画面质量,优化视频观看体验。 凭借此次合作,腾讯云率先实现在海外5G网络环境下对8K/16K超高清视频编码、CDN传输及解码播放的全业务流程的特定优化及适配工作。
新版本支持了更加完善的编码工具并可以灵活地开关,编码效率大大提升,最佳质量下相比x265平均可节省30%码率,针对1080p和4K视频可节省35%以上(注1),在点播类应用场景下相比x265可节省20% 在去年12月的LiveVideoStackCon 2019深圳音视频技术大会上,博雅睿视展示了SVT-AVS3在双路Intel® Xeon® Platinum 8180处理器上,对8K 10bit 100M 码率视频码速度达到每秒编码60帧。 ,探索块划分方式选择、快速模式选择、预分析、码率控制及自适应参考结构等,在保持复杂度不变的前提下进一步提升各个编码档次的压缩效率和编码质量。 AVS3是AVS工作组制定的第三代音视频编解码技术标准,也是全球首个已推出的面向8K及5G产业应用的视频编码标准。同时,AVS3是一款Royalty-Free的编码标准,在商业上非常友好。
,带宽)的设定及解释 1、扩频因子(SF) 2、编码率(CR) 3、信号带宽(BW) 4、LoRa信号带宽BW、符号速率Rs和数据速率DR的关系 5、LoRa信号带宽、扩频因子和编码率的设定 6、空中速率 LoRa学习系列链接汇总: 博主热门文章推荐: ---- LoRa学习:LoRa关键参数(扩频因子,编码率,带宽)的设定及解释 1、扩频因子(SF) 2、编码率(CR) 3、信号带宽(BW) 4、 (CR) 编码率,是数据流中有用部分的比例。 编码率(或信息率)是数据流中有用部分(非冗余)的比例。也就是说,如果编码率是k/n,则对每k位有用信息,编码器总共产生n位的数据,其中n-k是多余的。 由此,编码率(抗干扰性能)可以随着信道条件的变化而变化,可以选择在报头加入编码率以便接收端能够解析。。。
8K视频编解码 2K视频 典型码率范围:5Mbps - 15Mbps 带宽需求:适合于大多数家庭宽带和移动网络,一般需要10 Mbps左右的带宽即可流畅播放。 4K视频 典型码率范围:20Mbps - 50Mbps 带宽需求:需要更高的带宽来支持高清的4K视频播放,推荐35 Mbps以上的带宽以获得最佳体验。 8K视频 典型码率范围:50Mbps - 100Mbps(甚至更高) 带宽需求:对于8K视频,需要更大的带宽来传输,建议至少100Mbps的带宽以保证流畅播放。 RK3588工业核心板支持8K@60fps H.265、8K@30fps H.264视频硬件解码,支持8K@30fps H.265/H.264视频硬件编码,可提供出众的超高清视频解决方案。 gst_dec_display案例分享 案例说明 本案例使用GStreamer API通过ARM从本地导入8K视频文件(H.264编码格式或H.265编码格式),然后进行H.264或H.265(NV12
Per-Title编码是指以节省码率、存储空间及传输带宽成本为目的,为每部电影(基于其空间和时间属性及复杂度)调整合适的码率阶梯(Bitrate Ladder)。 对大多数视频而言,在码率受限的情况下,这种一刀切的固定Bitrate Ladder可以实现高质量编码,然而在某些情况下,如卡通动画或静态访谈节目,采用高达5800kbps的码率来编码1080P视频,无疑是码率上的浪费 微帧Per-Title编码技术微帧Per-Title编码技术的目标,就是为每一个视频或视频片段量身定制,找到最优的凸包,精准锁定既满足画面清晰度要求,又符合主观观看敏感度标准的最低码率点,以达到节省带宽的目的 2) 为每个分辨率选择最合适的码率或者CRF值传统的CRF策略通常在单一分辨率下工作,而微帧的Per-Title通过分析每个分辨率下的画面质量与码率之间的关系,自动调整CRF值及最优码率,使视频在不同分辨率下都能展现出色的质量和编码效率 微帧的Per-Title技术通过优化编码算法、并行处理技术以及智能任务调度,大幅度提升了其处理速度;这样多维度、多层次的深度优化,提升了视频编码效率和输出质量,不仅在分辨率和码率的选择上更加智能化,还实现了更为精确的编码控制
新版本支持了更加完善的编码工具并可以灵活地开关,编码效率大大提升,最佳质量下相比x265平均可节省30%码率,针对1080p和4K视频可节省35%以上(注1),在点播类应用场景下相比x265可节省20% 在去年12月的LiveVideoStackCon 2019深圳音视频技术大会上,博雅睿视展示了SVT-AVS3在双路Intel® Xeon® Platinum 8180处理器上,对8K 10bit 100M 码率视频码速度达到每秒编码60帧。 ,支持更多应用场景,探索块划分方式选择、快速模式选择、预分析、码率控制及自适应参考结构等,在保持复杂度不变的前提下进一步提升各个编码档次的压缩效率和编码质量。 AVS3是AVS工作组制定的第三代音视频编解码技术标准,也是全球首个已推出的面向8K及5G产业应用的视频编码标准。同时,AVS3是一款Royalty-Free的编码标准,在商业上非常友好。
SVT-AVS3可实现在双路Intel Xeon Platinum 8180处理器上对8K 10bit 100M码率视频码速度达到每秒编60帧。 这套8K超高清视频实时软件编解码系统基于中国自主研发的新一代视频编码标准(AVS3)和英特尔SVT(可扩展视频技术)实现。 利用可扩展视频技术,编码器可以达到最高并行度,同时实现编码质量和速度的最佳权衡。 而该系统所采用的超高清实时编码器SVT-AVS3在开启主观质量优化的情况下,可实现在双路Intel Xeon Platinum 8180处理器上对8K 10bit 100M码率视频码速度达到每秒编60帧 除编码速度外,SVT-AVS3编码器还支持视频预分析处理,通过对编码流程各个模块的充分解耦,在多核处理器中可以实现更好的帧级或段级的高度并行编码;在并行化处理的基础上,SVT-AVS3通过对编码算法的参数化处理
深度下表现优异,因而编码器迭代优化时的测试集合要涵盖8bit和10bit, 高中低码率和分辨率,比如V265的140个8bit视频、20个10bit视频的测试码率点范围也会在QP 20-40 的基础上扩展码率范围至可能的 AI技术是非常好的编码器优化工具,除了已知的腾讯云极速高清-内容自适应编码,V265在码率控制上就尝试了用AI的方法来估计一幅图像的码率以辅助码率控制流程。 张贤国:V265 2019年完成的一项重要工作就是对10bit编码和杜比HDR画质的支持,这也是考虑到越来越多云服务客户有HDR视频内容的需求。 8K HDR 转码服务目前V265编码器也是可以支持的,但从最优化的角度来看,需要开发符合新一代标准的编解码器来全面提升画质、压缩率和观看体验。 在8K HDR方向,腾讯云已经开始布局HEVC并研究下一代标准的软硬件服务。 LiveVideoStack:在软硬结合编码压缩上,腾讯有哪些进展与突破?
左滑回到现在← 2019年,腾讯云发布了云游戏端游及手游解决方案,实现云游戏多端无缝接入,低延时高画质、智能码率控制保障玩家游戏体验。 ? ? 新世纪20年 腾讯云一直在努力 用技术让这个世界变得更美好 腾讯视频云技术小课堂 ➢ 韩国棒球联赛直播期间,腾讯云推出8K超高清5G直播编码服务。 基于最新5G网络,针对高帧率(60fps+)、高码率(10Mbps+)及4K/8K直播、点播业务场景,对视频编码算法升级。 在体育类赛事中,能做到无论直播画面无论在基本状态还是放大状态下,都能支持8K/16K高品质。 腾讯V265编码器目前已支持腾讯云上以极速高清为代表的包括视频编辑、视频转码等各种视频相关业务,让用户在低码率下享受与高码率相同的画质体验。