- 综合排序
- 最热优先
- 最新优先
- 来自专栏smy
理解音视频 PTS 和 DTS
视频 视频的播放过程可以简单理解为一帧一帧的画面按照时间顺序呈现出来的过程，就像在一个本子的每一页画上画，然后快速翻动的感觉。 ? 顺序大概如下： PTS: 1 4 2 3 DTS: 1 2 3 4 Stream: I P B B 音视频的同步 上面说了视频帧、DTS、PTS 相关的概念。 在音视频一起播放的时候，我们通常需要面临一个问题：怎么去同步它们，以免出现画不对声的情况。 要实现音视频同步，通常需要选择一个参考时钟，参考时钟上的时间是线性递增的，编码音视频流时依据参考时钟上的时间给每帧数据打上时间戳。 参考 理解音视频 PTS 和 DTS | www.samirchen.com MPEG-2 Wiki MPEG-2 的同步及时间恢复 Synching Video 转载自：https://www.cnblogs.com
5.4K21发布于 2019-05-14 - 来自专栏音视频直播技术专家
音视频直播--深度理解Handler 与 HandlerThread
所以在音视频直播项目中，我们对摄像头的控制，视频画面的渲染都要放在子线程中进行。下面我们就来详细的剖析一下Android系统下的Handler和HandlerThread机制。 理解HandlerThread HandlerThread应该叫LooperThread更合适，其实它就是包含了Looper对象的线程。
1.2K20发布于 2020-04-01 - 来自专栏智媒黑板报
音视频基础知识-时间戳的理解
问题背景： 凡是和流媒体和音视频打交道，时间戳基本是一个必须深刻理解的概念。你会在各种各样的传输协议和封装格式中看到这个东西，而且表现形式还不一样。 其次这个概念会涉及到音视频播放的同步问题，也会影响音视频播放的控制问题。前者说的是音画同步，后者说的是类似快进，随机点播放等。如果要理解好这个概念，需要掌握下面几个名词的含义。 但是对于音频可能理解帧率不太好理解，这有点抽象。 同步方法： 上面说了时间戳重要的功能就是来为了音视频的同步，那么这个时间戳到底是如何让音视频同步的呢？ 当播放开始，时钟时间会进行增加，播放器会用系统时钟和当前视频和音频的时间戳进行比较，如果音视频的时间戳小于当前系统时钟，那么就要理解解码和渲染播放。
5K51发布于 2020-11-12 - 来自专栏DotNet NB && CloudNative
FFMpegCore：.NET 中进行音视频处理解决方案
.\3.png")); • 静音视频文件 FFMpeg.Mute(inputPath, outputPath); • 提取音频轨道 FFMpeg.ExtractAudio(inputPath, outputPath 将图片与音频文件结合 FFMpeg.PosterWithAudio(inputPath, inputAudioPath, outputPath); 总结 FFMpegCore 提供了一个强大的接口来在 .NET 中执行音视频处理任务 通过在项目中安装 FFMpegCore 库并配置 FFmpeg 可执行文件的路径，你可以轻松地在 C# 应用程序中实现各种音视频处理功能。
1.1K10编辑于 2025-04-04 - 来自专栏直播+
如何理解直播APP源码开发中的音视频同步
视频 直播APP源码的视频的播放过程可以简单理解为一帧一帧的画面按照时间顺序呈现出来的过程，就像在一个本子的每一页画上画，然后快速翻动的感觉。 顺序大概如下： PTS: 1 4 2 3 DTS: 1 2 3 4 Stream: I P B B 直播APP源码音视频的同步 上面说了视频帧、DTS、PTS 相关的概念。 在音视频一起播放的时候，我们通常需要面临一个问题：怎么去同步它们，以免出现画不对声的情况。 要实现直播APP源码音视频同步，通常需要选择一个参考时钟，参考时钟上的时间是线性递增的，编码音视频流时依据参考时钟上的时间给每帧数据打上时间戳。
1.2K20发布于 2020-09-18 - 来自专栏音视频技术
林绪虹：看好QoE、音视频内容理解与AV1
我对音视频编解码、视频内容分析与理解、图像处理等领域有着深厚的兴趣，近期目标是把YY的音视频直播质量重新打造成世界领先水平，重塑YY直播高品质、低延时的技术能力，保持YY技术上的核心竞争力。 补充这一部分的知识，可以看一些非常经典的书籍，尤其是需要对频域变换知识做到深入的理解。 林绪虹：我看好QoE、音视频内容理解以及AV1这三个领域，并且会持续关注。 在音视频这个载体中，承载了大量人类想表达的信息，如何让计算机或是工具来理解其中的信息，并且更好的服务于人类，这必将是一个大家都想占领的技术制高点。 一旦能对音视频内容进行准确的理解，在这个基础上，能做的事情将具备无限的可能。 对于AV1，应该是业界大家都非常期待的一个标准。
51130发布于 2021-09-01 - 来自专栏猫哥的专栏
【Android 音视频开发打怪升级：音视频硬解码篇】三、音视频播放：音视频同步
一、音视频数据流分离提取器 上篇文章，多次提到音视频数据分离提取器，在实现音视频解码器子类之前，先把这个实现了。 封装Android原生提取器 之前提过，Android原生自带有一个MediaExtractor，用于音视频数据分离和提取，接来下就基于这个，做一个支持音视频提取的工具类MMExtractor： class 四、调用并播放 以上，基本实现了音视频的播放流程，如无意外，在页面上调用以上音视频解码器，就可以实现播放了。 简单看下页面和相关调用。 main_activity.xml <? 这就要引出下一个不可避免的问题了，那就是音视频同步。 五、音视频同步 同步信号来源 由于视频和音频是两个独立的任务在运行，视频和音频的解码速度也不一样，解码出来的数据也不一定马上就可以显示出来。 系统时间 而系统时间作为统一信号源则非常适合，音视频彼此独立互不干扰，同时又可以保证基本一致。 实现音视频同步 要实现音视频之间的同步，这里需要考虑的有两个点： 1.
2.9K20发布于 2020-04-01 - 来自专栏DevTips
「音视频专题」 音视频基础概念介绍
iOS 音视频专题将在 Android 音视频专题结束后进行。 在进入实战之前，我们有必要了解下音视频相关术语。 02 音频视频编码 什么是音视频编码 ？ 所谓音视频编码就是指通过特定的压缩技术，将某个音视频格式的文件转换成另一种音视频格式文件的格式。 音视频编码的意义 ？ 音视频编码的最终目的是对音视频进行压缩，未经编码（压缩）的音视频数据量大，存储困难，不利于网络传输。如果视频不经过编码压缩，在直播场景下做不到实时传输的需求。 视频编码格式有哪些 ？ 视频帧的类型 I 帧：表示为关键帧，I 帧可以独立解码，可以理解为一帧完整的画面，解码时不参考其他帧。 如果你熟悉 iOS AVFoundation ，那么通过 Android 专题的你会对 AVFoundation 有更深的理解。
1.7K10编辑于 2022-01-20 - 来自专栏iOS 音视频接入-TRTC
iOS 音视频接入-音视频基础
2）帧率：每秒的帧数量，单位是fps，也是我们常说的屏幕的每秒刷新频率（简单理解为每秒播放多少张图像）。帧率越高会影响画面质量，帧率越低会影响观感。帧率决定整个画面的数量！ 索引格式是计算机早期的一种格式，它的优点比较节省空间，缺点是表现的色彩有限，目前格式基本被抛弃了，不再被使用 2）索引格式中的bit存储的并非是实际的R,G, B值，而是对应点的像素在调色板中的索引 3）调色板，可以简单理解为通过编号映射到颜色的一张二维表 大体流程图如下： [音视频的客户端实现过程] 音视频采集 产生音视频数据的源头叫做输入设备，在输入设备中获取音视频原始数据的过程，称为采集。 存放音视频内容的叫做封装容器，文件类型叫封装格式。 文件封装与解封装是互逆的操作过程。 音视频传输网络协议 音视频数据在网络中的传输一般都使用特定的协议，称为流媒体协议。 将音视频文件通过协议打包后，会走网络接口发送出去。 对端接收网络包之后，需要解开协议包，才可以拿到音视频文件。
2.6K53发布于 2020-09-27 - 来自专栏音视频技术
音视频+
” 8月5日-6日，LiveVideoStackCon 2022 音视频技术大会 上海站，和你一同开启通向未来的大门。 音视频+ 从音视频编解码到网络传输的进一步降低时延；从智能硬件的开发到内容生产端与消费端的升级；从客户端建设到服务质量与体验的提升……音视频领域内的方方面面都在不断向前推进，助力着一个又一个行业从初生到走向成熟 「音视频+」给人们带来了多彩的生活，也给行业带来了无限可能。在本专题中，我们将探讨音视频技术与不同行业的高密度融合，会给行业带来怎样的技术新实践、新贡献呢？ 讲师与议题 HDR作为超高清音视频产业的关键技术之一，拥有更广的色彩容积和更高的动态范围。 消费侧，通过智能理解和推荐，短视频重构了人们内容获取的方式，但生产侧，音视频生产依然停留在传统时代。
71030编辑于 2022-07-26 - 来自专栏音视频技术学习笔记
音视频技术(6)-iOS音视频同步
这部分内容较多，涉及多个线程协同实现“解复用”、“解音频帧”、“解视频”、“音频&视频渲染”，前后研究了两周多，还有些代码没理解为什么这么写。 音视频同步播放流程 网上绝大多数代码都是参照ffplay来实现的，下面按照接入流程一步步讲解如何实现iOS平台上音视频同步 iOS接入ffmpeg和SDL可以参考前面的文章，本文不做赘述。 视频解码需要将pts自然数转成秒值，以和音频同步，音视频同步有多种方法，基于人对声音比较敏感，一般采用视频同步到音频。 的源码实现，当前阶段先不做深入了解，比这更重要的是把整个音视频处理大的流程和基本原理磕清楚，后面再回过头找价值高的地方深入进去。 音视频处理确实涉及的技术比较深，与笔者当前的工作并不match，只能在不多的休息时间里再挤一点时间，日拱一卒去学习钻研，加油。
2.6K30发布于 2020-03-27 - 来自专栏音视频咖
理解并解决高丢包率问题，构建清晰流畅的实时音视频通话
因此，对音视频通话相关应用的开发者来说，理解丢包率非常重要。什么是丢包？丢包，看似复杂，但我们可以将它简化为数据包在网络上传输时（例如通话中的声音或视频）未能到达其目的地，从而留下的信息空白。 测量高丢包率的方法准确测量丢包率对我们理解和解决丢包问题，维持音视频通话的清晰十分关键。这一测量可以通过各种科学方法来实现，旨在检测和分析数据丢失。 使用腾讯云实时音视频（TRTC），轻松改善高丢包率问题腾讯云实时音视频（TRTC）是腾讯云提供的一项云计算服务，用于实时音视频通信和互动直播。 如果您也想要快速创建高质量的音视频应用，欢迎前往腾讯云官网（实时音视频_腾讯RTC_低延时互动直播_音视频通话-腾讯云）了解更多详细内容，我们的支持团队随时准备为您提供帮助。 更多腾讯云音视频问题咨询，请扫码添加音视频小姐姐微信，我们将安排产研同学专门跟进您的需求。
1.3K10编辑于 2025-05-28 - 来自专栏iOS 音视频接入-TRTC
iOS音视频接入 - TRTC多人音视频通话
前一篇我们使用腾讯封装的TRTCCalling接入了1v1的音视频通话，今天还是使用此模块进行实现多人音视频通话及其常用TRTCSDK的API。
5.2K1811发布于 2020-10-13 - 来自专栏云服务器购买
实时音视频-腾讯云实时音视频(TRTC)
实时音视频支持跨终端、全平台之间互通，从零开始快速搭建实时音视频通信平台 腾讯云实时音视频详情点击查看 腾讯实时音视频（Tencent Real-Time Communication，TRTC）拥有QQ 十几年来在音视频技术上的积累，致力于帮助企业快速搭建低成本、高品质音视频通讯能力的完整解决方案。 全平台互通 可在微信、手机 QQ、QQ 浏览器通过 H5 页面或微信小程序发起/接受/断开音视频通话，也可直接在网页或通过 SDK 集成的方式在 PC、MAC、APP 中实现音视频通话，支持全平台互通 美颜滤镜 实时音视频产品免费提供基础美颜与滤镜功能；并支持与美颜特效（收费）产品配合使用，提供美颜美型、贴纸、手势识别等多种实时特效功能。 网络通信稳定 全球端到端延时小于300ms，抗丢包率超过40%，抗网络抖动超过1000ms，即使在弱网环境下仍然能够保证高质量的音视频通信，确保视频通话过程顺畅稳定。
12.3K1411发布于 2019-08-06 - 来自专栏跟铭哥学音视频技术
音视频技术基础（一）--音视频技术概念基础
image.png 在这里我着重讲一下我对I帧、P帧、B帧的理解吧，因为这三个帧应用的场景还是比较多的。 音画同步 我们都知道，播放器在处理音视频的时候是分开进行解码渲染的，那么又如何才能达到音画同步呢？我们可以联想到我们的现实世界，我们是如何理解同步这个概念，其实同步就是指的同时发生。 带宽可以理解成最大发送速率； 网络抖动就是实际发（收）的数据没有发（收），判断是否抖动就是看丢包率是否增加、 RTT是否增加、发送速率是否降低。 JitterBuffer会有一的延迟音视频传输时间，将数据先缓存在缓冲区中，并且也会将之前缓存的数据发送到接收端，我就把他理解成我们在网上看电视的时候的视频缓存，这样的话，即使出现了偶尔的网络抖动，也不会影响到用户的体验 总结 以上是我整合了一些其他大佬的资料和一些自己的理解写出的知识点，音视频技术涵盖的内容其实比较广泛的，我这里也仅仅是列出了一些基础的概念，后续的TRTC学习之旅，有机会的话，我们继续探讨一些其他的知识
5.8K156发布于 2020-06-16 - 来自专栏实时音视频TRTC从小白到熟练
实时音视频开发学习1 - 音视频初体验
TRTC基本内容 随着移动互联网速度越来越快的发展，实时音视频的发展也越来越收到重视。 腾讯实时音视频（Tencent Real-Time Communication，TRTC）经过了10多年在网络音视频技术的发展与积累，并以多人音视频通话和低延时互动直播两大场景化方案，通过腾讯云服务向开发者开放 产品架构 实时音视频TRTC主打平台互通的多人音视频和低延时直播互动解决方案，提供了小程序端、web端以及终端的SDK用于快速集成，并与云服务后台连通。 在音视频开发过程中，通过判断UserID的不同可以给房间添加成员。 RoomID 房间ID是一个音视频的空间，同一房间的用户可以互相接收对方的实时视频数据。 推送 推送只用户将本地音视频数据上传给TRTC服务端的操作，相当于主播，对应推流过程。 订阅 订阅只用户向TRTC服务端请求拉去指定用户音视频数据的操作，相当于粉丝观看，对应拉流过程。
4.7K63发布于 2020-08-20 - 来自专栏云架构
音视频基础
B帧占I帧1/4的大小，但是耗时，占用CPU，会导致延时增加，实时通讯（音视频会议，在线教育）一般只有I、P帧，音视频转码服务会大量使用B帧。 所以实时通讯，音视频会议一般只有i p帧，转码服务的会大量使用b帧，节约空间。 编码帧分类：I帧一般是GOP中第一帧，不参考别的帧。P帧占I帧一半大小。 B帧占I帧1/4的大小，但是耗时，占用CPU，会导致延时增加，实时通讯（音视频会议，在线教育）一般只有I、P帧，音视频转码服务会大量使用B帧。
3.1K31发布于 2021-07-05 - 来自专栏音视频领域业余爱好者
音视频初探
视频直播类功能的技术上整体流程包括以下内容： 音视频采集 音视频处理 音视频编码和封装 () 推流 流媒体服务器处理 拉流 音视频解码 音视频播放 1.3. 码率： 码流(Data Rate)是指视频文件在单位时间内使用的数据流量，也叫码率或码流率，通俗一点的理解就是取样率,是视频编码中画面质量控制中最重要的部分，一般我们用的单位是kb/s或者Mb/s。 是指每秒钟刷新的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次。每秒钟帧数(FPS)越多，所显示的动作就会越流畅。捕捉动态视频内容时，此数字愈高愈好。 2.3. 目前主流的音视频编码格式主要是MPEG4、H.254 详细可参考主流的编码格式 2.5. 它提供了录制、转换以及流化音视频的完整解决方案。
2.2K00发布于 2021-07-01 - 来自专栏福大大架构师每日一题
音视频八股文（1）--音视频基础
# 1.1.音视频录制原理 # 1.2.音视频播放原理 # 1.3.图像表示RGB-YUV ## 1.3.1 图像基础概念 ◼ 像素：像素是一个图片的基本单位，pix是英语单词picture的简写 ◼ 帧率：在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟 能够刷新几次。比如25fps表示一秒有25张图片。 ◼ 码率：视频文件在单位时间内使用的数据流量。比如1Mbps。 电影帧率一般是 24fps（帧每秒）； 电视剧一般是25fps； 监控行业常用 25fps； 音视频通话常用15fps； 帧率越高，画面越流畅，需要的设备性能也越高。 播放 5帧、24帧视频对比。 对于视频也是一个道理，同样的音视频流可以用不同容器来承载。 ### 1.7.1 音视频同步概念 DTS（Decoding Time Stamp）：即解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
1.6K20编辑于 2023-06-08 - 来自专栏Qt项目实战
Qt音视频开发24-ffmpeg音视频同步
，要么根本没法同步歪七八糟的，要么进度跳过去直接蹦蹦蹦崩溃的，其实最完美的音视频同步处理demo就是ffplay，我亲测过几十种各种各样的音视频本地文件，数十种视频流文件，都是非常完美，当然啦这是亲生的啦 如果仅仅是播放视频流（不带音频流），可能不需要音视频同步，所以最开始只做rtsp视频流播放的时候根本没有考虑同步的问题，因为没遇到也不需要，等到后期发现各种rtmp、http、m3u8这种视频流的时候， 常用的音视频同步方法： 通过fps来控制，fps表示一秒钟播放多少帧，比如25帧，可以自行计算一帧解码用掉的时间，一帧占用（1000/25=40毫秒），通过延时来处理，这其实是最渣渣的办法。 音视频同步到外部时钟，外部时钟作为主时钟，最终采用的办法，容易理解互不干扰，各自按照外部时钟去同步自己。 ffplay自身内置了三种同步策略，可以通过参数来控制采用何种策略，默认是视频同步到音频。 音视频完美同步，采用外部时钟同步策略。 支持seek定位播放位置。 支持qsv、dxva2、d3d11va等硬解码。 支持opengl绘制视频数据，极低CPU占用。
2.3K62发布于 2020-09-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号