摄像头的pts和dts跳转问题

Question

我在我的代码中使用ffmpeg库来捕获摄像头中的rtsp流并用flv编写。如果我只从一个摄像头捕获流，并且摄像头只有视频流，那么就不会有任何错误，我得到的第一个数据包是pts和dts 1698557894，其他数据包的pts和dts会慢慢增加。但是如果摄像头有视频流和音频流，那么就会发生奇怪的事情。例如，视频数据包pts和dts从1698557894开始并缓慢增加，音频从0开始然后缓慢增加，大约50个包之后跳到值151004317并缓慢增加。另一种情况是，当音频从1785662594开始并缓慢增加时，视频从1785662594开始并在~70个包之后跳至234722并缓慢增加。这种行为不允许flv段多路复用器写入文件，它只返回一些EINVAL值。

另外，如果我尝试从两个摄像头捕获流，第一个摄像头只有视频，另一个摄像头有视频和音频，那么第一个摄像头数据包的pt和dts都是正常的。但是另一台摄像机具有非常不同的视频和音频pts/DTS值。av_read_frame返回视频包，pt/dts值为1811924055，flv复用器为557003451，音频为4456027604，为557003451，但这两个值必须几乎相等！

因此，问题是: 0)为什么这些跳跃发生在捕获的开始？这是一个相机的问题，还是只是一些ffmpeg的问题? 1)这样的跳跃会在很长一段时间后发生吗？怎么处理? 2)为什么摄像头的视频和音频的pt/dts值有这么大的不同？

Answer 1

那里发生了很多事情。坦率地说，我会把它写成一个不正确实现的RTMP流。但我可以提出一些观点，可以帮助你继续前进。第一个RTMP始终使用1 1kHz时钟，可以使用24位或32位时间戳。因此，时间戳溢出在4.6小时和49.7天是很常见的。下一步RTMP可以指定时间增量，因此有可能超过24比特，并在它返回到16777215 (或者实际上，0+增量)之前让下一对帧超过16777215。最后，4456027604大于32位。所以ffmpeg在你得到时间戳之前对它们做了一些事情，或者你的代码中有一个bug。祝好运!