如何录制屏幕，将其编码为HEVC，然后将其插入webrtc，以便使用aiortc-python进行流式传输

Question

我正在尝试构建一个低延迟的流媒体软件，但我找不到一个好的方法来记录视频并将其编码到H.264/HEVC中，也找不到我们如何将所有这些都插入到aiortc流中。我想我应该使用FFMPEG进行屏幕捕获和编码，但我也找不到任何关于通过aiortc进行流媒体的指南。

我知道这将是整个项目，但就像我说的那样，我找不到任何关于这方面的好指南。

任何帮助都将不胜感激！

编辑:我使用ffmpeg-python捕获并编码了它，但我仍然不知道如何在webrtc上传递它。我尝试将其传递给aiortc中的MediaPlayer函数，但在网页上没有任何输出。

我在aiortc github repo上编辑了示例中的webcam.py代码，如下所示：

if args.play_from:
        process = (
            ffmpeg
            .input(format='gdigrab', framerate=60, filename="desktop")
            .output('pipe:', format='rawvideo', pix_fmt='rgb24')
            .run(capture_stdout=True)
        )

        video = (
            np
            .frombuffer(process, np.uint8)
        )

        player = MediaPlayer(video)

我怎么才能让它在aiortc上流传输？

Answer 1

webrtc-remote-screen是我所知道的唯一一个功能完整的项目。我敢打赌，你可以从中提取捕获代码并移植到aiortc。

拉斐尔还为此写了一篇博文here。