如何从aws动态实时视频流生成检测到的人脸帧？

Question

我的工作是动态实时流媒体视频POC。

我可以将视频从android应用程序流到视频流，并将其称为python boto3 api ('get_records')，用于人脸检测。

人脸检测并从api中获得响应。

"InputInformation": {
            "KinesisVideo": {
                "StreamArn": "arn:aws:kinesisvideo:<video-stream>",
                "FragmentNumber": "913..",
                "ServerTimestamp": 1.5234201234E9,
                "ProducerTimestamp": 1.523420130123E9,
                "FrameOffsetInSeconds": 0.6769999861718424
            }
        },
        "StreamProcessorInformation": {
            "Status": "RUNNING"
        },
        "FaceSearchResponse": [{
            "DetectedFace": {
                "BoundingBox": {
                    "Height": 0.41025642,
                    "Width": 0.30769232,
                    "Left": 0.45673078,
                    "Top": 0.23397435
                },
                "Confidence": 99.99998, ........

问:如何通过高亮显示从数据流输出中检测到的人脸(通过引用视频流数据)来生成帧？

我没有在aws参考页面中找到任何示例或文档来创建一个框架，并将其存储为带有人脸高光的jpeg图像。

在java / python中有帮助/指针从视频流生成帧吗？

Answer 1

对于AWS与动态视频流的集成，请查看在消费者分析器库中发布的KinesisVideoRekognitionIntegrationExample。这个例子展示了如何摄取视频文件(您可以用像GStreamer样本应用这样的实时生产者来替换它)、检索数据、解析MKV、使用JCodec解码H264帧、集成Rekognition输出以及在使用JFrame检测到的脸上绘制边框。

Answer 2

没有根据检测到的人脸修改视频数据的自动化设施。您需要编写一个应用程序：

• 从Amazon动态视频中检索帧
• 从Amazon Rekognition视频生成的Amazon Kinesis检索记录
• 将自己的矩形添加到框架中(如使用ImageMagick或OpenCV)