使用工具包与亚马逊SageMaker集成的视频流

Question

我正在做一个项目，在这个项目中，我需要将视频从我的IP摄像头发送到，并使用Sagemaker托管我的ML模型，然后这个模型将实时地分析来自Kinesis视频流的视频。

我跟踪了这个链接：https://aws.amazon.com/blogs/machine-learning/analyze-live-video-at-scale-in-real-time-using-amazon-kinesis-video-streams-and-amazon-sagemaker/

，我受够了-

1. 设置IP摄像机和运动视频流将视频从IP摄像机发送到KVS
2. 为工具包设置云形成模板(如链接中所述)

，我被这个特别的东西困住了- -

1. 如何从sagemaker笔记本中的aws fargate获取视频帧作为输入(如下图所示，步骤3)？在链接中提到，该工具包预先捆绑了一个定制的Lambda函数，该函数是用来使用目标检测算法处理亚马逊的一个目标检测算法示例的预测输出的。我不知道这个算法是如何从KVS接收输入的。

如果有人能帮我解决这个问题。

Answer 1

嗨，我是S.Korea的云架构师

首先，请记住，Lambda不连接到动态视频流。然后，示例如何获取视频流的帧数据。它是CloudFormation中的AWS图像。

DockerImageRepository:
    Type: String
    Default: >-
      528560246458.dkr.ecr.us-east-1.amazonaws.com/kinesisvideosagemakerintegration_release:V1.0.3
    Description: Docker image for Kinesis Video Stream & SageMaker Integration Driver.

创建CloudFormation是XML文件代码。在此文件中，您可以确认创建Docker图像。因此，您应该检查Docker图像中的代码。

我不能打开Docker图像中的代码。但我可以在Github中找到java代码。

https://github.com/aws/amazon-kinesis-video-streams-parser-library https://github.com/aws/amazon-kinesis-video-streams-parser-library/tree/master/src/main/java/com/amazonaws/kinesisvideo/parser/utilities https://github.com/aws/amazon-kinesis-video-streams-parser-library/blob/master/src/main/java/com/amazonaws/kinesisvideo/parser/utilities/FrameRendererVisitor.java https://github.com/aws/amazon-kinesis-video-streams-parser-library/blob/master/src/main/java/com/amazonaws/kinesisvideo/parser/utilities/OutputSegmentMerger.java

可能是在Docker映像中运行的代码。首先，这段代码读的是动态视频流中的I帧.第二，与以往I-帧的不同之处进行比较.第三，发送到SageMaker端点，并进行Sagemaker推理。最后发送到动态(而不是动态视频流)，然后兰博达接收萨吉克推断。

我在开发产品时尝试了这个例子。你应该跟着我的吉顿来沟通

https://github.com/WooSung-Jung

Answer 2

此AWS示例Lambda代码将是一个很好的参考。

文档在这里；https://github.com/aws/amazon-kinesis-video-streams-parser-library#kinesisvideorekognitionlambdaexample

Lambda可以由输入触发。