将筛选器应用于AVVideoComposition时崩溃

Question

我想对AVVideoComposition by function应用过滤器：

init(asset: AVAsset, applyingCIFiltersWithHandler: (AVAsynchronousCIImageFilteringRequest) -> Void)

其中，asset为AVComposition。当AVPlayerItem使用videoComposition播放此组合时，应用程序崩溃并出现错误：

reason: '*** -[AVCoreImageFilterCustomVideoCompositor startVideoCompositionRequest:] Expecting video composition to contain only AVCoreImageFilterVideoCompositionInstruction'

我想知道如何修复崩溃。

PS:我在组合中有两个videoTracks，每个timeRange都有它的指令

Answer 1

我猜您正在尝试将AVVideoCompositionLayerInstruction添加到AVVideoComposition中。

首先尝试简单的方法，看看是否需要进行任何更改：

AVURLAsset *asset = [AVURLAsset assetWithURL:videoURL];
CIFilter *filter = [CIFilter filterWithName:@"CIHueAdjust"]; // the filter you want to add: https://developer.apple.com/library/content/documentation/GraphicsImaging/Reference/CoreImageFilterReference/index.html#//apple_ref/doc/filter/ci/
AVMutableVideoComposition *videoComposition = [AVMutableVideoComposition videoCompositionWithAsset:asset applyingCIFiltersWithHandler:^(AVAsynchronousCIImageFilteringRequest * _Nonnull request) {
    // set filter input image
[filter setDefaults];
    [filter setValue:sourceImage forKey:kCIInputImageKey];

    // hue
    NSNumber *angle = [NSNumber numberWithFloat:0.8];
    [filter setValue:angle forKey:kCIInputAngleKey];

    CIImage *outputImage = filter.outputImage;
    [request finishWithImage:outputImage context:nil];
}];

AVAssetExportSession *exportSession = [[AVAssetExportSession alloc] initWithAsset:asset presetName:AVAssetExportPreset1920x1080];
exportSession.outputFileType = AVFileTypeQuickTimeMovie;
exportSession.outputURL = outputURL;
exportSession.videoComposition = videoComposition;

// export the session async
[exportSession exportAsynchronouslyWithCompletionHandler:^{
    switch (exportSession.status) {
        case AVAssetExportSessionStatusCompleted:
            NSLog(@"Yeah!");
            break;

        default:
            NSLog(@"Nooo!");
            break;
    }
}];

Answer 2

您不能同时使用AVVideoCompositionLayerInstruction和applyingCIFiltersWithHandler。

因此，您需要在过滤器中直接应用变换。

这可以通过将其应用于源图像来完成。

request.sourceImage.transformed(by: transform)

Answer 3

AVMutableVideoComposition:videoCompositionWithAsset:applyingCIFiltersWithHandler只支持iOS 9+，如果你只需要用CIFilter导出视频，也没问题。

配置更多的videoComposition指令就会变现，比如给AVAssetTrack添加一种roateLayerInstruction。

我在这种情况下也有同样的问题，自定义AVVideoCompositing可能是更好的解决方案。一些关于如何自定义videoCompositor demo1 demo2的很好的演示。

这周我正在解决这个问题。