使用CIKernel的意外行为

Question

我举了这个例子来说明这个问题。它通过硬编码坐标从纹理中获取1个像素，并将其用于着色器中的每个像素。我希望所有的图像都是相同的颜色。当图像很小时，它工作得很完美，但当我处理大图像时，它会产生奇怪的结果。例如，这里的图像大小为7680x8580，您可以看到4个方格：

​

这是我的密码

kernel vec4 colorKernel(sampler source)
{
    vec4 key = sample(source, samplerTransform(source, vec2(100., 200.)));
    return key;
}

下面是我如何插入内核的方法：

override var outputImage: CIImage? {
        return colorFillKernel.apply(
                extent: CGRect(origin: CGPoint.zero, size: inputImage!.extent.size),
                roiCallback:
                {
                    (index, rect) in
                    return rect
                },
                arguments: [
                    inputImage])
    }

此外，此代码正确地显示图像，没有更改和方格：

vec2 dc = destCoord();
return sample(source, samplerTransform(source, dc));

在一份公开文档中，它说："Core自动将大图像分割成更小的块来呈现，因此您的回调可能会被多次调用。“但我找不到处理这种情况的方法。我有千变万化的效果，从任何这个瓷砖，我需要能够从另一个瓷砖获得像素。

Answer 1

我认为这个问题的发生是由于一个错误定义的兴趣区域与瓷砖相结合。

在roiCallback中，Core是问您输入映像的哪个区域(在index，如果您有多个输入)，内核需要查看哪个区域，以便生成输出映像的给定区域(rect)。这是一个关闭的原因是由于瓦片：

如果处理后的图像太大，核心图像将其分解为多个块，分别呈现这些块，然后再将它们拼接在一起。对于每个瓷砖，Core都是询问您的内核需要读取的输入映像的哪一部分才能生成瓦片。

因此，对于输入图像，在呈现过程中，roiCallback可能会被调用四次(甚至更多)，例如使用以下矩形：

CGRect(x: 0,    y: 0,    width: 4096, height: 4096) // top left
CGRect(x: 4096, y: 0,    width: 3584, height: 4096) // top right
CGRect(x: 0,    y: 4096, width: 4096, height: 4484) // bottom left
CGRect(x: 4096, y: 4096, width: 3584, height: 4484) // bottom right

这是一种核心图像的优化机制。它只想读取和处理产生输出的给定区域所需的像素。因此，最好将ROI尽可能地调整到您的用例中。

现在ROI取决于内核。基本上有四种情况：

1. 您的内核在输入像素和输出像素之间有1:1的映射。因此，为了产生输出颜色值，需要从输入图像中读取同一位置的像素。在这种情况下，只需在您的rect中返回输入roiCallback。(或者更好的是，您使用了为该用例创建的CIColorKernel。)
2. 您的内核执行某种卷积，不仅需要输入像素与输出在相同的坐标下，而且还需要它周围的某个区域(例如，模糊操作)。那么，您的roiCallback可能是这样的： 设inset = self.radius // CIGaussianBlur的半径roiCallback: CIKernelROICallback ={ _，rect in let rect.insetBy(dx：-inset，dy：-inset) }
3. 无论输出的哪一部分呈现，内核总是需要读取输入的特定区域。然后，只需在回调中返回特定区域： 设roiCallback: CIKernelROICallback ={ CGRect(x: 100，y: 200，宽度: 1，高度: 1) }
4. 内核总是需要访问整个输入映像。例如，当您使用某种查找表派生颜色时，情况就是如此。在这种情况下，您只需返回输入的范围并忽略参数： 设roiCallback: CIKernelROICallback ={ inputImage.extent }

对于您的例子，场景3应该是正确的选择。对于您的千变万化效果，我假设您需要在目标坐标周围的某个区域或源像素来生成一个输出像素。因此，最好是计算该区域的大小，并在场景2中使用类似的roiCallback。

P.S.：现在不推荐使用核心图像内核语言(CIKernel(source: "<code>"))。你应该考虑用金属阴影语言写你的内核。请看今年的WWDC谈话，了解更多信息。