使用tensorflow从图像列表中提取补丁

Question

如果我们有一个图像列表，我们如何提取补丁。

示例：

def get_train_images():
    image_list = glob(FLAGS.train_path + '/*.jpg')
    #extract_patch

想做这样的事情:例如，我只做了一个图像，但是我想对100个图像执行相同的任务。

样本图像：

​

样本图像输出图像：

​

我有一个图像列表，并希望从图像中提取补丁并将它们保存在另一个列表中。这份名单可以被改写。

Answer 1

下面是一个列表中两个图像的示例。针对每幅图像提取图像块，最终结果为每幅图像4块的数组，从而得到形状(2, 4, 4, 3) of patched_images，其中2为样本数，4为每幅图像的斑块数，(4, 4, 3)为每幅图像的形状。

import tensorflow as tf
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

images = [tf.random.normal((16, 16, 3)), tf.random.normal((16, 16, 3))]

patched_images = []
for img in images:
  image = tf.expand_dims(np.array(img), 0)
  patches = tf.image.extract_patches(images=image,
                          sizes=[1, 4, 4, 1],
                          strides=[1, 4, 4, 1],
                          rates=[1, 1, 1, 1],
                          padding='VALID')
  patches = [tf.reshape(patches[0, i, i], (4, 4, 3)) for i in range(4)]
  patched_images.append(np.asarray(patches))

patched_images = np.asarray(patched_images)
print(patched_images.shape)

axes=[]
fig=plt.figure()
patched_image = patched_images[0] # plot patches of first image
for i in range(4):
    axes.append( fig.add_subplot(2, 2, i + 1) )
    subplot_title=("Patch "+str(i + 1))
    axes[-1].set_title(subplot_title)  
    plt.imshow(patched_image[i, :, :, :])
fig.tight_layout()    
plt.show()

(2, 4, 4, 4, 3)

​

​

如果您有不同的图像大小，并且仍然希望提取4x4补丁，而不管图像大小，请尝试如下：

import tensorflow as tf
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

images = [tf.random.normal((16, 16, 3)), tf.random.normal((24, 24, 3)), tf.random.normal((180, 180, 3))]

patched_images = []
for img in images:
  image = tf.expand_dims(np.array(img), 0)
  patches = tf.image.extract_patches(images=image,
                          sizes=[1, 4, 4, 1],
                          strides=[1, 4, 4, 1],
                          rates=[1, 1, 1, 1],
                          padding='VALID')
  patches = [tf.reshape(patches[0, i, i], (4, 4, 3)) for i in range(4)]
  patched_images.append(np.asarray(patches))