首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >尝试使用grad-CAM热图可视化ML,但K.gradients返回零值

问尝试使用grad-CAM热图可视化ML,但K.gradients返回零值
EN

Stack Overflow用户
提问于 2020-09-08 19:11:03
回答 1查看 609关注 0票数 2

为了可视化ML过程的结果,我决定使用CAM热图。我在我的模型上使用了here提供的代码,但是对于pooled_grads_value,pooled_grads_value, conv_layer_output_value = iterate([x])的返回值是全零的,但是conv_layer_output_value中有值。

我是这样使用它的:

代码语言:javascript
复制
import matplotlib.image as mpimg
from keras import backend as K
import matplotlib.pyplot as plt
import pandas as pd
import keras
import numpy as np
#%%
model_path = "pathto/model.h5"
img_path = "pathto/pic.tif"
output_path = "pathto/output.jpeg"
size = (1000,200)
#%%

model = keras.models.load_model(model_path)

img=mpimg.imread(img_path)
plt.imshow(img)
#%%

from keras.preprocessing import image
img = image.load_img(img_path, target_size=size)
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)

#%%
preds = model.predict(x)

argmax = np.argmax(preds[0])

output = model.output[:, argmax]
#%%
last_conv_layer = model.get_layer( "conv_6_l")
grads = K.gradients(output, last_conv_layer.output)[0]
pooled_grads = K.mean(grads, axis=(0, 1, 2))
iterate = K.function([model.input], [pooled_grads, last_conv_layer.output[0]])
#%%
pooled_grads_value,  conv_layer_output_value = iterate([x])
#%%
for i in range(64):
    conv_layer_output_value[:, :, i] *= pooled_grads_value[i]
#%%
heatmap = np.mean(conv_layer_output_value, axis=-1)
heatmap = np.maximum(heatmap, 0)
#heatmap /= np.max(heatmap)
#%%
import cv2
img = cv2.imread(img_path)
heatmap = cv2.resize(heatmap, (img.shape[1], img.shape[0]))
heatmap = np.uint8(255 * heatmap)
heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)
hif = .8
superimposed_img = heatmap * hif + img
cv2.imwrite("pathto/justheatmap.jpeg", heatmap * hif)
#%%
cv2.imwrite(output_path, superimposed_img)

我的模型是这样的:

代码语言:javascript
复制
model = Sequential()
model.add(Conv2D(8, (3, 3), input_shape=(1000, 200, 3), name = "conv_1"))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(16, (3, 3), name="conv_2"))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3), name="conv_3"))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3),name="conv_4"))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(128, (3, 3),name="conv_5"))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3),name="conv_6_l"))
model.add(Activation('relu'))

model.add(GlobalAveragePooling2D())

model.add(Dropout(0.33))
model.add(Dense(5))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy',
          optimizer='Adam',
          metrics=['accuracy'])

有人知道我的问题的根源是什么吗?

我还尝试了使用tensorflow.keras.GradientTape()函数显示here的不同方法,但这给出了一个错误module 'tensorflow' has no attribute 'GradientTape,所以我坚持使用第一种方法。

我在python中使用kerasV2.3.1和TensorFlowV2.1.0。

我还上传了一个包含我的模型的.h5文件的zip-file和一张用于测试的图片

提前感谢所有想要帮助的人!

汉斯

EN

回答 1

Stack Overflow用户

发布于 2020-09-17 19:37:58

我们可以使用Keras Backend或Tensorflow tf.GradientTape()函数来捕捉梯度。稍后,我们可以使用这些梯度来可视化为热图。我想给你两个答案,这两个答案解释了如何捕捉梯度并将它们可视化为热图。这两个答案可以满足你的要求。

请参考此SO Answer,了解如何使用Keras Backend捕获渐变,以及如何将渐变可视化为热图。

如果你热衷于使用Tensorflow tf.GradientTape()函数捕获梯度,那么请参考这个SO Answer,为了将梯度可视化为热图,你可以使用之前答案中提到的相同代码。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/63792687

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档