cupy.cuda.cudnn.CuDNNError: CUDNN_STATUS_INTERNAL_ERROR

Question

我的cupy和chainer版本如下

Chainer: 4.1.0 NumPy: 1.15.4 CuPy: CuPy版本: 4.1.0 CUDA根: /usr/local/ CUDA -9.0 CUDA构建版本: 9000 CUDA驱动程序版本: 9020 CUDA运行时版本: 9000 cuDNN构建版本: 7104 cuDNN版本: 7104 NCCL构建版本: 2104

我试图在此链接之后运行一个测试脚本，我使用的脚本如下所示

python figure_skating/models/resnet_50_augmentation_no_noise_75_100/Resnet50SheepLocalizer_97305.npz \log figure_skating/evaluation_dataset/test_images/22.png figure_skating/evaluation_dataset/test_images/22.png -g 0 -o验证_data/图像/分析

我收到的错误消息是

追溯(最近一次调用)：文件"image_sheeping.py"，第50行，在bboxes中，得分= localizer.localize(processed_image):2 File localizer.localize第43行，在本地化框、rois、分数、visual_backprop = self.model.predict(processed_image，return_visual_backprop=return_visual_backprop)文件"/home/rahul/Desktop/Thesis/code/loans/loans/figure_skating/models/resnet_50_augmentation_no_noise_75_100/localizer.py"，行102，在预测rois中，bboxes =self(图像) "/home/rahul/Desktop/Thesis/code/loans/loans/figure_skating/models/resnet_50_augmentation_no_noise_75_100/localizer.py"，行144，在文件"/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/links/model/vision/resnet.py"，第198行中，call h= self.feature_extractor(input_images，layers='res5'，'pool5')，在call h= func(h) File "/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/links/connection/convolution_2d.py"，第175行中，文件"/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/functions/connection/convolution_2d.py"，第582行，在convolution_2d y中，= fnode.apply(args)文件"/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/function_node.py"，行258，在“应用输出”=“"/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/function_node.py"，(In_data)”文件第367行中，在“前向返回self.forward_gpu(输入)”中，在“文件”第161行中，在“forward_gpu返回self._forward_cudnn”(x、W、b )中，( y)文件"/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/functions/connection/convolution_2d.py"，第234行，_forward_cudnn auto_tune=auto_tune，tensor_core=tensor_core)文件"cupy/cudnn.pyx"，第598行，cupy.cudnn.convolution_forward文件"cupy/cudnn.pyx"，第33行，cupy.cudnn.get_handle文件"cupy/cuda/cudnn.pyx"，第473行，在cupy.cuda.cudnn.create文件"cupy/cuda/cudnn.pyx“中，第446行在"/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/tqdm/_tqdm.py"，cupy.cuda.cudnn.check_status cupy.cuda.cudnn.CuDNNError: CUDNN_STATUS_INTERNAL_ERROR异常中忽略了在: del中0% recent 0/1 [00:17回溯(最近一次调用)：File CUDNN_STATUS_INTERNAL_ERROR第931行，在"/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/tqdm/_tqdm.py"，del self.close() File self.close第1133行中，在close self._decr_instances(self) File self.close第496行中，在"/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/tqdm/_monitor.py"，_decr_instances cls.monitor.exit() cls.monitor.exit第52行中，在exit self.join() File“/usr/lib/python3.6/tening.py”中，第1053行，在join cls.monitor.exit RuntimeError(“不能加入当前线程”)中，RuntimeError:无法加入当前线程

有人能帮我解决这个错误吗？

Answer 1

可以使用以下环境变量重新运行代码吗？

export CUDNN_LOGDEST_DBG=cudnn_debug.log
export CUDNN_LOGINFO_DBG=1

然后请共享cudnn_debug.log文件(例如使用Gist)。