基于OpenCV的安卓神经网络灰度图像分类

Question

我正在开发一个android应用程序，它可以从报纸上数字化数字。我使用本机OpenCV代码来查找图像上的数字。在此之后，我想使用OpenCV的dnn模块来识别数字。关于创建神经网络的一个很好的教程可以在这里找到：

https://www.youtube.com/watch?v=kFWKdLOxykE

mnist_convnet_graph.pbtxt从以下内容开始：

node {
  name: "conv2d_1_input"
  op: "Placeholder"
  attr {
    key: "dtype"
    value {
    type: DT_FLOAT
  }
  }
  attr {
    key: "shape"
    value {
      shape {
        dim {
          size: -1
        }
        dim {
          size: 28
        }
        dim {
          size: 28
        }
        dim {
          size: 1
        }
      }
    }
  }
}

所以输入是一个28x28灰度图像。

在本教程中，使用java代码来使用神经网络。但是，由于速度快，我想在C++中使用它。我成功地用cv::dnn::Net Dnn.readNetFromTensorflow(String，String )加载模型，并将对象传递到NDK端。我用以下方法为神经网络创建输入：

// The part of the image, we are interested in.
Rect roi(static_cast<int>(w), static_cast<int>(h),
             static_cast<int>(w), static_cast<int>(h));
Mat cropped(image_gray, roi);
// Resize image to 28x28.
Mat resized;
cv::resize(cropped, resized, Size(28,28));

在此之后，转发应该工作：

const double IN_SCALE_FACTOR = 0.003921; // 1.0/255.0
Mat blob = dnn::blobFromImage(resized, IN_SCALE_FACTOR, Size(28,28));
net.setInput(blob);
Mat detections = net.forward();

其中net是传递的cv::dnn::Net对象。但是net.forward()命令失败并给出：

虚拟bool cv::dnn::experimental_dnn_34_v11::DataLayer::getMemoryShapes(const中OpenCV(3.4.5)错误:断言失败(inputs.size() == requiredOutputs)

我也试过：

• 裁剪rgb图像
• Mat blob =dnn：：blob blobFromImage(调整大小，1.0f，大小(28，28))；
• 不使用blobFromImage，而是使用net.setInput(调整大小)；

但所有这些都没有找到解决办法。有人有办法解决这个问题吗？如有任何建议或想法，将不胜感激。

Answer 1

好吧，我设法解决了我的问题。

首先，我意识到.pb和.pbtxt文件位于错误的目录中，并获得了2条Failed to upload a file信息日志。

在将文件放入正确的目录后，我遇到了以下问题：

error: (-215:Assertion failed) const_layers.insert(std::make_pair(name, li)).second in function 'void cv::dnn::experimental_dnn_34_v11::{anonymous}::addConstNodes(opencv_tensorflow::GraphDef&, std::map<cv::String, int>&, std::set<cv::String>&)'

正如Dmitry Kurtaev建议的here，我将.pbtxt从Dnn.readNetFromTensorflow中移除。在那之后，我犯了错误：

OpenCV(3.4.5) Error: Unspecified error (Can't create layer "flatten_1/Shape" of type "Shape") in cv::Ptr<cv::dnn::experimental_dnn_34_v11::Layer> cv::dnn::experimental_dnn_34_v11::LayerData::getLayerInstance(), file /build/3_4_pack-android/opencv/modules/dnn/src/dnn.cpp, line 513

这使我找到了一个链接，我在Dmitry Kurtaev的注释here中找到了这个链接，在对.pbtxt文件进行了建议的修改(删除Const节点、修改和删除扁平节点)之后，我最终没有发现任何错误，并成功运行了神经网络。

注意：在创建模型之前添加了K.backend.set_learning_phase(0)，也可能很有用。