电杆的深度学习-Detect特性

Question

我正在开发一个应用程序，它只需要2到3张照片就可以探测到电杆的所有可见特征，

探测杆子的类型及其特点：

杆1

杆2

在墓碑上阅读有用的文本(并不需要所有文本)：

刻字1

雕刻2

我必须在浏览器上直接检测到这一点，所以我计划在前端使用tensorflow.js。

1-应该创建一个新的模式，还是训练一个经过培训的模型？对于这种形象，我应该使用什么样的预先训练的模型。

2-有可能检测电缆的数量及其类型吗？

3-对于雕刻部分，大多数情况下，文字是不可读的，即使是对人类的眼睛。有没有可能训练他读这篇文章？

谢谢!

Answer 1

当您处理一个非常小的数据集时，您可以同时执行以下两项操作：

1. 增加数据集--即，人工地从数据集中创建更多的图像--有很多方法可以这样做。Keras让ImageDataGenerator来完成这个任务。
2. 使用经过预先训练的模型，包括转移学习(如MobileNetV2 )。使用经过预先训练的模型非常有帮助，因为它已经在图像数据集中学习了许多特性，并将把这些知识转移到您当前使用的数据集中。关于如何这样做的更多细节，可以找到这里。

对于模型，您需要使用其中的两个。

1. 第一个将用于探测电线杆及其周围的电缆。根据电线杆和电缆的边框裁剪图像，相应地给它们贴上标签(你必须手动给它们贴上标签，这样处理过程就会很繁琐)。
2. 第二种方法将用于检测极地的凹版。裁剪两极的图像，只包括版画的部分，自己给数据贴上标签。您可以使用与上面提到的关于增强和转移学习的两个步骤相同的公式。

最后，要执行OCR，您可以使用Tesseract JS，它有一个可以链接的api。

模型体系结构：

输入张量->模型用于检测电线杆和电缆，->裁剪到的极点图像，->模型用于检测文字版画，->裁剪图像的雕刻->在版画上执行OCR。

为了提高模型的精度，你可以从极板上切出凹版。如果你不这样做，只是在极上执行，那么它将表现不好。

当您在移动设备上进行此操作时，请不要忘记量化模型，以便在移动设备上获得更好的性能。