具有CTC层的TensorRT

Question

我想使用tensorRT优化我的模型，但是，我的模型中的CTC层不受tensorRT支持。有人成功地用tensorRT优化了CTC层。

Answer 1

我成功地完成了两个步骤，首先使用TensorRT获得概率逻辑，然后使用C++ CTC解码器对逻辑进行解码。

由于CTC的解码适用于CPU，所以在GPU运行时，我还设法使用GPU来获取各批日志，并将每一批日志排队到一个CPU CTC解码队列中。这样，CPU和GPU就可以并行运行。CTC解码器的C++实现可以在Github中找到或从Tensorflow存储库中找到。