如何在服务器的推理之间保持TensorFlow的开放性

Question

我们试图在服务器上使用TensorFlow (TF)对图像进行推理。

android应用程序将jpeg图像发送到我的机器，php api执行我的android推理(python)脚本并返回分数，大约需要6s，但是我们意识到加载TF需要很长时间，但是进行推理需要很短的时间，例如，一个请求占用10%的资源，另一个10%，因此它只有20%的时间同时进行两个推理，以及两个TF模型。

我们希望后台只加载一个TF实例：

1. 一个设备发送jpeg，并将其传递给TF。
2. 设备发送jpeg，并将其传递给TF。
3. TF取第一A，第二B，按顺序进行推理。
4. 还分数。

在同一时间内，服务器只加载一个TF实例。

我们正在做的是：

1. 设备发送jpeg，加载TF实例，进行推理并传递给TF。
2. 设备发送jpeg，加载TF实例，进行推理并传递给TF。
3. 在同一时刻，服务器只加载了TensorFlow的n个实例(在本例中为2个)，而只有一个实例。

正在用TensorFlow调用php中的api.php

shell_exec("python3 myinferece.py image=image_path")

和TF推断与: inference.py

with tf.Session(graph=graph) as sess:
scores = sess.run(our_params)

最后的代码部署在aws中。

Answer 1

要完成保持TensorFlow运行和接受多个推理请求的任务，您需要某种形式的进程间通信。

例如，您可以让TF Python程序通过管道等待新输入，而PHP程序每次传入新请求时都会将这些值发送给管道。

对于每一种类型的进程间通信(管道、套接字)，给出一个完整的示例，会使您感到超出了问题的范围，但这应该足以让您开始工作。