自定义语音转文本在不活动后第一次调用时速度较慢

Question

在第一次启动和一段时间的不活动之后，我们的自定义语音到文本停靠容器需要很长时间来响应(后续调用的响应时间分别为10+秒和不到1秒)。

以下是用于运行容器的docker-compose行：

  msasr:
    image: mcr.microsoft.com/azure-cognitive-services/speechservices/custom-speech-to-text:2.6.0-amd64
    volumes:
       - ./MS_ASR_20201202:/usr/local/models
    restart: always
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 4G
        reservations:
          cpus: '4'
          memory: 4G
    command: Eula=accept Billing=${MS_ENDPOINT_URI} ApiKey=${MS_API_KEY}

对于内存分配，运行docker-compose时使用--compatibility标志

从cognitive-services-custom-speech-to-text:2.2.0-amd64-preview移动到自定义语音转文本:2.6.0-amd64后出现此问题

我认为(这里没有证据)有一些元素需要加载到ram中，并在没有使用时被丢弃，但这在以后会有很大的QOS影响。有没有办法让实例保持加载状态，或者重新启动系统？

Answer 1

此症状表明正在发生页出。在过去，以下操作非常有效地解决了这个问题：

• 使用8G来确保所有区域设置都具有所需的资源，而不会有需要交换空间的风险。如果
• 发现没有其他可能导致物理内存超额订阅的进程，则会完全禁用主机上的交换。换言之，请确保保留数之和不超过物理主机。

请让我知道事情的进展。

安德鲁