我在Sagemaker上有一个自定义推理容器,它运行一个Flask来处理传入的呼叫。围绕这一点,我有另一个带有Lambda的API,它调用相应的Sagemaker端点。底层模型是为传入句子生成向量嵌入。
现在,我想启用缓存,并使用Redis存储已经计算过的向量。
我的问题是:在推理容器上启用Redis还是在环绕端点的Lambda中启用Redis更有意义?
发布于 2022-01-18 10:44:31
根据缓存用例的不同,在API网关上还有另一个缓存选项。如果您不需要完整的Redis特性,我认为使用API缓存更好(更容易维护,也更便宜)。
https://stackoverflow.com/questions/70753937
复制相似问题