GCP大PubSub消息搅乱云函数触发器

Question

我已经使用本教程部署了简单的PubSub云函数触发器：https://medium.com/@milosevic81/copy-data-from-pub-sub-to-bigquery-496e003228a1

为了测试，我将大消息(超过8MB)推送到PubSub主题。

结果，云函数在日志中返回了以下错误消息：Function execution could not start, status: 'request too large'

问题是，Cloud Function开始不断地启动，产生持续的资源使用和日志消息。只有在我手动清除相关的PubSub主题后，它才会停止。

是否有防止此类行为的机制/配置？理想情况下，云函数触发器执行后，PubSub消息不会被再次拾取。

Answer 1

您已连接到quotas of Cloud Functions

HTTP最大未压缩请求大小-> 10MB

一种解决方案是使用Cloud Run (the quotas is higher, 32Mb)

为此，您需要进行几处更改

• 在云运行中转换您的云函数。I presented this at GDG Ahmedabad last month, in GO this time
• Create，我在您的PubSub主题上创建了一个推送订阅，并在" push“HTTP字段

中使用Cloud Run HTTPS端点

Cloud Run可在1个实例上处理最多80个并发请求，Cloud Function仅支持1个实例。因为您的请求很“大”，所以如果您在同一实例中处理太多请求，可能会导致内存问题。您可以使用云运行和--concurrency参数来控制这一点。将其设置为1可具有与CLoud函数相同的行为。