使用带有Apache梁的语句转换器模型

Question

我有一个apache管道，使用DirectRunner、而不是与DataflowRunner一起完美地工作：

在使用DataflowRunner时，我从我所理解的方面得到一个"Error 413 (Request entity too large)"，这是因为管道文件太大了。(我使用以下选项获得它：--dataflow_job_file=gs://...，这是由我使用的模型造成的：

embeding_model = SentenceTransformer('sentence-transformers/paraphrase-MiniLM-L3-v2')

有没有人做过类似的实验？

Answer 1

您正确的假设是管道文件太大--直接运行程序没有这个限制，但我相信Dataflow将JSON限制在20 to左右。

我猜你是在把模型嵌入到那个JSON中吧？从外部源加载它可能会更好。例如，Python中的RunInference允许加载自定义模型。