pyarrow作为lambda层

Question

我需要帮助才能让pyarrow作为lambda函数的lambda层。我正在尝试读/写拼图文件，我得到下面的错误，"errorMessage"：“找不到可用的引擎；尝试使用：'pyarrow'，‘for parquet’。\n拼图支持需要pyarrow或for parquet”。

我尝试通过在我的系统中安装pyarrow来创建层，命令如下: pip3 install pandas pyarrow -t build/python/lib/python3.7/site-packages/ --system

但是zip文件是在大于300mb的情况下创建的，因此我不能让它作为lambda层。

任何建议或解决方案。

谢谢,

Answer 1

首先，所有的包都需要放在一个名为python的目录中，不多也不少，你可以压缩整个python目录并上传到lambda。其次，熊猫和箭都很大。我确实在一个lambda函数中使用了这两个包，没有任何问题，但我担心您可能需要将这两个包分离为两个层才能使其工作。不要使用快速镶木地板，它太大了，超过了lambda的250MB限制。