气流2.0:在pip3上安装“apache-airflow[amazon]”的分段故障(内核转储)

Question

我需要使用ECSOperator。在从Airflow2.0 1.10.13迁移到Airflow2.0 2.0时，当我安装pip3安装'apache-airflowamazon'时，它给出了分段错误。在此之前，达格的工作都是在气流中进行的。参考资料：https://airflow.apache.org/docs/apache-airflow-providers-amazon/stable/operators/ecs.html#howto-operator-ecsoperator .有人能告诉我我哪里错了吗。如何纠正此分段错误，因为调度程序已在此问题之后停止运行。

结果：

Installing collected packages: pycparser, cffi, six, cryptography, PyJWT, werkzeug, itsdangerous, markupsafe, jinja2, click, flask, Flask-JWT-Extended, sqlalchemy, Flask-SQLAlchemy, PyYAML, apispec, attrs, zipp, importlib-metadata, pyrsistent, setuptools, jsonschema, pytz, Babel, Flask-Babel, marshmallow, marshmallow-enum, marshmallow-sqlalchemy, python-dateutil, defusedxml, python3-openid, Flask-OpenID, dnspython, idna, email-validator, flask-login, colorama, prison, WTForms, flask-wtf, sqlalchemy-utils, flask-appbuilder, psutil, apache-airflow-providers-sqlite, setproctitle, gunicorn, urllib3, chardet, certifi, requests, inflection, clickclick, openapi-spec-validator, swagger-ui-bundle, connexion, flask-caching, python-editor, Mako, alembic, cached-property, text-unidecode, python-slugify, python-nvd3, typing, sqlalchemy-jsonfield, thrift, tabulate, colorlog, typing-extensions, pygments, lockfile, docutils, python-daemon, flask-swagger, tzlocal, json-merge-patch, tenacity, pep562, importlib-resources, unicodecsv, natsort, croniter, graphviz, lazy-object-proxy, dataclasses, commonmark, rich, marshmallow-oneofschema, apache-airflow-providers-http, funcsigs, apache-airflow-providers-ftp, apache-airflow-providers-imap, iso8601, argcomplete, dill, numpy, pandas, markdown, cattrs, pytzdata, pendulum, termcolor, jmespath, botocore, s3transfer, boto3, watchtower, apache-airflow-providers-amazon, apache-airflow
Segmentation fault (core dumped)```

Please find the screenshot attached below: https://i.stack.imgur.com/ZazNy.png

Answer 1

为了避免升级到气流2.0的问题，您需要遵循官方指南

首先，您需要升级到1.10.14 (桥版本)，并使用upgrade_check工具来检测所有需要解决的问题。

具体而言，您的问题是，对于气流2.0，您需要将amazon软件包安装为

pip install apache-airflow-providers-amazon

然后，您可以导入操作符如下：

from airflow.providers.amazon.aws.operators.ecs import ECSOperator

Answer 2

我认为问题在于，您的系统被错误地配置为安装错误的pip包。PIP包(我怀疑其中任何一个--我怀疑有些amazon库)都是二进制或源形式的。二进制表单与您正在安装的系统匹配。如果出于任何原因，系统的配置被修改，例如安装了不同的glibc集，或者系统通常是在"OS“级别上进行了大量修改，那么您可能会安装一些包，这些包预期会出现一些动态库，但它们没有出现，或者版本错误。这可能会导致这种行为。

可能的解决办法是重新安装气流：

pip install .... --no-binary :all: --force-reinstall

这可能需要更长的时间，并且可能需要添加一些构建依赖项，因为二进制包将被重新编译。

请注意，这不是apache-airflow或apache-airflow-providers-amazon包的问题。这些都是纯python，它们应该干净地安装，这可能是amazon提供程序的依赖项之一，但是有很多(隐藏的传递依赖项)，所以很难说是哪一个造成了问题。