我想用气流填充一个红移表。我想要插入的数据是以熊猫数据的形式出现的,尽管我可以将它写入csv或任何其他格式。
我正在查看RedshiftSQLOperator的文档,但是插入是硬编码的,我不知道是否有一种方法可以批量上传数据。
发布于 2022-04-16 02:19:47
redshift操作符还定义了一个钩子,它允许您访问SQL - api/airflow/providers/amazon/aws/hooks/redshift/index.html#airflow.providers.amazon.aws.hooks.redshift.RedshiftSQLHook。
建议您使用熊猫to_sql函数,其中指定连接参数以实现插入。
redshift_hook = RedshiftSQLHook(...)
engine = redshift_hook.get_sqlalchemy_engine()
df.to_sql(..., conn=engine)https://stackoverflow.com/questions/71886717
复制相似问题