Python - Redshift SQL查询中的动态变量

Question

我正在python环境中进行开发，我想使用psycopg2调用一个sql查询

假设在.sql文件中有以下卸载命令：

UNLOAD 
(
'
Some SQL Query
'
)
TO 's3://%PATH%'
...

在sql文件中，%PATH%应该是显式的，如：'folder1/folder3/file_name'。

但是我希望python程序在运行时设置这个%PATH%。这意味着.sql文件包含类似于%PATH%的内容，并且只在运行时进行设置。

知道怎么做吗？

Answer 1

您只需在SQL文件中指定一个替换场，并使用一个format命令。

创建这样的文件

UNLOAD ('Some SQL Query')
TO 's3://{bucket}/{key}'

并在python中使用以下文件

template = open('file1.sql', 'r').read()
query = template.format(bucket='mybucket', key='folder/file.csv')

Answer 2

以这种方式实现它将给你一个艰难的时间。

最好的方法是将文件转储到静态位置：

UNLOAD 
(
'
Some SQL Query
'
)
TO 's3://path/to/static/s3_bucket'
...

然后使用(通过other脚本/或为任何其他脚本选择合适的命令)

aws s3 mv $source $destination

在这里，您可以传递$destination的任何值，这些值可以在运行时轻松填充。

简而言之，您已经将文件在一个固定位置(使用卸载)转储到s3中，并将其移动到您选择的位置或运行时填充的位置(使用s3 mv.)

Answer 3

您将无法在运行时动态设置卸载路径，但是可以将SQL语句放在类似shell/python脚本中，在该脚本中可以使用您想要的路径创建变量，然后将它们传递到查询中。

如果您决定使用python，AWS卸载这实用程序将使您开始工作。