从amazon s3到amazon SQL Server rds中的CSV文件

Question

有没有什么示例可以让我了解如何将数据从亚马逊S3中的CSV文件复制到Microsoft SQL Server Amazon RDS中？

在文档中只提到了将数据从本地数据库导入到RDS中。

Answer 1

方法就像这样--你必须启动一个EC2实例，并将S3 CSV文件复制到其中，然后你必须使用批量插入命令。示例：

BULK INSERT SchoolsTemp
FROM 'Schools.csv'
WITH
(
    FIRSTROW = 2,
    FIELDTERMINATOR = ',',  --CSV field delimiter
    ROWTERMINATOR = '\n',   --Use to shift the control to next row
    TABLOCK
)

所有这些都可以在AWS数据管道中缝合在一起。

Answer 2

看起来他们设置了Sql Server RDS与S3的集成。我找到了this aws docs article，它详细地解释了这一点。

在设置了正确的凭据之后，他们似乎将特定的存储过程添加到了D:\S3目录中进行下载(和上载/删除)。我个人没有这样做过，但我想我应该分享一下，因为另一篇文章的评论提到BULK INSERT不受支持。但这将为使用来自s3的文件的BULK INSERT提供一种工作方式。

将文件复制到RDS实例：

exec msdb.dbo.rds_download_from_s3
        @s3_arn_of_file='arn:aws:s3:::bucket_name/bulk_data.csv',
        @rds_file_path='D:\S3\seed_data\data.csv',
        @overwrite_file=1; 

然后运行BULK INSERT

BULK INSERT MyData
FROM 'D:\S3\seed_data\data.csv'
WITH
(
    FIRSTROW = 2,
    FIELDTERMINATOR = ',',
    ROWTERMINATOR = '\n'
)