Polybase中的增量载荷

Question

我已经为PolyBase创建了一个外部表，用于将数据从BLOB存储加载到Azure SQL data Warehouse。我有以下关于文件加载的问题。

1)如果数据有增量增长，那么PolyBase将如何工作。如果有每日样本文件，如

test_2019_02_01.incr
test_2019_02_02.incr

那么我们是否每次都需要创建drop和重新创建外部表。如果不是，我该怎么做呢？

CREATE EXTERNAL TABLE [dbo].[sample]
 (
 [social] varchar(30) NOT NULL,
 [address] varchar(30) NOT NULL
 )
 with (
 LOCATION='/TEST/',
 DATA_SOURCE=POLYTEST,
 FILE_FORMAT=POLY_TEST_HEADER,
 REJECT_TYPE=VALUE,
 REJECT_VALUE=0
 )

2)我可以在PolyBase Azure BLOB存储中编写UNIX脚本吗？

请分享你对这个问题的看法。

Answer 1

你可以在来自文件的数据将驻留的Azure SQL数据仓库上创建表，然后创建位于Azure存储上的文件列表，遍历该列表，并为列表中的每个项目创建和删除外部表。您可以标记已处理的每个项目。每次创建外部表时，都会将数据加载到Azure数据仓库表中，然后删除外部表。Here你会找到一个完整的例子。