我正在试用雪花的模式函数,我想知道雪花infer_schema函数是否从S3中的最新拼花文件中获取元数据?
发布于 2022-08-30 18:40:08
图式函数支持FILES参数:
INFER_SCHEMA( LOCATION => '{ internalStage TRUE }‘,FILE_FORMAT => '’,文件=> '‘,,IGNORE_CASE => TRUE FALSE ) 选项: 文件=> '‘, 指定包含半结构化数据的一组分阶段文件中的一个或多个文件的列表(用逗号分隔)。这些文件必须已经放置在命令中指定的雪花内部位置或外部位置。如果找不到任何指定的文件,查询将被中止。
使用列表可以找到最新文件的文件名。
返回在下列雪花阶段之一中已执行的文件列表(即从本地文件系统上载或从表卸载):
伪码:
LIST @mystage/path1;
SET file_name = (SELECT s."name"
FROM TABLE(RESULT_SCAN(LAST_QUERY_ID())) s
WHERE s."last_modified"
LIMIT 1);
SELECT *
FROM TABLE(INFER_SCHEMA(LOCATION => @mystage/path1,
FILES => $file_name)
);https://stackoverflow.com/questions/73073832
复制相似问题