我一直在从事一个SAS ETL项目,在这个项目中,我们首先在每个月开始时从Teradata仓库提取上个月的数据,然后再进一步处理。
这是通过为每个表提取脚本来完成的,然后将数据存储到一个每月的文件夹结构(yyyymm)中。在以这种方式工作了几个月之后,我们现在已经开始收到每日、每周等产品摘要的要求。当前的数据存储文件夹结构是:
库/数据/YYYYMM文件夹在一个库中。
我必须改变结构(对当前结构的影响最小),以适应不同的时间框架请求,如每日,每周,每两周,季刊等。
我想到了两个选项:在当前结构(每月文件夹)中,添加
文件夹。
选项2:在下创建文件夹,如
每个文件夹下都有当前日期/月/季度的单独文件夹。
有人能提出其他更实用的设计方法吗?
发布于 2017-08-09 15:13:50
也许SAS生成数据集是一种选择:http://support.sas.com/documentation/cdl/en/lrcon/62955/HTML/default/viewer.htm#a000934566.htm
这里是SAS的摘录:
生成数据集是作为生成组的一部分存储的SAS数据集的存档版本。每次替换文件时都会创建生成数据集。生成组中的每个生成数据集具有相同的根成员名,但每个生成数据集都有不同的版本号。生成数据集的最新版本称为基本版本。
https://stackoverflow.com/questions/45580819
复制相似问题