functions :如何从运行在附加“新”数据的数据链接上的数据函数中筛选“旧”数据

Question

我的情况就是这样。我有一个数据链接，它不断地将新的快照数据附加到表中，并且在新快照到达时，它运行一个R数据函数(script)，它使用附加到输出表的结果进行一些计算。R计算非常昂贵，输入数据也很大，更重要的是快照是相互独立的，因此不需要每次新快照到达时都重新处理以前接收到的快照。

我不能创建一个将自己的结果作为输入的数据函数(即对以前处理过的日期进行筛选)，我的另一个想法也会抛出循环依赖项(创建第二个数据函数来生成包含先前处理日期的第二个表)。

有没有人经历过这个问题，你能给我一些关于安全解决问题的建议吗？我对聚光灯(一般都是冲浪板)很陌生。

Answer 1

我也遇到过同样的情况--我走了几步就搞定了：

• 为数据处理增加了一种新的过滤方案
• 在输出表中添加一个计算列，它只是"X"，这样我就可以过滤掉ie。过滤掉整个输出表
• 在键列上添加了输入表和输出之间的关系，该列排除了任何筛选出的列。
• 在我的数据函数输入参数中，选择了对输入数据进行过滤的数据处理过滤方案。这意味着每次我的函数运行时，它都只运行未处理的数据。

我是当前追加的数据，以便它添加的更新，而不是替代。当我每天打开文件并保存它的时候，这是很好的，但是它没有在web播放器中使用预定的更新--它没有每次添加数据函数，添加行操作--仍然在寻找一种绕开的方法.铁巨蟒脚本可能就能做到这一点。