在导出时避免重复的数据？

Question

我编写了一个Python程序，用于从Server获取数据以实现自动化。它每隔n段时间运行一次。问题是，无论何时运行，它都会从表中获取所有数据。但是，我只想获取最新的记录，这些记录在上次运行python脚本后插入到数据库中。

例如:数据库中有10条记录，python脚本运行并获取所有10条记录。然后再向数据库中添加5条记录，在第二次运行Python脚本时，它应该只获取这5条记录？

另一个条件是不修改将列添加到该表。

Answer 1

如果表中有标识字段，则实现所描述内容的最简单方法是有一个单独的表，该表保存在数据提取过程中检索到的最新Id。

然后，您只需更改提取数据的过程，以便它只提取在此单独表中保存的最新Id之后的行，并使用您刚刚提取的数据的最大Id来更新它。

无论如何，这不是最干净的方法，但它确实实现了您所要求的，同时保持了不更改现有表的条件。