正确存储、存档和删除日常数据的TBs - PostgreSQL

Question

我有一个系统，每天创建大量的数据，大约3-4 TB。它每天24小时从多个来源接收数据。我也有这个系统的复制品，如果需要的话，我可以有一些停机时间.

我只需要有最新的24小时的数据可用，其余的我可以压缩和存储在hdds。

你会如何处理这个问题？postgresql是否提供了足够的特性来解决它而不需要外部软件？

Answer 1

您可能希望在日期进行分区，删除前一天的分区。有关如何做到这一点，请参见声明式分区。确保尽可能使用最新版本的PostgreSQL来获得最新的分区特性。

使用分区可以非常快地删除每一天的数据，并避免使用死行使表臃肿。

使用香草Postgres，您需要手动创建和删除每天的分区。您可以预先创建分区。这可以通过定期运行脚本来完成。或者您可以使用像帕特曼这样的工具来管理分区。使用Postgres本机分区和p_type of native，并设置p_interval of daily。