电厂数据的数据压缩技术

Question

我最近在自学数据管理。在阅读了一段时间后，我仍然没有完全了解数据是如何从数据采集流向数据库或仓库的。

在电厂，我安装了1000个传感器，所以我想知道在数据存储到数据库之前发生了什么。例如，来自传感器的数据以1 1Hz的频率采样，那么对于如此大量的数据，我们需要进行数据压缩，然后将其发送到数据库I guess...So。我想知道这些都是如何完成的，特别是在数据压缩方面，如果数据是带时间戳的数字值，什么样的数据压缩技术可以在大数据概念中被used...and，数据是如何压缩的。

Answer 1

OSIsoft PI执行此操作的方法是检查收集的点与前一点的偏差程度。如果它是一个很小的量，那么这个点就会被“丢弃”，所以只会存储有意义的数据。当您请求一个值时，其中不存在任何数据。PI对其进行插值。

Answer 2

数据可以通过多种方式进行压缩，从拉链到完全自定义的解决方案。事实上，对于Power Plant数据，因为您正在查看的一个较大的系统是PI from OSISOFT。我曾经在一家公司工作，该公司将它们用于8个发电站。他们有一个完全定制的数据库系统，在那里他们存储所有的测量结果。它显然是经过优化的，因此来自传感器的频繁读数占用的空间很小，而遗漏的读数不会增加占用的空间。我不知道他们是怎么做的--我想这是专有的，他们不会告诉别人的。

但是，数据如何从传感器流向数据库可能很复杂。浏览一下Osisoft站点--他们有一些可用的数据。