绘制海量数据图表

Question

我们目前正在使用ZedGraph来绘制一些数据的折线图。输入数据来自任意大小的文件，因此，我们事先不知道数据点的最大数量。但是，通过打开文件并读取头文件，我们可以找出文件中有多少个数据点。

文件格式本质上是时间(双精度)、值(双精度)。但是，这些条目在时间轴上并不统一。在t=0秒和t= 10秒之间可能没有任何点，但在t= 10秒和t= 11秒之间可能有100K个条目，以此类推。

例如，我们的测试数据集文件大约2.6 GB，它有324M个点。我们希望向用户显示整个图表，并让她在图表中导航。然而，将324M点加载到ZedGraph不仅是不可能的(我们在32位机器上)，而且也没有用，因为在屏幕上有这么多点是没有意义的。

使用ZedGraph的FilteredPointList特性似乎也是不成问题的，因为这需要首先加载整个数据，然后对该数据执行过滤。

因此，除非我们遗漏了什么，否则似乎我们唯一的解决方案就是--以某种方式--抽取数据，然而，当我们继续研究它时，我们遇到了很多问题：

1-我们如何抽取没有及时均匀到达的数据？

2-由于整个数据不能加载到内存中，任何算法都需要在磁盘上工作，因此需要仔细设计。

3-我们如何处理放大和缩小，特别是当数据在x轴上不均匀时。

如果数据是均匀的，在最初加载图形时，我们可以通过文件中预定义数量的条目进行Seek()，并每隔N个样本选择一次，并将其提供给ZedGraph。然而，由于数据不是统一的，我们在选择要显示的样本时必须更加智能，并且我们无法提出任何智能算法，而不必读取整个文件。

我很抱歉，因为这个问题没有明确的细节，但我希望我能解释我们问题的性质和范围。

我们使用的是Windows32位.NET 4.0。

Answer 1

我以前就需要这样做，但做起来并不容易。由于这一需求，我最终编写了自己的图形组件。最后结果更好，因为我添加了我们需要的所有功能。

基本上，您需要获取数据的范围(最小和最大可能/需要的索引值)，将其细分为多个片段(假设100个片段)，然后通过某种算法(平均值、中值等)确定每个片段的值。然后根据汇总的100个元素进行绘图。这比尝试绘制数百万个点要快得多:-)。

所以我说的和你说的差不多。您提到不希望绘制每个X元素，因为元素之间可能有很长一段时间(x轴上的索引值)。我要说的是，对于数据的每个细分，确定什么是最好的值，并将其作为数据点。我的方法是基于索引值的，所以在你的0秒和10秒索引值之间没有数据的例子中，我仍然会把数据点放在那里，它们之间只会有相同的值。重点是在绘制之前对数据进行汇总。仔细考虑你的算法，有很多方法可以做到这一点，选择一个适合你的应用程序的方法。您可以不编写自己的图形组件，而只编写数据汇总算法。

Answer 2

我将通过两个步骤来解决这个问题：

1. Pre-processing data
2. Displaying data

步骤1应将文件预处理为二进制固定格式的文件。将索引添加到格式中，它将是int、double、double。有关速度比较，请参阅本文：

http://www.codeproject.com/KB/files/fastbinaryfileinput.aspx

然后，您可以将文件拆分成时间间隔，例如每小时或每天一个，这将为您提供一种简单的方式来表示访问不同的时间间隔。你也可以只保留一个大文件，并有一个索引文件，告诉你在哪里可以找到特定的时间，

2011年01月27日8:30:00

13456,2011-01-27 9:30:00

通过使用这些方法中的一种，您将能够通过索引或文件名按时间或按条目数量(由于固定字节格式)快速找到任何数据块。

步骤2显示数据的方法1.按索引显示每条记录。2.规范化数据并创建具有开放、高、低、关闭值的聚合数据条。a.按时间b.按记录计数c.按值之间的差异

对于聚合非统一数据集的更多可能方法，您可能希望查看用于聚合金融市场中的交易数据的不同方法。当然，为了提高实时渲染的速度，您可能希望创建已聚合此数据的文件。

Answer 3

1-我们如何抽取未及时均匀到达的数据？

(注释-我假设您的加载器数据文件是文本格式的。)

在一个类似的项目中，我必须读取超过5 5GB的数据文件。我可以解析它的唯一方法是将它读入RDBMS表中。我们之所以选择MySQL，是因为它使得将文本文件导入数据表变得非常简单。(有趣的是，我使用的是32位的Windows机，无法打开要查看的文本文件，但是MySQL读取它没有问题。)另一个好处是MySQL是尖叫，尖叫快速。

一旦数据进入数据库，我们就可以轻松地对其进行排序，并将大量数据量化为单独的转述查询(使用内置的SQL汇总函数，如SUM)。MySQL甚至可以将其查询结果读出到文本文件中，以用作加载器数据。

长话短说，消耗如此多的数据要求使用可以汇总数据的工具。MySQL符合要求(双关语)，它是免费的。