有趣的股票报价数据场景

Question

好吧，这个问题今天一直困扰着我。

问题是:我目前通过多播以极高的速度接收股票滴答数据。我已经分析了这些数据，并正在以以下形式接收它。

-StockID: Int-64

-TimeStamp:来自时代的微秒

-Price: Int

-Quantity: Int

每秒钟都会解析数百个这样的数据包。我试图通过将这些数据打包到由stockID (key == stockID)散列的字典/哈希表(value ==数组的时间戳、价格、数量元素)中来减少存储端的计算。

我还希望每个字典在5分钟间隔内表示时间戳。当传入数据的时间戳超过5分钟时间间隔时，我希望这个新数据进入一个表示下一个时间间隔的新字典。此外，一个特殊的键将在键1上进行散列，以说明该词典属于哪一特定的5分钟间隔(因此，如果您在12:32am收到某项信息，它应该在键1处的值为7的字典中进行散列，因为这表示特定一天12:30到12:35之间的时间间隔)。一旦时间流逝，时间过期的dict就可以发送到dataWrapper。

现在，你可能会想出一些想法。但这是一个很大的限制。在中出现的时间戳不一定严格增加；但是，如果在间隔结束后等待大约10秒，那么可以安全地假定传入的每个数据都属于当前间隔。

我之所以做所有这些复杂的事情，是为了减少应用程序存储端的计算。使用上面的设置，我的存储端线程可以简单地遍历字典中的所有键、值对，并将它们存储在存储系统上的相同位置，而不必重新打开文件、重新分配组或更改目录。

祝好运!我将非常感谢你的任何回答。:)

如果您可以在python中给我发送一些东西(这就是我正在做的项目)，我会更好地理解Java、C++、Ruby或PHP。

摘要

我正试图将库存数据放入代表每本词典5分钟间隔的字典中。数据附带的时间戳决定了应该放入哪个特定的字典。这可能比较容易，除非时间戳进来时并没有严格增加，因此，在经过时间戳5分钟后，字典就不能立即发送到datawrapper，因为不能保证在10秒内不接收更多的数据，然后再将其发送到包装器。

我只想要任何的想法，算法，或部分实现，可以帮助我调度这一点。如何在时间戳(用于数据)和实际时间(10秒缓冲区)内切换字典的当前使用。

澄清编辑

5分钟窗口应该是数据驱动的(基于时间戳)，但是10秒超时似乎是时钟时间。

Answer 1

也许我错过了什么..。

它显示您希望将数据保存在5分钟的桶中，但是您不能确定在一个桶滚完之后，所有的数据都有10秒的时间。

这意味着，对于每个仪器，您需要保留当前的桶和前一个桶。当它超过5分钟的边界时，您可以发布/写出旧桶。