有没有比通过数组更有效地处理大量数据的方法？

Question

在这里，我正在用Python编写一个物理测量数据采集和分析软件。在这个过程中，我收集了大量的数据点(很容易达到1.000.000或更多)，随后我将对其进行分析。到目前为止，我使用的是浮点数的数组，原则上可以做到这一点。然而，当我在每次测量中使用越来越多的数据点时，我对获取的数据产生了奇怪的影响，这让我怀疑数组的处理是否如此低效，以至于写入它们会在数据获取循环中造成显著的时间延迟。

这有可能吗？你有任何关于如何改善写作过程中的处理时间的建议(这是微秒的问题)，或者这不是一个可能的影响，我需要看看其他地方？

提前感谢！

Answer 1

你是说列表吗？您可以使用NumPy高效地处理数字数组。

从NumyPy网站：

首先，它们非常适合于在很大程度上依赖于数学和数值运算进行计算。它们可以自然地处理矩阵和数组，对它们执行运算，寻找特征向量，计算积分，求解微分方程。

NumPy的数组类(用于实现矩阵类)在实现时考虑到了速度，因此访问NumPy数组比访问Python列表更快。此外，NumPy实现了一种数组语言，因此不需要大多数循环。