如何根据数据集确定所需的处理能力？

Question

为了训练机器学习模型，计算机通常需要更多的处理能力。在这种情况下，需要强大的CPU，因为它是一个大数据集，它需要更多的内存，所以GPU不是CPU，而是解决方案。

在继续之前，我们需要决定使用哪一个处理器吗？例如，30000样本数据集是否需要如此大的处理能力？

提前谢谢。

如果问题的任何部分不清楚，请评论。

Answer 1

数据集(样本数、特征数)是一个变量。Algo/模型的复杂性是另一种。

例如，与4层神经网络相比，线性回归要快得多(并且需要更小的计算能力)。

因此，在决定对计算能力的需求之前，您可以：

1. 使用您已经拥有的硬件(或AWS实例)尝试几个模型
2. 根据性能和瓶颈估计需要更好的硬件(CPU / GPU)

对于非常大的数据集(例如10 TB+)，I/O可能成为瓶颈。