为机器学习准备CSV中的数据集？

Question

我有一个由CSV文件(天气数据)组成的数据集。我的问题是在使用dataset进行机器学习之前清除错误的值或空值。现在，我必须使用Excel (和一些内置函数)从外部CSV手工复制数据。我的目标是替换数据和合并CSV文件。

要自动化这个过程，是否必须编写一个操作CSV的脚本，或者这样的软件是否已经存在？

我尝试了Apache，但之后我需要将CSV转换为数据库，对数据库执行SQL操作，然后再次转换回CSV .我想这不是最好的解决办法。

Answer 1

    import csv

    with open(csvFilePath, 'rt') as csvFile:
        rows = (line for line in csv.reader(csvFile, dialect='excel'))
        for row in rows:
           *** do your cleaning here ***               
           *** rows is a list of strings ***

够了吗，还是你还需要更多？

可能有一个现有的应用程序可以帮助您，但是它不太可能做您想做的事情，并且编写这个应用程序是非常微不足道的(并留给读者练习;-)