成对读取多个CSV文件，每对比较

Question

我有一个包含多个CSV文件的文件夹，名为这个CINinfo_2019-08-08_rev1，CINinfo_2019-08-08_rev2，CINinfo_2019-08-08_rev3，CINinfo_2019-08-08_rev4 4，我在一个文件夹中有大约70个文件，我打算将这个过程自动化，这样我就可以自动地两对读取它们，然后比较每对的差异，并将结果作为一个合并表。目前，我正在手动阅读它们并比较它们之间的差异，这是代码：

import pandas as pd
df1 = pd.read_csv("CINinfo_2019-08-08_rev1.csv")
df2 = pd.read_csv("CINinfo_2019-08-08_rev2.csv")

import numpy as np
rows,cols=np.where(comparison_values==False)

for item in zip(rows,cols):
    df1.iloc[item[0], item[1]] = '{} --> {}'.format(df1.iloc[item[0], item[1]],df2.iloc[item[0], item[1]])

这个过程是如此乏味，以至于我有需要阅读的带有CSV文件的其他文件夹。备注如何命名CSV文件，所有CSV文件都有相同的前缀(_CINinfo_2019-08_08_)，但在本例中，后缀名称(_rev)的增量数字为1到70。我需要这样读成对文件的方式是格式1和2，2和3，3和4正在进行。在这种情况下，我比较像这样的对，CINinfo_2019-08-08_rev1和CINinfo_2019-08-08_rev2，然后CINinfo_2019-08_Rev2和CINinfo_2019-08-08_rev3是这样的，我怎样才能自动地对这些文件进行成对的读取，然后比较它们之间的差异，并有一个表呢？

Answer 1

你可以试试这样的方法：

import os, re
import pandas as pd
import numpy as np

# your directory path here
path = r'path'

# get all files 
file_, pat = [], re.compile('.csv')
for root, dirs, files in os.walk(path):
    file_ = [os.path.join(root, f) for f in files if pat.search(f)]

# you may want to filter here, this line is just an example
# filter for all csv files containing 'rev'
file_ = [f for f in file_ if 'rev' in f]

# loop through the files of interest
for (idx, ff) in enumerate(file_[1:]):
    df1 = pd.read_csv(ff)
    df2 = pd.read_csv(file_[idx])

    rows, cols = np.where(comparison_values==False)
    for item in zip(rows,cols):
        # do calculation 

这个答案并不全是包容性的，但希望能给你一个可能的方法。您可能需要调整筛选，或者可能进行排序。我还没有演示如何将结果添加到最终表中，但最好的方法是创建一个DataFrame temp，并将文件对的值分配给它，然后使用pd.concat向包含所有结果的最终DataFrame添加。