首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >循环遍历数据文件列表,并将值附加到不同的数据

问循环遍历数据文件列表,并将值附加到不同的数据
EN

Stack Overflow用户
提问于 2022-09-30 16:39:34
回答 3查看 68关注 0票数 1

我有一个文件列表和一个Dataframes列表,我想使用1 "for“循环打开列表的第一个文件,提取一些数据并将其写入第一个Dataframe,然后打开第二个文件,执行相同的操作并将其写入第二个dataframe,等等:

代码语言:javascript
复制
import pandas as pd
filename1 = 'file1.txt'
filename2 = 'file2.txt'

filenames = [filename1, filename2]

columns = ['a', 'b', 'c']

df1 = pd.DataFrame(columns = columns)
df2 = pd.DataFrame(columns = columns)

dfs = [df1, df2]

for name, df in zip(filenames, dfs):
    info = open(name, 'r')
    # go through the file, find some values
    df = df.append({'''dictionary with found values'''})

但是,当我运行代码时,没有将数据写入我在一开始创建的df1和df2中,这些数据仍然是空的,并且在变量列表中出现了一个名为df的新数据,其中存储了我的数据,而且似乎在循环的每次执行时都会重写.我如何用最简单的方法解决这个问题?主要目标是在文件列表的循环结束时,有几个不同的数据文件,每个对应于一个不同的文件。因此,我并不关心何时以及如何创建数据文件,我只想在打开新文件时用值填充新的dataframe。

EN

回答 3

Stack Overflow用户

发布于 2022-09-30 17:04:20

每次循环dfs时,df实际上都是DataFrame对象的副本,而不是您创建的实际对象。因此,当您将一个新的DataFrame赋值给df时,结果被赋值给一个新的变量。重新编写代码如下:

代码语言:javascript
复制
dfs = []

for name in filenames:
    with open(name, 'r') as info:
        dfs.append(pd.read_csv(info))
票数 0
EN

Stack Overflow用户

发布于 2022-09-30 17:11:29

其原因是Python不知道您正在尝试重新分配变量名"df1“和"df2”。声明"dfs“的列表只是一个包含两个空数据文件的列表。在创建之后,您永远不会更改该列表,因此它仍然是一个由两个空数据组成的列表,它们恰好被单独引用为"df1“和"df2”。

我不知道您是如何从文件中构建DF的,所以我只想假设您有一个名为make_df_from_file(filename)的函数,它可以处理CSV、dict等的open()和解析。

如果您想拥有一个数据文件列表,那么最简单的方法是一次声明一个列表并添加它们,而不是尝试为每个DF指定一个单独的名称:

代码语言:javascript
复制
df_list = []

for name in filenames:
   df_list.append(make_df_from_file(name))

如果您想更快地了解它,可以使用列表理解,它将前面的脚本组合成一行:

代码语言:javascript
复制
df_list = [make_df_from_file(name) for name in filenames]

要在该列表中引用单个数据,只需按索引提取它们,就像其他列表一样:

代码语言:javascript
复制
df1 = df_list[0]
df2 = df_list[1]
...

但这往往是更多的麻烦,这是值得的。

如果您想将所有的DFs合并成一个,pandas.concat()是您的朋友:

代码语言:javascript
复制
from pandas import concat
dfs = concat(df_list)

或者,如果您不关心df_list,而不是作为一个中间步骤:

代码语言:javascript
复制
from pandas import concat
dfs = concat([make_df_from_file(name) for name in filenames])

如果您绝对需要为所有的数据文件分别命名,那么您可以使用它来获得超链接。(说真的,你通常不应该这样做,但这既有趣又可怕。请参阅this link,以获得更多类似的糟糕想法。)

代码语言:javascript
复制
for n, d in enumerate(dfs):
    locals()[f'df{n+1}'] = d
票数 0
EN

Stack Overflow用户

发布于 2022-09-30 17:15:48

如果文本文件是字典,或者可以在读取后转换为带有键的字典: a、b和c;就像您创建的dataframes列(a、b、c)一样。然后他们就可以这样分配了

代码语言:javascript
复制
import pandas as pd
filename1 = 'file1.txt'
filename2 = 'file2.txt'

filenames = [filename1, filename2]

columns = ['a', 'b', 'c']

df1 = pd.DataFrame(columns = columns)
df2 = pd.DataFrame(columns = columns)

dfs = [df1, df2]

for name, df in zip(filenames, dfs):
    with open(name, 'r') as info:
        for key in info.keys():
           df[key] = info[key]
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73911696

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档