我有一个dataframe (df),包含700 k个歌曲和艺术家的名字,我使用这个列表从LyricWikia检索歌词。不过,我一次只能要5000首歌。
我想要多次运行一个以5000次为上限的查询,并将结果输出到一个或多个csvs。
我现在有一段代码可以下载,直到达到5000的上限。我希望它在5000之前停止,并重新运行代码并将其附加到现有的csv (或dataframe)中。基本上是一个for循环,它再次跳过带有艺术家和歌曲名称的dataframe。
with open('lyrics-4.csv', 'w') as csv_file:
writer = csv.writer(csv_file)
for i, row in enumerate(df.itertuples(), 1):
lyrics = []
artist = row[2]
song = row[3]
try:
lyrics = lyricwikia.get_lyrics(artist, song)
except:
pass
writer.writerow([artist,song,lyrics])发布于 2017-09-05 07:53:11
为什么不使用一个for循环来分割成5000块,只使用熊猫直接写到csv呢?
for i in range(N):
# api call to acquire 5000 songs to dataframe called df here
df['lyrics'] = lyricwikia.get_lyrics(df['artist'], df['song'])
df.to_csv('lyrics'+str(i)+'.csv')或者,如果您想要附加到同一个csv文件:
for i in range(N):
# api call to acquire 5000 songs to dataframe called df here
df['lyrics'] = lyricwikia.get_lyrics(df['artist'], df['song'])
df.to_csv('lyrics.csv', mode='a')编辑:
for i in range(0, len(df), 5000):
df_chunk = df[i : i+5000]
df_chunk['lyrics'] = lyricwikia.get_lyrics(df_chunk['artist'], df_chunk['song'])
df_chunk.to_csv('lyrics.csv', mode='a')https://stackoverflow.com/questions/46049211
复制相似问题