首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >迭代API调用并写入csv

问迭代API调用并写入csv
EN

Stack Overflow用户
提问于 2017-09-05 07:25:14
回答 1查看 513关注 0票数 1

我有一个dataframe (df),包含700 k个歌曲和艺术家的名字,我使用这个列表从LyricWikia检索歌词。不过,我一次只能要5000首歌。

我想要多次运行一个以5000次为上限的查询,并将结果输出到一个或多个csvs。

我现在有一段代码可以下载,直到达到5000的上限。我希望它在5000之前停止,并重新运行代码并将其附加到现有的csv (或dataframe)中。基本上是一个for循环,它再次跳过带有艺术家和歌曲名称的dataframe。

代码语言:javascript
复制
with open('lyrics-4.csv', 'w') as csv_file:
    writer = csv.writer(csv_file)
    for i, row in enumerate(df.itertuples(), 1): 
        lyrics = []
        artist = row[2]
        song = row[3]
        try:
            lyrics = lyricwikia.get_lyrics(artist, song)
        except:
            pass
        writer.writerow([artist,song,lyrics])
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-09-05 07:53:11

为什么不使用一个for循环来分割成5000块,只使用熊猫直接写到csv呢?

代码语言:javascript
复制
for i in range(N):
    # api call to acquire 5000 songs to dataframe called df here
    df['lyrics'] = lyricwikia.get_lyrics(df['artist'], df['song'])
    df.to_csv('lyrics'+str(i)+'.csv')

或者,如果您想要附加到同一个csv文件:

代码语言:javascript
复制
for i in range(N):
    # api call to acquire 5000 songs to dataframe called df here
    df['lyrics'] = lyricwikia.get_lyrics(df['artist'], df['song'])
    df.to_csv('lyrics.csv', mode='a')

编辑:

代码语言:javascript
复制
for i in range(0, len(df), 5000):    
    df_chunk = df[i : i+5000]
    df_chunk['lyrics'] = lyricwikia.get_lyrics(df_chunk['artist'], df_chunk['song'])
    df_chunk.to_csv('lyrics.csv', mode='a')
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46049211

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档