首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >好看到弹幕全是“二刷”?Python爬取腾讯视频1.1W弹幕,做词云分析

好看到弹幕全是“二刷”?Python爬取腾讯视频1.1W弹幕,做词云分析

作者头像
松鼠爱吃饼干
发布于 2022-03-30 20:37:35
发布于 2022-03-30 20:37:35
1.5K0
举报
文章被收录于专栏:Python分享Python分享

前言

最近难得有一部剧能在其中保持着热度——檀健次和金世佳主演的单元探案剧《猎罪图鉴》。 该剧于2022年3月6日在首播 《猎罪图鉴》以悬疑题材独辟蹊径,成为这个初春的一匹黑马,该剧豆瓣14W人评分,目前为7.0分 今天就来采集一下它的弹幕数据

环境介绍

python 3.8 pycharm requests >>> pip install requests pyecharts >>> pip install pyecharts

视频弹幕采集

请求数据

代码语言:javascript
复制
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36'
}
for page in range(15, 1500, 30):
    url = f'https://mfm.video.qq.com/danmu?otype=json&target_id=7712618480%26vid%3Dg00423lkmas&session_key=0%2C0%2C0&timestamp={page}&_=1647931110703'

    response = requests.get(url=url, headers=headers)

获取数据 从一个字符串 变成了一个 字典 (容器)

代码语言:javascript
复制
json_data = response.json()

解析数据

代码语言:javascript
复制
for comment in json_data['comments']:
    commentid = comment['commentid']
    opername = comment['opername']
    content = comment['content']

保存数据

代码语言:javascript
复制
with open('弹幕.csv', encoding='utf-8-sig', mode='a', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow([commentid, opername, content])

运行代码,得到1W多条弹幕数据

词云可视化

导入数据

代码语言:javascript
复制
wordlist = []
data = pd.read_csv('data.csv')['content']
data

词云图

代码语言:javascript
复制
a = [list(z) for z in zip(word, count)]
c = (
    WordCloud()
    .add('', a, word_size_range=[10, 50], shape='circle')
    .set_global_opts(title_opts=opts.TitleOpts(title="词云图"))
)
c.render_notebook()
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-03-24,如有侵权请联系 cloudcommunity@tencent.com 删除
目录
  • 前言
    • 环境介绍
  • 视频弹幕采集
    • 请求数据
    • 获取数据 从一个字符串 变成了一个 字典 (容器)
    • 解析数据
    • 保存数据
    • 运行代码,得到1W多条弹幕数据
  • 词云可视化
    • 导入数据
    • 词云图
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档