- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户6291251的专栏
MediaCrawler，轻松爬取抖音小红书评论数据！
可以实现小红书爬虫，抖音爬虫， 快手爬虫， B站爬虫， 微博爬虫。 目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。 支持redis、mysql、sqlite3。 整个项目代码开源，项目代码结构如下。 一些常见的问题，大家可以看看。 环境搭建好以后，就可以执行代码啦~ # 从配置文件中读取关键词搜索相关的帖子并爬去帖子信息与评论 python main.py --platform xhs --lt qrcode --type search 这里以小红书作为例子，来实验一下。 命令行运行代码，结果如下。 成功保存了csv数据，包含帖子及评论信息。 下一步就是对数据进行分析处理了，大家可以自行去学习使用。 爬取这些平台（小红书、抖音、快手、B站、微博）的笔记、视频评论和帖子评论可以为多个领域创造价值。
8K32编辑于 2024-04-15 - 来自专栏小白实例
python爬虫Scrapy框架爬取小红书图片频道
ImgSpider(scrapy.Spider): name = 'img' allowed_domains = ['xiaohongshu.com']在`start_requests`方法中构造初始请求,爬取小红书的图片频道 channel_id=homefeed.fashion_v3' yield Request(url=start_url, callback=self.parse)解析函数`parse`里面提取图片链接并递归爬取 img_data)并在settings.py中启用:pythonITEM_PIPELINES = { 'xiaohongshu.pipelines.ImgPipeline': 300,}最后我们运行爬虫,它将递归爬取小红书中的图片 :scrapy crawl imgScrapy会按照我们定义的逻辑,先爬取首页,提取图片链接,然后发送图片链接请求,获取图片数据后保存。 循环往复直到爬取完指定范围内的页面。
1.6K00编辑于 2023-07-09 - 来自专栏小徐学爬虫
Python爬虫实战：用简单四步爬取小红书图片
小红书是一个热门的社交分享平台，汇聚了大量精美的图片。如果您希望保存或使用这些图片，本文将为您详细介绍如何使用Python爬虫轻松爬取小红书图片。 您可以使用以下命令安装这些库： pip install requests 二、分析小红书图片的URL 在开始爬取小红书的图片之前，我们需要找到图片的URL。 三、编写爬取小红书图片的代码 以下是一个示例代码，演示如何使用Python爬虫来爬取小红书的图片： import requests import os # 图片URL image_url = 'https 四、运行代码，爬取小红书图片 将替换了URL的代码保存为Python脚本，运行代码后，您将在目录中找到保存的小红书图片。 根据自己的需要，您可以爬取更多精美的小红书图片，并在合法合规的前提下使用这些图片。请务必遵守相关法律规定和小红书的使用规定。
2.5K30编辑于 2023-09-25 - 来自专栏cs
淘宝评论的爬取
image.png 通过firefox浏览器，终于找到了评论的url，如下。 ? image.png 评论的url 这几个url在html源代码中可以找到。 "auctionPic": "//img.alicdn.com/bao/uploaded/null_40x40.jpg", "sku": "套餐:单独主板 树莓派:3B true, "serviceRate": null, "useful": 0, "user": { "nick": "l***3" spm=a230r.1.14.20.6e20434b4CzHZ3&id=556129616183&ns=1&abbucket=9#detail" html=get_html(url0) image.png 参考文章如下 Python爬虫 获得淘宝商品评论 Python爬取淘宝商品详情页数据 通过Python抓取天猫评论数据 Python xlrd、xlwt 用法说明
2.2K30发布于 2018-09-30 - 来自专栏萝卜大杂烩
爬取豆瓣海王评论
“ 最近海王大火，今天就来看看豆瓣上对于海王这个大片的评论吧” Just Do It By Yourself 01.分析页面 豆瓣的评论区如下 可以看到这里需要进行翻页处理，通过观察发现，评论的URL 02.分别获取评论 豆瓣的评论是分为三个等级的，这里分别获取，方便后面的继续分析 其实可以看到，这里的三段区别主要在请求URL那里，分别对应豆瓣的好评，一般和差评。 效果 好评 一般 差评 感觉爬取豆瓣还是比较简单的，毕竟并没有设置什么反爬手段，小伙伴们也可以一起动手试试
72320发布于 2019-07-17 - 来自专栏二爷记
Python 3 批量爬取小红书话题笔记并下载高清无水印图片源码爬虫！
小红书现在已经成为营销胜地，对于笔记，尤其是爆款笔记的研究和搜集整理，应该是不少人在做的事情。 前面本渣渣分享了小红书单篇笔记的下载，这篇为大家分享批量下载小红书笔记的方法，这里取了巧，下载话题的小红书笔记，同样也能实现批量下载同一话题下的多篇小红书笔记内容。 Python爬虫，小红书单篇笔记采集爬虫源码工具 以下简单整理下抓包分析及部分参数分享： 重要的参数分析及要点都附上图了，仅供参考学习！ # -*- coding: utf-8 -*- #小红书话题数据采集 # author:微信 huguo00289 #https://www.xiaohongshu.com/page/topics/5bfd5dcb0af6350001652788 true&naviHidden=yes&xhsshare=CopyLink import requests url="https://www.xiaohongshu.com/web_api/sns/v3/
4.2K10编辑于 2023-11-27 - 来自专栏二爷记
Python 3 批量爬取小红书话题笔记并下载高清无水印图片源码爬虫！
小红书现在已经成为营销胜地，对于笔记，尤其是爆款笔记的研究和搜集整理，应该是不少人在做的事情。 前面本渣渣分享了小红书单篇笔记的下载，这篇为大家分享批量下载小红书笔记的方法，这里取了巧，下载话题的小红书笔记，同样也能实现批量下载同一话题下的多篇小红书笔记内容。 Python爬虫，小红书单篇笔记采集爬虫源码工具 以下简单整理下抓包分析及部分参数分享： 重要的参数分析及要点都附上图了，仅供参考学习！ # -*- coding: utf-8 -*- #小红书话题数据采集 # author:微信 huguo00289 #https://www.xiaohongshu.com/page/topics/5bfd5dcb0af6350001652788 true&naviHidden=yes&xhsshare=CopyLink import requests url="https://www.xiaohongshu.com/web_api/sns/v3/
1.1K10编辑于 2023-11-27 - 来自专栏数据魔术师
如何爬取微博评论
数据爬取 是的，今天，我们就来爬一下微博的评论，前面已经给大家介绍了很多经典算法，大家对于python基本的内容已经熟悉啦，今天，我们就简单的来学习一下如何爬数据。 Tip：准备工作 ? 首先，我们需要找到一个待爬取的微博，微博主要是三种界面，分别是网页版、手机端和移动端，我们选取最简单的移动端来练手。 接下来，就开始我们的爬虫了，我们就选取前几天大热的范冰冰的博客吧。 我们的工作是对评论进行爬取，点击“下一页”，可见评论页数高达28514页，看来大家对这个话题的关注度真的很高诶~~我们可以看到评论的链接为： https://weibo.cn/comment/HASs7tfjN uid=3952070245&rl=0&page=3 网址最后的数字代表了页数，这也就为我们的评论爬取提供了基础！ Tip：爬取算法 ? 算法介绍：Requests算法 1. 总结 这次我们只介绍了爬取新浪微博移动端的评论数据（因为这个比较简单....）大家可以用这个方法试着爬取网页端或者手机端的数据哦~我们下期再见！
2.3K40发布于 2019-07-10 - 来自专栏数据结构笔记
实战：爬取简书之多线程爬取（一）
在上上篇我们编写了一个简单的程序框架来爬取简书的文章信息，10分钟左右爬取了 1万 5千条数据。 现在，让我们先来做一个简单的算术题： 假设简书有活跃用户一千万人（不知道简书有多少活跃用户，我只能往小了算） 平均每人写了 15篇文章，那么一共有一亿五千万篇文章 我们10分钟爬取了 1万 5千篇，凑个整算 ，如果按照前面的脚本来爬要爬整整 52天，那时候黄花菜都凉了呀。 这些数据的时间跨度如此大，如果要做数据分析的进行对比的话就会产生较大的误差。 所以，我们必须得提高爬取速度！！！ 这时候就轮到今天得主角登场了， 噔 噔 噔 蹬------》多线程 一、多线程简介 简单来讲，多线程就相当于你原来开一个窗口爬取，现在开了10个窗口来爬取。 最后，觉得不错的话，记得关注、点赞、评论哦(❤ ω ❤)
1.2K40发布于 2018-09-28 - 来自专栏渗透云笔记
正则之爬取豆瓣评论
首先预热下，爬取豆瓣首页 导入urllib库下的request import urllib.request 使用下urlopen打开网站返回HTML urllib.request.urlopen(" 简单点是用len看字节 >>> len(douban) 105653 爬取豆瓣评论 导入正则模块（re） import re 写了个例子 #豆瓣评论爬取小例子 import urllib.request from=showing 右键源代码 发现评论格式为 就是山西版本的《两杆大烟枪》或者说《疯狂的石头》，将山西风光和特色与影片融合的很好，虽然还是有所瑕疵，也难逃一些俗套烂大街的剧情和段子 所有评论被标签包裹，可以进行抓取，使用懒惰模式进行操作 .*? "." 保存到本地 fh = open("G:\\python\\doubanpinglun.txt","w")#打开文件并新建doubanpinglun.txt open里的路径为本地路径 完整代码如下 #豆瓣评论爬取小例子
76620发布于 2019-07-30 - 来自专栏挖数
网易云音乐评论爬取。
本次通过爬取网易云音乐的评论，即目前热歌榜第一名「出山」的评论。 来看看，在没被指出抄袭时，歌曲的评论画风是如何。 被指出抄袭后，又是怎样的一个画风。 / 01 / 网页分析 网上关于爬取网易云音乐评论的方法，大多数都是讲如何构建参数去破解。 事实上不用那么复杂，直接调用接口就可以。 而且网易云音乐对评论也做了限制，只放出了2万条的评论数据。 其中「28」有异常情况出现，这里我是不清楚的... 3 评论用户的年龄分布 ? ? 歌曲刚发布的时候，男女比例几乎为「1:1」。 在被爆抄袭后，评论里男性明显比女性多。 那么，这能说明什么呢？ 被爆抄袭后的评论，评论数是一直在上升的。 8000多条评论，全部都是在3月11号，时间也都是在「14:00-23:00」。 一路飙升，一点没有下降的意思。 直到现在，评论区还在时时更新。 其中红圈为评论ID，都不一样，说明评论都是唯一的，不重复。 ? 第二位用户，一共25条评论，不过她并没有点赞数多的。 ? 第三位用户，一共24条评论，同样没有点赞数多的评论。
4.8K75发布于 2019-06-20 - 来自专栏前端小菜鸡yym
爬取当当网评论
首先我们想要爬取图书排行榜 我们分析一下网址http://bang.dangdang.com/books/newhotsales/01.00.00.00.00.00-24hours-0-0-1-1 如果换成最近七日就变成了01.00.00.00.00.00-recent7-0-0-1-1 我们可以看到它的分页是20本书，每20本一分页。我们要太多也没有用。如果想爬多页怎么办那？ 我们猜一下第三页是什么样的：http://bang.dangdang.com/books/newhotsales/01.00.00.00.00.00-24hours-0-0-1-3 不说废话了，我们今天只爬一页 return reduce(lambda x,y:int(x)+int(y)/10**len(y),l) 我们接下来爬相关的评论信息： 评论数对应的超链接就是我们想要爬的评论信息的网址： 我想要爬到好评率还有商品评论的标签 但是就是爬不到相应的数据。
1.2K30编辑于 2023-01-12 - 来自专栏测试开发真货
MediaCrawler 提取评论生词云：小红书实例-麦琳评论区
MediaCrawler项目地址：https://github.com/NanmiCoder/MediaCrawler可以实现小红书爬虫，抖音爬虫， 快手爬虫， B站爬虫， 微博爬虫。 目前能抓取小红书、抖音、快手、B站、微博的视频、图片、评论、点赞、转发等信息。 安装依赖库pip install -r requirements.txt安装 playwright浏览器驱动playwright installPlaywright 是由微软开发的用于自动化测试和 Web 爬取的多浏览器 小红书帖子地址运行爬虫python main.py --platform xhs --lt qrcode --type detail--type detail参数表示爬取指定帖子的评论。 本文中的爬虫技术仅限于学习和研究目的，不得用于其他平台的大规模爬取或非法行为。
2K31编辑于 2024-11-12 - 来自专栏Python爬虫
【爬虫实战】用Python采集任意小红书笔记下的评论，爬了10000多条，含二级评论！
一、爬取目标您好！我是马哥python说，一名10年程序猿。我们继续分享Python爬虫的案例，今天爬取小红书上指定笔记（"巴勒斯坦"相关笔记）下的评论数据。 老规矩，先展示结果：截图1：截图2：截图3：共爬取了1w多条"巴勒斯坦"相关评论，每条评论含10个关键字段，包括：笔记链接, 页码, 评论者昵称, 评论者id, 评论者主页链接, 评论时间, 评论IP属地 二、爬虫代码讲解2.1 分析过程任意打开一个小红书笔记的评论，打开浏览器的开发者模式，网络，XHR，找到目标链接的预览数据，如下：由此便得到了前端请求链接，下面开始开发爬虫代码。 经过分析，返回数据中有个节点sub_comment_count代表子评论数量，如果大于0代表该评论有子评论，进而可以从sub_comments节点中爬取二级评论。 完整代码中，还包含转换时间戳、随机等待时长、解析其他字段、保存Dataframe数据、多个笔记同时循环爬取等关键逻辑。三、演示视频代码演示：无感谢阅读，欢迎交流！
17K42编辑于 2024-07-08 - 来自专栏杂七杂八
使用python3爬取网易云音乐的评论
前些日子网易云音乐将精选用户评论搬上了地铁，使网易云音乐又火了一把。因此就想爬取一些歌曲的评论。 分析 通过抓包分析与评论有关的内容在评论相关的请求在http://music.163.com/weapi/v1/resource/comments/R_SO_4_186016? 其中i为长度为16的一个字符串，可以取定值。那么此时c函数生成的encSecKey便为固定值。 参数生成完毕即可访问获取返回的json数据。 github地址 代码如下 #! Content-Type': "application/x-www-form-urlencoded",#text/html;charset=utf8 'Cookie': "JSESSIONID-WYYY=cd1Rl3VE3QCuWrM1F2p5X2uldz7nID ; _iuqxldmzr_=32; _ntes_nnid=d805c50ad0597b9a6f15c3a0724ac9f3,1491227998322; _ntes_nuid=d805c50ad0597b9a6f15c3a0724ac9f3
1.3K50发布于 2018-04-27 - 来自专栏python进阶学习
python爬取热搜评论数据
图片 关于粉丝们的各种评论我想大家肯定都比较感兴趣，这里我们可以使用python爬取微博上有关tvb艺人直播热搜下得各种评论数据。 q=TV 经分析，微博热搜数据就在网页中，可以直接requests请求，然后BeautifulSoup解析获取内容，但是微博一直都有很严的反爬机制，特别是对IP的限制都很严格，所以在爬取过程中我们可以使用 python爬虫+爬虫代理加强版IP+BeautifulSoup来完成数据的爬取，完整代码如下： import java.io.IOException; import org.jsoup.Jsoup;
1K40编辑于 2023-03-08 - 来自专栏Eric杂货铺
随机爬取网易云音乐评论
import requests import json for i in range(0,100,1): r = requests.get('http://api.heerdev.top:49
1K41发布于 2020-09-24 - 来自专栏FSociety
Python爬取猫眼「碟中谍」全部评论
我们将猫眼上碟中谍的全部评论保存下来，用于后期分析～ 总共评论3W条左右。 逻辑梳理 猫眼PC网页只能查看热门评论，只有在手机端页面才能查看全部评论。 _v_=yes&offset=15&startTime=2018-09-02%2013%3A33%3A14 [moqzu7cmar.png] 请求地址中的参数： offset：偏移量 startTime：查询起始时间 还有一个V不知道啥意思，不过没啥影响 [hh3x0hce3j.png] 其实正常来说到这儿就差不多了，按照以往的套路循环传入offset参数就好了，不过当我爬到第 67页的时候，就已经不返回值了，为啥是67，67$\times$15=1005，猫眼应该是控制了每个startTime只能往前取1000条评论，所以只能换个思路，将每页最早一条评论的时间作为startTime nickName:用户昵称 cityName:城市 content:评论内容 score:用户评分 startTime:评论时间，每次取最早的时间传入下次请求 ''' try
65500发布于 2018-09-02 - 来自专栏FSociety
Python爬取猫眼「碟中谍」全部评论
我们将猫眼上碟中谍的全部评论保存下来，用于后期分析～ 总共评论3W条左右。 逻辑梳理 猫眼PC网页只能查看热门评论，只有在手机端页面才能查看全部评论。 _v_=yes&offset=15&startTime=2018-09-02%2013%3A33%3A14 请求地址中的参数： offset：偏移量 startTime：查询起始时间 其实正常来说到这儿就差不多了，按照以往的套路循环传入offset参数就好了，不过当我爬到第67页的时候，就已经不返回值了，为啥是67，67 15=1005，猫眼应该是控制了每个startTime只能往前取1000 条评论，所以只能换个思路，将每页最早一条评论的时间作为startTime传入，offset固定15就好了。 startTime:评论时间，每次取最早的时间传入下次请求 ''' time.sleep(random()) try: response
96830发布于 2018-09-11 - 来自专栏极客猴
爬取网易云音乐精彩评论
评论内容，让人泫然流涕的故事，就是让人深思的段子。 （二） 某天，猴哥突发奇想，想将自己平时喜欢听的歌曲的精彩评论爬取下来。以后就可以直接阅读这些评论，无须打开网页。 说干就干。 点击查看大图 那么爬取思路是：使用 POST 方式携带参数 params 和 encSecKey 向该地址 http://music.163.com/weapi/v1/resource/comments 返回结果中的 Json 数据就是用户评论数据。 （三） 既然思路明确，编写代码就是容易多了。 这里，猴哥使用列表来保存想爬取精彩评论的歌曲。 except UnicodeEncodeError: print("编码错误, 该数据无法写到文件中, 直接忽略该数据") 写到这里，小伙伴们应该了解如何爬取运用 哈哈，最后请允许我贴下爬取结果。 ?
87520发布于 2018-08-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号