- 综合排序
- 最热优先
- 最新优先
- 来自专栏爬虫逆向案例
012：tkinter+爬虫设计对联软件
今天用Python设计一个小的对联软件！ 其中运用到tkinter模块： tkinter是Python下面向tk的图形界面接口库，可以方便地进行图形界面设计和交互操作编程。 先看下我们的软件效果图： 首先，程序的界面设计还是利用tkinter来进行设计。 通过tkinter的Entry类来输入我们的上联，然后通过button按钮，来启动程序进行设计。 通过绑定的函数实现了爬虫的抓取和对联的保存。 row=1, column=0, sticky=W,pady=10) root.mainloop() 界面设计完成了，而且绑定的函数也已经确定，接下来就是如何利用绑定的函数，来实现我们的后续操作，也就是爬虫抓取和保存
1.1K10发布于 2021-11-22 - 来自专栏超级码力
🦀️ 后羿采集器——最良心的爬虫软件
下面我们就来聊聊，这款软件的优秀之处。 一、产品特点 1.跨平台 后羿采集器是一款桌面应用软件，支持三大操作系统：Linux、Windows 和 Mac，可以直接在官网上免费下载[2]。 市面上有很多的数据采集软件，出于商业化的目的，多多少少会对数据导出进行限制。不清楚套路的人经常用相关软件辛辛苦苦采集了一堆数据，结果发现导出数据需要花钱。 3.XPath/CSS/Regex 无论是什么爬虫软件，他们都是基于一定的规则去抓取数据的。XPath/CSS/Regex 就是几个常见的匹配规则。 定时抓取 定时抓取非常好理解，就是到了某个固定的时间爬虫软件就会自动抓取数据。市面上有一些比价软件，背后就是运行着非常多的定时爬虫，每隔几分钟爬一下价格信息，以达到价格监控的目的。 这时候爬虫软件就会自己维护一个 IP 池，用不同的 IP 发送请求，降低 IP 封锁的概率。 打码功能 这个功能就是内置了验证码识别器，可以实现机器打码 or 手动打码，也是绕过网站风控的一种方法。
6.4K21编辑于 2022-02-23 - 来自专栏友弟技术工作室
go爬虫框架colly源码以及软件架构分析
官方的介绍，gocolly快速优雅，在单核上每秒可以发起1K以上请求；以回调函数的形式提供了一组接口，可以实现任意类型的爬虫；依赖goquery库可以像jquery一样选择web元素。 安装使用 colly 官网 go get -u github.com/gocolly/colly/... import "github.com/gocolly/colly" 架构特点 了解爬虫的都知道一个爬虫请求的生命周期 = nil情况下调用比较多， 爬虫异常的情况下，会调用 // OnError registers a function. data-timespan=\"7d\"]", "data-percentusd"), }) }) 总结 好了，介绍完了，我没有介绍如何使用，我自己也没有写任何的代码， 我只想分享给你这种软件架构的特点以及设计模式 下面这张图很形象，爬虫框架就这些东西。 通用爬虫框架架构
2.3K40发布于 2019-05-19 - 来自专栏Python程序员杂谈
python爬虫，从sohu上抓小说《人形软件》
上次发的从sina上抓小说的代码，这次来一个sohu的，不过总结python爬虫的方法，其实无外乎urllib和正则表达式的使用。掌握了这俩，基本就是有了就抓。
79920发布于 2019-02-28 - 来自专栏Python大数据分析
推荐这6款自动化爬虫软件，非常实用！
爬虫软件通常由以下几部分组成：- 用户代理（User-Agent）：模拟浏览器访问，避免被网站识别为机器人。- 请求处理：发送HTTP请求，获取网页内容。 案例：推荐我常用的爬虫工具，三种爬虫方式，搞定反爬和动态页面八爪鱼采集器八爪鱼是一款面向非技术用户的桌面端爬虫软件，以其可视化操作和强大的模板库而受到青睐。 使用案例：使用八爪鱼爬虫+Kimi AI分析小米SU7舆情数据，终于知道它为什么火了HTTrackHTTrack是一款免费且功能强大的网站爬虫软件，它允许用户下载整个网站到本地计算机。 在选择爬虫软件时，你应根据自己的需求和技能水平进行选择。无论是需要简单的数据抓取，还是复杂的数据挖掘和分析，市场上的爬虫工具都能提供相应的解决方案。 同时，使用爬虫软件时，也应遵守相应的法律法规，尊重数据的版权和隐私。
5.5K10编辑于 2024-09-05 【爬虫工具】用python开发的youtube油管评论采集界面软件
一、背景介绍用python开发的GUI桌面软件，作用是爬取YouTube指定视频的评论，6个关键字段，含：评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数1.1 软件说明几点重要说明： 三、爬虫代码3.1 界面模块软件界面采用tkinter开发。 主窗口部分：# 创建主窗口root = tk.Tk()root.title('YouTube评论爬虫 | 马哥python说')# 设置窗口大小root.minsize(width=850, height root, bg='#ffffff', width=20, textvariable=video_id)entry.place(x=160, y=50, anchor='nw') # 摆放位置3.2 爬虫模块通过请求 3.3 日志模块好的日志功能，方便软件运行出问题后快速定位原因，修复bug。
55920编辑于 2025-03-21- 来自专栏Mac应用教程
Screaming Frog SEO Spider Mac激活版(尖叫青蛙网络爬虫软件)
Screaming Frog SEO Spider Mac版可以抓取网站的网址，并且能够实时分析结果。通过seo spider mac版分析以后，就可以得到自己需要的数据，同时也可以通过抓取的功能测试网页的功能，分析一切无法响应的网页，分析打开具有病毒提示的网页，无论是检测企业网站还是搜索网络的资源都是非常方便的！
1.5K20编辑于 2022-08-23 - 来自专栏PPV课数据科学社区
【重磅】33款可用来抓数据的开源爬虫软件工具
这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总。 虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。 ? Java爬虫 1. 、本地文件系统的爬虫软件。 （原soukey采摘） Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。
6.5K51发布于 2018-04-24 【油管爬虫】用Python开发的YouTube红人博主采集软件
为了深入挖掘创作者的商业价值并促进业务合作，我使用Python开发了一款名为“爬油管博主软件”的爬虫工具。以下是关于该工具的详细说明。二、软件界面与功能2.1用户界面本软件界面友好，操作简便。 界面如下所示：（目前已升级至v1.7版）2.2功能特点模拟浏览器爬取：通过模拟浏览器行为，有效避免反爬虫机制。筛选功能：支持按地区和粉丝数范围筛选博主。多设置项支持：可设置多个搜索关键词和国家地区。 3.2部分代码实现软件界面实现使用tkinter创建主窗口和组件：展开代码语言：PythonAI代码解释root=tk.Tk()root.title('YouTube博主采集软件v1.7')root.minsize entry.place(x=110,y=130,anchor='nw')tk.Label(root,justify='left',fg='red',text='多关键词以|分隔').place(x=650,y=130)爬虫模块实现使用 五、软件运行过程演示视频：请见原文。六、作者声明软件基于python语言开发，首发于本人公众号。如需了解更多技术细节或进行专业交流，可通过正规渠道联系开发者。工具使用需严格遵守相关法律法规和平台规定。
32210编辑于 2025-12-09- 来自专栏小红书采集软件
【爬虫软件】小红书评论区批量采集，含二级评论
因此，我用python开发了一个爬虫采集软件，可自动抓取小红书评论数据，并且含二级评论数据。为什么有了源码还开发界面软件呢？ 效果截图软件界面截图：部分爬取数据：演示视频软件运行演示：【软件演示】小红书评论采集工具，可爬取上万条，含二级评论！ 软件说明几点重要说明：二、代码模块介绍爬虫采集模块通过把已有代码部分封装成class类，供tkinter界面调用。详细爬虫实现逻辑，请见历史文章。 软件界面模块软件界面采用tkinter库开发，Tkinter是Python的一个标准GUI库，用于创建图形用户界面。 一个好的日志模块，有助于软件运行出问题后快速定位原因，以及追溯运行历史记录。
3.1K30编辑于 2024-07-08 - 来自专栏钱塘大数据
【推荐收藏】33款可用来抓数据的开源爬虫软件工具
这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总。 虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。 、本地文件系统的爬虫软件。 （原soukey采摘） Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。
8.1K50发布于 2018-03-05 - 来自专栏python学习教程
python爬虫学习：爬虫与反爬虫
二．爬虫分类 网络爬虫按照实现的技术和结构一般分为通用网络爬虫、聚焦网络爬虫。从特性上也有增量式网络爬虫和深层网络爬虫等类别，在实际的网络爬虫中，通常是这几类爬虫的组合体。 通用网络爬虫 通用网络爬虫（General Purpose Web Crawler）。通用网络爬虫又叫作全网爬虫，顾名思义，通用网络爬虫爬取的目标资源在全互联网中。 聚焦网络爬虫 聚焦网络爬虫（Focused Crawler）也叫主题网络爬虫，顾名思义，聚焦网络爬虫是按照预先定义好的主题有选择地进行网页爬取的一种爬虫，聚焦网络爬虫不像通用网络爬虫一样将目标资源定位在全互联网中 一般反爬虫策略多数用在比较低级的爬虫上，这类爬虫多为简单粗暴的不顾服务器压力不停访问，再一种为失控的或被人遗忘的爬虫，这类爬虫一般需要在第一时间封锁掉。 越是高级的爬虫，越难被封锁，相应高级爬虫的开发成本也越高。 在对高级爬虫进行封锁时，如果成本高到一定程度，并且爬虫不会给自己带来大的性能压力和数据威胁时，这时就无需继续提升成本和爬虫对抗了。
4.8K62发布于 2019-07-10 - 来自专栏Python数据科学
33款你可能不知道的开源爬虫软件工具
这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总。 虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。 ? 、本地文件系统的爬虫软件。 （原soukey采摘） Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。
12.4K20发布于 2018-08-06 - 来自专栏Python大数据分析
推荐5个零代码的爬虫软件，非常容易上手！
但不管哪个库都需要写代码才能实现爬虫，涉及到http请求、html解析、正则处理等技术，对于很多人来说是不低的门槛。 下面推荐5个基本不需要代码的爬虫软件，零基础也可以实现数据采集。 八爪鱼爬虫 八爪鱼算是非常出名的数据采集软件了，很早就流传开来。它是一款无需任何代码，图形化操作非常方便的桌面端爬虫应用，你只需配置好URL，并简单的拖拽就可以实现批量数据采集。 后羿采集器 后羿采集器也是一款无代码的图形爬虫软件，只需要配置url相关信息便可以自动识别网页中的表格、列表、图片等内容，非常的傻瓜式。 你不需要安装额外的软件，即可在Chrome浏览器中进行爬虫。 这些爬虫软件非常强大，还能设置动态ip、处理js网页，不输Python，适合大部分数据采集需求。
2.1K10编辑于 2025-05-13 - 来自专栏youtube采集软件
【爬虫GUI】YouTube评论采集软件，突破反爬，可无限爬取！
最近我用python开发了一个GUI桌面软件，作用是爬取YouTube指定视频的评论。 其中，评论时间含绝对时间（年月日时分秒的格式）1.2 效果演示演示视频：【Python爬虫GUI】我开发了一个采集YouTube评论的软件！ 三、爬虫代码3.1 界面模块软件界面采用tkinter开发。 3.3 日志模块好的日志功能，方便软件运行出问题后快速定位原因，修复bug。 ：【Python爬虫GUI】我开发了一个采集YouTube评论的软件！___我是@马哥python说，一名10年程序猿，开发过很多自研软件，欢迎交流！
78611编辑于 2024-03-19 - 来自专栏短信接收服务
爬虫系列：爬虫介绍
而数据采集采集就需要使用到网络爬虫（Web crawler），网络爬虫也会被称为：网络铲（Web scraper，可类比于考古用的洛阳铲）、网络蜘蛛（Web spider），其行为一般是先“爬”到对应的网页上 网络搜索引擎和其他一些网站使用网络爬虫或蜘蛛软件来更新他们的网络内容或其他网站的网络内容索引。网络爬虫复制页面以供搜索引擎处理，搜索引擎对下载的页面进行索引，以便用户可以更有效地搜索。 对于一些涉及查看当下热门话题的爬虫项目，还需要使用自然语言处理。 在网络爬虫抓取数据的时候，目标网站可能设置了验证码、网络爬虫陷阱，同时相同的 User-Agent 也会被视为非正常用户，这些都需要避开。 以上都是网络爬虫需要的技能，我会在接下来的章节中，详细介绍爬虫的每一个技术，使大家学会使用网络爬虫获取自己需要的数据。
1.4K12发布于 2021-10-12 - 来自专栏Mac资源分享
Screaming Frog SEO Spider Mac最新永久激活版(尖叫青蛙网络爬虫软件)
Screaming Frog SEO Spider Mac 是一款功能强大且灵活的网站爬虫，能够高效地抓取小型和超大型网站，同时允许您实时分析结果。 你可以通过尖叫青蛙Mac版这款软件来识别网站中临时、永久重定向的链接循坏，同时还能检查出网址、网页标题、说明以及内容等信息中心可能出现的重复问题。
1.5K30编辑于 2022-08-18 - 来自专栏Python绿色通道
爬虫篇 | 高级爬虫( 二):Scrapy爬虫框架初探
好在我已经给了scrapy 安装的办法 爬虫篇 | 高级爬虫(一):Scrapy爬虫框架的安装 当然如果你想用Anaconda 方式来安装也行，只是个人觉得杀鸡用牛刀，哈哈，随意吧！ 创建爬虫项目 在电脑上新建一个Scrapy项目，在命令行中切换到要存储的位置. 对爬虫字段的进一步处理，如去重，清洗，入库 csdnSpider/:settings.py 项目的配置文件 csdnSpider/:spiders.py 这里主要做爬虫操作 创建爬虫模块 爬虫模块的代码都放置于 提取爬虫字段： import scrapy class csdnspider(scrapy.Spider): # 必须继承scrapy.Spider name = "csdn" #爬虫名称, Pycharm中调试Scrapy 因为使用Pycharm我们可以更清楚的设置断点来爬虫，所以我比较推荐在Pycharm来调试.Scrapy提供了API让我们在程序中启动爬虫 下面给csdn爬虫添加启动脚本
2K21发布于 2019-10-29 - 来自专栏小红书采集软件
Python爬虫软件助你轻松搞定！
爬虫功能分为2大类模块：第一是根据筛选条件爬取博主列表，第二是根据爬取到的博主id进入详情页面爬取详细数据，详情页如下： 通过分析网页接口，开发出了爬虫GUI软件，界面如下： 共爬取到34个字段，字段如下 1.1 演示视频 软件操作演示视频：有。 2.1 爬虫采集模块 此软件开发成本较高，代码量大、实现逻辑复杂，为保护个人知识版权，防止恶意盗版软件，不展示爬虫核心代码。 2.2 cookie获取 运行软件之前，需要填写cookie值到txt配置文件中，获取方法如下： 2.3 软件界面模块 主窗口部分： # 创建主窗口 root = tk.Tk() root.title( '蒲公英爬虫-公开版p1.4 | 马哥python说') # 设置窗口大小 root.minsize(width=850, height=650) 部分界面控件： # 笔记关键词 tk.Label(root
48222编辑于 2024-07-10 - 来自专栏程序员的知识天地
python爬虫入门：什么是爬虫，怎么玩爬虫？
看到这两只爬虫没有？ 两只爬虫 两只爬虫 跑得快 跑得快 一只没有.. 不好意思 跑题了... 别误会，今天不是要教你怎么玩上面这两只沙雕玩意。 我们刚刚提到的 一个自动化的程序 就是爬虫 知道了什么是爬虫之后 问题来了 爬虫怎么玩的？ 爬虫可以用到一些 Http 库向指定的服务器偷偷摸摸的发起请求，这个时候爬虫可以假装自己是浏览器（添加一些header信息） 大多数的服务器呢，傻不拉的以为是浏览器发送请求 就直接返回数据给爬虫了 当然了 ，有一些网站比较精明 所以他们会建立一些反爬虫机制 但是，对于我们来说，不在话下 这个是后话了！ 以上就是我们的爬虫的具体爬取流程，这是我们开启爬虫体系的第一篇，接下来我们将一步一
1.1K20发布于 2019-05-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号