- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT不难技术家园
通过Django管理周期性任务-feapder爬虫
用了 feapder 作者的管理系统 feaplat 。系统功能很全面，但是随着功能的完善，价格也越来越贵。个人实在承担不起，只能花时间自己搞一个简易版的了。 64, verbose_name='工作路径') image = models.CharField(max_length=64, verbose_name='镜像', default='feapder23
52230编辑于 2023-11-17 - 来自专栏Python研究者
易车网实战+【保姆级】：Feapder爬虫框架入门教程
今天辰哥带大家来看看一个爬虫框架：Feapder，看完本文之后，别再说你不会Feapder了。本文辰哥将带你了解什么是Feapder？ 01 Feapder框架 1.Feapder框架介绍 Feapder 是一款上手简单、功能强大、快速、轻量级的爬虫框架的Python爬虫框架。 具体feapder项目结构每一块的功能是什么？怎么样用？接着往下看，下面的实战中有详细的讲解。 2.Feapder的安装 feapder的安装很简单，通过下面的命令安装即可！ pip install feapder 出现下面的界面说明feapder成功安装！ ? 03 小结 相信看到这里的你已经完完全全掌握了爬虫框架：Feapder，你不仅知道了什么是feapder，同时还学会了如何使用feapder。
1.8K60发布于 2021-07-20 - 来自专栏进击的Coder
爬虫框架 Feapder 和 Scrapy 的对比分析
本篇文章在源码层面比对 feapder、scrapy 、scrapy-redis 的设计，阅读本文后，会加深您对 scrapy 以及 feapder 的了解，以及为什么推荐使用 feapder scrapy 需单独维护个下发种子任务的脚本 feapder 分析 feapder 内置 AirSpider、Spider、BatchSpider三种爬虫，AirSpider 对标 Scrapy，Spider 对标 AirSpider 使用PriorityQueue作为内存任务队列，不支持分布式，示例代码 import feapder class AirSpiderDemo(feapder.AirSpider) feapder 支持创建项目，项目结构如下： main.py 为启动入口 feapder 部署 feapder 有对应的管理平台 feaplat，当然这个管理平台也支持部署其他脚本 在任务列表里配置启动命令 feapder 爬虫文档：https://boris-code.gitee.io/feapder/#/ feaplat 管理平台：https://boris-code.gitee.io/feapder
3.1K21发布于 2021-10-08 python爬虫集群部署
2.feapder镜像拉取 feapder是一个基于Python的分布式爬虫框架，它可以帮助用户快速构建高效、稳定的爬虫系统。在使用feapder之前，需要先拉取feapder的镜像。 镜像拉取命令如下： docker pull feapder/feapder 这个命令会从Docker Hub上拉取feapder的最新版本镜像。 使用Docker运行feapder镜像的命令如下： docker run -it --name feapder feapder/feapder 这个命令会在Docker容器中启动feapder，并进入容器的交互式终端 拉取feapder镜像 可以使用以下命令从Docker Hub上拉取feapder镜像： docker pull feapder/feapder 创建docker-compose.yml文件 在本地创建一个 进入feapder容器 可以使用以下命令进入feapder容器： docker exec -it feapder_feapder_1 /bin/bash 其中，feapder_feapder_1是容器的名称
19710编辑于 2025-12-16【0基础学爬虫】爬虫框架之 feapder 的使用
feapder 框架近年来较为火热，正好也有群友提到了：因此，本期将讲解一款上手更为简单，功能同样强大的爬虫框架 —— feapder。 简介feapder 是一款上手简单，功能强大的 Python 爬虫框架。 feapder 官方资料：GitHub：https://github.com/Boris-code/feapder官方文档：https://feapder.com/官方公众号：feader爬虫教程架构设计官方框架流程图模块说明流程说明根据上文框架流程图 feapder 的使用环境Python 3.6.0+Works on Linux，Windows，macOS安装① 精简版pip install feapder不支持浏览器渲染、不支持基于内存去重、不支持入库 ② 浏览器渲染版pip install "feapder[render]"不支持基于内存去重、不支持入库 mongo。③ 完整版pip install "feapder[all]"支持所有功能。
70110编辑于 2024-07-08- 来自专栏Python 自动化
介绍一款能取代 Scrapy 的爬虫框架 - feapder
众所周知，Python 最流行的爬虫框架是 Scrapy，它主要用于爬取网站结构性数据 今天推荐一款更加简单、轻量级，且功能强大的爬虫框架：feapder 项目地址： https://github.com /Boris-code/feapder 2. 介绍及安装 和 Scrapy 类似，feapder 支持轻量级爬虫、分布式爬虫、批次爬虫、爬虫报警机制等功能 内置的 3 种爬虫如下： AirSpider 轻量级爬虫，适合简单场景、数据量少的爬虫 Spider ，使用「 feapder create -s 」命令创建一个爬虫 cd spiders # 创建一个轻量级爬虫 feapder create -s tophub_spider 1 其中 1 为默认， 最后 本篇文章通过一个简单的实例，聊到了 feapder 中最简单的爬虫 AirSpider 关于 feapder 高级功能的使用，后面我将会通过一系列实例进行详细说明 我已经将文中所有代码上传到公众号后台
3.1K41发布于 2021-05-07 - 来自专栏爬虫资料
实战案例：采集 51job 企业招聘信息
本文将带你从零开始，借助 Feapder 快速搭建一个企业级招聘信息数据管道。 在“基础概念”部分，我们先了解什么是数据管道和 Feapder；“生动比喻”用日常场景帮助你快速理解爬虫组件；“技术场景”介绍本项目中如何使用代理等采集策略；“实战案例”通过完整代码演示采集 51job 为什么选 Feapder？轻量易用：基于 Scrapy 设计理念，但更贴合现代 Python 开发习惯。分布式支持：内置分布式队列和调度，水平扩展无压力。 环境准备# 安装 Feapder 及依赖pip install feapder requests2. 五、扩展阅读Feapder 官方文档：https://feapder.com/Scrapy 官方文档（原理参考）：https://docs.scrapy.org/爬虫代理使用指引：登录亿牛云官网查看“文档中心
31110编辑于 2025-05-14 - 来自专栏爬虫资料
轻量级爬虫框架Feapder入门：快速搭建企业级数据管道
目标概述本教程的主要目标是： 介绍轻量级爬虫框架 Feapder 的基本使用方式。 Feapder 框架：最好提前了解 Feapder 的安装与使用，可通过官网文档或 GitHub 了解详细介绍。 环境准备确保已经安装 Feapder（以及相关依赖），执行以下命令进行安装：pip install feapder2. 爬虫代码下面是完整代码示例，并附上中文注释，说明每一块功能的实现：# 导入 Feapder 模块import feapder# 定义爬虫类，继承 feapder.Spiderclass DoubanMovieSpider 分布式爬虫： 利用 Feapder 的分布式特性构建分布式数据管道，实现高并发采集任务。
49510编辑于 2025-04-10 - 来自专栏憧憬博客分享
【腾讯云 TDSQL-C Serverless 产品体验】基于TDSQL-C 存储爬取的QQ音乐歌单数据
这个轻量级框架安装 feapder 爬虫框架pip3 install feapder[all]创建爬虫项目feapder create -p QQSpider在 setting.py 中配置TDSQL-C import Itemfrom feapder.utils import toolsclass CateItem(Item): """ This class was generated by feapder. import Requestfrom feapder.db.mysqldb import MysqlDBfrom items.playlistItem import PlaylistItemclass PlayListSpider(feapder.Spider): commonParams = { 'g_tk': 1124214810, 'loginUin': '0
64050编辑于 2023-08-30 - 来自专栏开源技术小栈
phpy基于深度学习ddddocr库进行OCR双重数字识别
demo02.php 欢迎使用ddddocr，本项目专注带动行业内卷，个人博客:wenanzhe.com 训练数据支持来源于:http://146.56.204.113:19199/preview 爬虫框架feapder 可快速一键接入，快速开启爬虫之旅：https://github.com/Boris-code/feapder 谷歌reCaptcha验证码 / hCaptcha验证码 / funCaptcha验证码商业级识别接口
72210编辑于 2024-09-17 - 来自专栏Python 自动化
实战 | 如何利用 Scrapy 编写一个完整的爬虫！
spider_name) process.start() if __name__ == '__main__': start() 当然，除了 Scrapy 外，我们也可以考虑另外一款爬虫框架 Feapder 使用方法可以参考之前写的一篇文章 介绍一款能取代 Scrapy 的爬虫框架 - feapder
89920编辑于 2022-12-29 【0基础学爬虫】爬虫基础之scrapy的使用
crawler): - 类似于init初始化方法,只不过这里使用的classmethod类方法 - 可以直接crawler.settings获得参数，也可以搭配信号使用 自定义随机ua 我们借助 feapder 给我们封装好的 ua 来进行测试: middlewares.py from feapder.network import user_agent class ScrapyDemoDownloaderMiddleware
55910编辑于 2024-07-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号