- 综合排序
- 最热优先
- 最新优先
- 来自专栏少年郎编程之路
Crawlab 支持Nodejs爬虫插入数据
这对使用nodejs在crawlab上写爬虫的同学非常不友好。图片 nodejs要支持这样的效果，需要先分析crawlab爬虫任务完成后，具体是怎么写入数据库的。 二、安装mongo-express 在之前的文章Crawlab 支持Nodejs脚本执行 - 腾讯云开发者社区-腾讯云 (tencent.com) 里面安装支持nodejs的crawlab多方法基础上 在 Docker-Compose 网络中，直接引用 service 名称 CRAWLAB_MONGO_HOST: "mongo" CRAWLAB_MONGO_PORT: "27017 " # mongo port CRAWLAB_MONGO_DB: "crawlab" # mongo database CRAWLAB_MONGO_USERNAME: "username : "admin" # mongo auth source volumes: - "/opt/crawlab/master:/data" # 持久化 crawlab 数据 ports
1.6K10编辑于 2022-08-27 - 来自专栏少年郎编程之路
Crawlab 支持Nodejs脚本执行
想在Crawlab上使用nodejs写好爬虫，得自己好好折腾下了一、安装Crawlab在服务器上先按照docker，然后按照官方文档的指引，下载好docker-compose.yml, 然后执行docker-compose container_name: crawlab_master restart: always environment: CRAWLAB_NODE_MASTER: "Y" # Y: " # mongo port CRAWLAB_MONGO_DB: "crawlab" # mongo database CRAWLAB_MONGO_USERNAME: "username node的crawlab镜像，说干就干。 " # mongo port CRAWLAB_MONGO_DB: "crawlab" # mongo database CRAWLAB_MONGO_USERNAME: "username
1.3K30编辑于 2022-08-29 - 来自专栏少年郎编程之路
Crawlab Nodejs爬虫之依赖安装
在成功的在crawlab里安装了nodejs环境后，遇到了一个问题就是nodejs的包依赖安装。官方自带的包依赖，可以安装全局npm包，但是爬虫脚本里面的依赖这个问题需要自己解决。
1.1K20编辑于 2022-08-29 - 来自专栏JAVA乐园
Crawlab准备之python+scrapy环境搭建
上篇《分布式爬虫管理平台Crawlab开发搭建》把爬虫的管理后台搭建起来了；捣鼓一番发现要真正爬取数据还有下不少的功夫。这篇看看怎么搭建python+scrapy环境。
1.1K20发布于 2020-07-21 11.7K Star！这个分布式爬虫管理平台让多语言协作如此简单！
嗨，大家好，我是小华同学，关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法 分布式爬虫管理平台Crawlab，支持任何编程语言和框架的爬虫管理，提供可视化界面、任务调度、日志监控等企业级功能 核心功能亮点 多语言全支持完美兼容Python/Java/Node.js等主流语言支持Scrapy/Puppeteer/Selenium等框架示例代码：# 通用Python爬虫数据保存from crawlab \ -e CRAWLAB_REDIS_ADDRESS=redis:6379 \ -e CRAWLAB_MONGO_HOST=mongo \ -p 8080:8080 \ crawlabteam /crawlab爬虫项目配置将爬虫代码打包为ZIP通过Web界面上传部署设置定时任务参数数据监控管理# 自定义数据看板from crawlab import get_task_itemsitems = /crawlab
61410编辑于 2025-03-22- 来自专栏JAVA乐园
分布式爬虫管理平台Crawlab开发搭建
分布式爬虫管理平台Crawlab发现挺不错，但是官方文档中涉及二次开发的环境启动章节比较模糊。 NODE_ENV='production' VUE_APP_BASE_URL=/api VUE_APP_CRAWLAB_BASE_URL=https://api.crawlab.cn VUE_APP_DOC_URL=http://docs.crawlab.cn cd C:\Users\2230\Desktop\crawlab-master\frontend yarn install 如果是启动项目，可以直接使用命令： cd C:\Users\2230\Desktop\crawlab-master\backend go run main.go ? 另外也可以执行go build生产的crawlab.exe文件；在cmd命令行执行： ?
1.1K10发布于 2020-07-15 - 来自专栏ECS服务器
Crawlab是一个功能强大的网络爬虫管理平台（WCMP），可以运行以各种编程语
: - "/opt/.crawlab/master:/root/.crawlab" # 持久化 crawlab 元数据 - "/opt/crawlab/master:/data " # 持久化 crawlab 数据 - "/var/crawlab/log:/var/logs/crawlab" # 持久化 crawlab 任务日志 ports: : - "/opt/.crawlab/master:/root/.crawlab" # 持久化 crawlab 元数据 - "/opt/crawlab/master:/data " # 持久化 crawlab 数据 - "/var/crawlab/log:/var/logs/crawlab" # 持久化 crawlab 任务日志 ports: crawlab 元数据 - "/opt/crawlab/master:/data" # 持久化 crawlab 数据 - "/var/crawlab/log:/var/logs
91320编辑于 2023-12-02 - 来自专栏Marvin的技术博客
基于Celery的分布式通用爬虫管理平台Crawlab
Crawlab 基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架。 ] 架构 Crawlab的架构跟Celery非常相似，但是加入了包括前端、爬虫、Flower在内的额外模块，以支持爬虫管理的功能。 任务ID将以环境变量CRAWLAB_TASK_ID的形式存在于爬虫任务运行的进程中，并以此来关联抓取数据。 在你的爬虫程序中，你需要将CRAWLAB_TASK_ID的值以task_id作为可以存入数据库中。这样Crawlab就直到如何将爬虫任务与抓取数据关联起来了。 当前，Crawlab只支持MongoDB。
3K00发布于 2019-03-07 - 来自专栏全栈程序员必看
gitlab docker安装_crawl用法
1 先给个干货 crawlab的官方文档地址 https://docs.crawlab.cn/Installation/Docker.html github说明地址 https://github.com /crawlab-team/crawlab/blob/master/README-zh.md 2 两种安装方式 一是通过docker pull拉取，代码如下 docker pull tikazyq/crawlab :latest 二是从github拉取代码，然后使用docker compose命令 git clone https://github.com/crawlab-team/crawlab cd crawlab
36920编辑于 2022-11-16 - 来自专栏Marvin的技术博客
爬虫管理平台Crawlab v0.3.0发布(Golang版本)
项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用Crawlab搭建公司的爬虫平台。 经过近数月的迭代，我们陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将Crawlab打造得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。 Crawlab主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。 Crawlab支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。 总的来说，本次更新将Crawlab打造得更加稳定和实用。
1.3K00发布于 2019-08-03 - 来自专栏小徐学爬虫
Go语言用Colly库编写的图像爬虫程序
package mainimport ( "fmt" "net/http" "github.com/crawlab-collective/go-colly")func main() {
53460编辑于 2023-11-06 Go 语言爬虫框架推荐，有没有你用过的？
Crawlab提供了友好的图形化界面，支持定制爬虫任务、数据管理和可视化效果。
36310编辑于 2025-12-29- 来自专栏未闻Code
成千上万个站点，日数据过亿的大规模爬虫是怎么实现的？
遂，今天要给大家介绍的是另一种实现方式——使用 Crawlab。 Crawlab 是一款由知名外企工程师开发的分布式爬虫管理平台，它不仅支持 Python 语言编写的爬虫，几乎可以兼容大部分编程语言和应用程序。 借助 Crawlab，我们可以将爬虫应用分散到不同的计算机（服务器）上，而且能够在可视化界面设定定时任务、查看平台上爬虫应用的状态以及环境依赖等信息。具体如下图所示： ?
2.1K20发布于 2020-12-03 - 来自专栏JavaPark
技术写作中的那些神兵利器
支持的图床： 默认：OW 的免费七牛云，宽高限制在 800 px * 800 px，超出限制将缩放 七牛云 阿里云 ArtiPub 地址：https://github.com/crawlab-team
57530编辑于 2022-06-15 - 来自专栏JavaPark
聊聊技术写作中的那些神兵利器
支持的图床： 默认：OW 的免费七牛云，宽高限制在 800 px * 800 px，超出限制将缩放 七牛云 阿里云 渠道管理 文章管理 图床配置 ArtiPub 地址：https://github.com/crawlab-team
82530发布于 2021-04-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号