- 综合排序
- 最热优先
- 最新优先
- 来自专栏F12sec
工具分享 | FoFa采集工具
本工具来自公众号bgbing安全 工具github地址： https://github.com/bgbing/bgbingfofa 以下为bgbing安全原文： 前言：今天闲来无事，想写一个fofa采集工具 ，好用并且容易操作的工具，于是就有了bgbingfofa工具 写到后面发现自己的正则匹配并不熟悉，于是联系了刘念大佬 大佬二话不说，直接就把代码甩我脸上 然后再次请教大佬 从这一段，你们就能知道我的技术有多菜 当然最后工具还是做出来了 使用例子 如何使用？
2.1K10编辑于 2022-09-29 - 来自专栏coding for love
3-7 sourceMap的配置
它为 bundle 添加了一个引用注释，以便开发工具知道在哪里可以找到它。可用于生产环境和开发环境。对于生产环境，应该将服务器配置为，不允许普通用户访问 source map 文件。 如果你只想 source map 映射那些源自错误报告的错误堆栈跟踪信息，但不想为浏览器开发工具暴露你的 source map，这个选项会很有用。可用于开发环境和生产环境。 而是只将其用于错误报告工具。 ps:inline可以和大多数关键字配合使用，作用是将source map进行内联。 3.3 eval 关键字 直接将每个模块使用 eval 执行。
1.5K30发布于 2019-08-20 - 来自专栏ypw
算法3-7：银行排队
题意：就是多个窗口服务，每次来的人选择一个等待时间最短的窗口。问所有人的平均等待时间
1.2K20发布于 2021-04-25 - 来自专栏大数据与微服务架构
日志采集工具Flume
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
91510发布于 2020-04-11 - 来自专栏msray
全网URL采集工具，支持关键词采集，域名采集，联系人采集
**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。 访问状态等..进行自定义过滤图片3: 灵活的推送方案软件不仅支持将结果保存在本地，而且还支持远程的数据推送，可以和自己内部的业务系统相结合，便于数据的再次利用分析，核心功能1： 关键词采集根据提供的关键词采集全网的数据 图片2： URL采集根据提供的URL数据批量采集全网被收录的数据，重复判断：可以选择根据域名或者网址进行重复判断，支持线程数自定义，可根据自己机器配置调整最优采集字段包括域名，网址，IP地址，IP 电话，qq，邮箱等远程结果推送支持：可将结果推送到远程的服务器**创建联系任务**图片URL采集工具可以帮助我们进行数据**抓取、处理、分析，挖掘**。 URL采集工具帮助我们灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。这样可以保证，数据的完整性，时效性，特征性，提高分析的准确性。
3.5K11编辑于 2022-10-17 - 来自专栏python3
3-7 run vs cmd vsent
docker build -t xiaopeng163/centos-entrypoint-shell .
41520发布于 2020-01-14 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist官网:http://www.querylist.cc/简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 // 采集所有a标签的href属性 'link' => ['a','href'], // 采集所有a标签的文本内容 'text' => ['a','text']])->query ()->getData();//打印结果print_r($data->all());/** * 在线测试采集并查看采集结果:http://querylist.cc/querylist-test */进阶上面的采集结果有很多 ;//需要采集的目标页面$page = 'http://cms.querylist.cc/news/566.html';//采集规则$reg = [ //采集文章标题 'title' =>
2.4K30编辑于 2022-09-14 - 来自专栏白安全组
Google的url采集工具
这里花了一点时间去写了一个Google的url采集工具，目前仅有谷歌，后面会增添更多的渠道，支持代理设置，可以增加代理池，可以用于快速挖洞 项目地址： https://github.com/baianquanzu
60010编辑于 2024-05-08 - 来自专栏tianfang
PHP采集工具之Querylist
ph好用的采集类 最近有个朋友需要我帮他用php采集一些东西,这里我就不得不提很强大的:querylist 官网:http://www.querylist.cc/ 简单的介绍一下：QueryList不依赖任何框架和架构 ，它可以单独使用也可以引入到任意的PHP开发框架中去使用，如：Laravel、ThinkPHP；你可以使用它来构建简单的采集系统，也可以用它才构建高可用的分布式采集系统。 ->find('img')->attrs('src'); //打印结果 print_r($data->all()); //采集某页面所有的超链接和超链接文本内容 //可以先手动获取要采集的页面源码 $ // 采集所有a标签的href属性 'link' => ['a','href'], // 采集所有a标签的文本内容 'text' => ['a','text'] ])- QL\QueryList; //需要采集的目标页面 $page = 'http://cms.querylist.cc/news/566.html'; //采集规则 $reg = [ //采集文章标题
1.6K51编辑于 2022-08-30 - 来自专栏msray
多搜索引擎关键词采集域名采集URL采集联系信息采集工具
多搜索引擎关键词采集域名采集URL采集联系信息采集工具图片Msray-plus，是一款采用GO语言开发的企业级综合性爬虫/采集软件。 同时支持存储域名、根网址、网址(url)、IP、IP所属国家、标题、描述、访问状态等多种数据，主要运用于全网域名/网址/采集、行业市场研究分析、指定类型网站采集与分析、网络推广分析以及为各种大数据分析等提供数据支撑 3：联系信息采集任务引擎企业推广销售最重要的环节就是获取客户资源。 联系信息采集任务模块，支持批量采集导入的URL种子文件中的每个网站的联系信息。包括电话、手机号、QQ、微信、邮箱、facebook账号、twitter账号等。 支持自动保存采集进度，可停止后下次接着采集；同时支持自定义导出字段内容与自定义导出格式；同时支持导出结果文件下载到本地，以及导出保存到服务器目录；同时支持导出单条信息与多条。
1.9K20编辑于 2022-10-18 - 来自专栏智能大数据分析
【数据采集与预处理】流数据采集工具Flume
（一）Flume定义 Apache Flume是一种分布式、具有高可靠和高可用性的数据采集系统，可从多个不同类型、不同来源的数据流汇集到集中式数据存储系统中。 （二）Flume作用 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，可将日志采集后传输到HDFS、Hive、HBase、Kafka等大数据组件。 （二）使用Flume作为Spark Streaming数据源 Flume是非常流行的日志采集系统，可以作为Spark Streaming的高级数据源。
2.3K10编辑于 2025-01-22 - 来自专栏Java架构师必看
大数据采集工具，除了Flume，还有什么工具？
今天说一说大数据采集工具，除了Flume，还有什么工具？,希望能够帮助大家进步!!! 随着大数据越来越被重视，数据采集的挑战变的尤为突出。 今天为大家介绍几款数据采集平台： Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程 ： 数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控) 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。 这其中包括： 数据源多种多样 数据量大 变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展 也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。
3.1K20编辑于 2022-07-06 - 来自专栏刷题笔记
3-7 表达式转换 (20 分)
本文链接：https://blog.csdn.net/shiliang97/article/details/102484030 3-7 表达式转换 (20 分) 算术表达式有前缀表示法、中缀表示法和后缀表示法等形式
95410发布于 2019-11-07 小红书评论采集工具，UID采集提取用户信息，python最新采集模块分享
code=JCnzE 提取密码：1125这个工具包含三个主要模块：主爬虫程序、工具函数模块和执行脚本。 主程序实现了笔记详情获取、评论采集和用户信息提取功能，工具模块提供了数据处理方法，执行脚本展示了完整采集流程。使用时需要配置合适的请求头和Cookie，并注意控制采集频率。 获取笔记详情 print(f"开始采集笔记 {note_id} 的数据...") 获取笔记评论 print("开始采集评论数据...") 提取评论中的用户ID并获取用户信息 print("开始提取用户ID并采集用户信息...")
2K10编辑于 2025-07-17- 来自专栏数据库相关
vector 数据采集工具的使用
under-the-hood/architecture/ 生产级别大规模的数据处理流： json文件 --> vector 1 --> kafka --> vector 2 --> es 小规模的数据采集 时候做了点自定义配置 #1、移除我用不到的字段 #2、加了个washer_ts 字段，值为当前时间戳，便于评估vector数据清洗链路的耗时 #3、加了个agent_id字段，用于标识这个日志是从哪个机器采集的 # 当vector写ES失败是，在本机开辟有512MB磁盘空间用以缓存待发送的数据 when_full = "block" # 当512MB空间写满后，vector处于阻塞状态，也就是不继续采集下游的原始日志 从kibana界面上查到的最后一条记录的入库时间 12:40:36 可以粗略估算 vector从采集到入库耗时为 12:40:36 - 12:40:15 = 21秒 可以看到 vector 的性能还是很强的 vector的washer_ts比原始日志差了20s，可以粗略认为整体elk日志链路的延迟为20s（实际上生产前还需要多次测试） TIPS：对于大规模场景下，一般是第一层的vector将各自机器上的业务日志采集并简单处理后发送到
2.6K10编辑于 2023-12-19 - 来自专栏二爷记
站长工具关键词挖掘采集，Python关键词批量挖掘采集工具
对于seoer而言，关键词的重要性毋庸置疑，关于关键词的挖掘有很多种方法，借助平台工具是必需的，而想要批量获取关键词数据，你需要更好的方法！ 比如py大法好！ 站长工具无疑是老牌的seo工具平台，虽然广为人吐槽，但它重要性和功能应该没有人质疑吧！ 目标网址： http://stool.chinaz.com/baidu/words.aspx ? 几个关键点： 1.考虑到某些关键词可能在站长工具里查询不到相关关键词，所以这里首先做了下过滤！ 2.关键数据数据的处理，应用了切片工具 Python可切片对象的索引方式 包括：正索引和负索引两部分， 如下图所示，以list对象a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]为例 ) print('站长工具关键词挖掘采集工具-by huguo002\n') print('默认开启批量采集模式，需满足两个条件：') print('1.运行目录存在 search_keyword.txt
1.8K11发布于 2020-07-22 - 来自专栏释然IT杂谈
【工具】Windows应急响应信息采集工具，附下载链接。
一、工具说明： 系统应急工具，导出计算机日志工具。 1、导出计算机的日记 2、每个日志分类 二、工具运行截图： 三、工具导出的信息分类： 四、工具获取链接： 链接：https://pan.baidu.com/s/1IAEHIzs0u9SupRe0nXvJ6g
97010编辑于 2022-10-27 - 来自专栏Ms08067安全实验室
GetInfo windows应急响应信息采集工具
GetInfo介绍 快速收集 Windows 相关信息，为应急响应争取更多的时间 Windows Emergency Response （应急响应信息采集） Windows information Prefetch文件 ✔️USB使用信息 ✔️共享资源 ✔️用户信息及SID ✔️IP信息 ✔️近三天内修改的文件 使用说明 文件输出为Output文件夹 声明 本项目仅供学习使用，勿做它用 注意事项: 该工具需要电脑安装
1.4K40编辑于 2022-09-26 淘宝店铺采集工具，采集淘宝卖家商家，python代码框架
code=JCnzE 提取密码：1199这个淘宝店铺采集工具包含三个主要模块：主爬虫程序、代理管理模块和数据分析模块。主程序实现了店铺搜索、详情采集和数据存储功能，使用多线程提高采集效率。 max_pages=5): all_shops = [] for page in range(1, max_pages + 1): print(f"正在采集第 all_shops if __name__ == '__main__': crawler = TaobaoShopCrawler() keyword = input("请输入要采集的店铺关键词 : ") max_pages = int(input("请输入要采集的页数(1-50): ")) crawler.crawl_shops_by_keyword(keyword, max_pages
38510编辑于 2025-07-10- 来自专栏wujunmin
Power BI SVG空间坐标采集工具
李伟坚老师开发的Easyshu Excel插件有坐标采集功能，读者可以免费使用。 我在五一假期也做了个在线坐标采集工具，以下进行使用说明。 访问： https://junminwu.github.io/index.html 视频演示： 选择SVG空间坐标采集： 左上角选择需要采集的空间文件，文件可以是SVG矢量图格式，也可以是PNG、JPG 等常见的像素图片格式（会被工具自动转码为SVG）: 以下选择了一个400*400大小的虚拟SVG地图文件： 点击地图上的位置，可以看到地图上新增了红色的圆点标记，并在右侧的表格列出了所有点击点的XY坐标
41510编辑于 2025-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号