首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏msray

    多搜索引擎关键词采集域名采集URL采集联系信息采集工具

    多搜索引擎关键词采集域名采集URL采集联系信息采集工具图片Msray-plus,是一款采用GO语言开发的企业级综合性爬虫/采集软件。 ;3:可从用户提供的网站列表数据中,全自动的提取出网站联系方式信息,包括但不限于邮箱、手机/电话、QQ、微信、facebook、twitter等。 3:联系信息采集任务引擎企业推广销售最重要的环节就是获取客户资源。 支持亿级数据处理,利用强大的数据获取能力,抓取互联网上所有主流渠道的企业信息资料,并支持导出,再次整理。联系信息采集任务模块,支持批量采集导入的URL种子文件中的每个网站的联系信息。 支持自动保存采集进度,可停止后下次接着采集;同时支持自定义导出字段内容与自定义导出格式;同时支持导出结果文件下载到本地,以及导出保存到服务器目录;同时支持导出单条信息与多条。

    1.9K20编辑于 2022-10-18
  • 来自专栏程序猿的栖息地

    Thinkphp6实现APP手机应用信息采集

    手机应用信息采集数据源来自腾讯管家。 ps:链接有可能不能使用了 已经封装成一个类库,拿过去稍微改一下自己要采集的参数就能用 <?

    32910编辑于 2022-04-29
  • 来自专栏msray

    全网URL采集工具,支持关键词采集,域名采集联系采集

    **今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集,以及为各种大数据分析等提供数据支撑。 图片2: URL采集根据提供的URL数据批量采集全网被收录的数据,重复判断:可以选择根据域名或者网址进行重复判断,支持线程数自定义,可根据自己机器配置调整最优采集字段包括域名,网址,IP地址,IP **创建爬虫任务**图片图片3: 联系任务可根据提供的域名地址采集被收录的联系方式等信息包含手机。 电话,qq,邮箱等远程结果推送支持:可将结果推送到远程的服务器**创建联系任务**图片URL采集工具可以帮助我们进行数据**抓取、处理、分析,挖掘**。 URL采集工具帮助我们灵活迅速地抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。这样可以保证,数据的完整性,时效性,特征性,提高分析的准确性。

    3.5K11编辑于 2022-10-17
  • 来自专栏msray

    搜索引擎关键词采集联系任务采集,网址采集

    使用搜索引擎进行关键词的采集,可以让我们获得更多的信息并准确地找到我们所需要的内容。通过使用搜索引擎,我们可以快速搜索全球各地的网页、文章、资料以及其他文档。 在工作场景下,使用搜索引擎进行关键词的采集可以帮助用户更快速地找到需要的信息,并使其变得更加高效和有针对性。 通过输入相关的问题,可以找到与该问题相关的文章、视频、知识库等信息,从而解决问题并提高工作效率。总之,搜索引擎是一种重要的信息搜索工具,可以帮助企业在各方面提高工作效率和竞争力。 关键词:搜索引擎结果采集、域名采集、URL采集、网址采集、全网域名采集、CMS采集联系信息采集支持亿级数据存储、导入、重复判断等。 ;3:可从用户提供的网站列表数据中,全自动的提取出网站联系方式信息,包括但不限于邮箱、手机/电话、QQ、微信、facebook、twitter等。

    1.1K20编辑于 2023-04-04
  • 来自专栏陶士涵的菜地

    获取系统的联系信息

    内容提供是实质上是个接口,后门,他给别人提供数据,系统联系人是个比较复杂的内容通过者。 -journal,这个文件和数据库的事务相关 联系人应用数据库的主要结构 raw_contacts 联系人表 contact_id 联系人id data数据表 raw_contact_id联系人id, mimetype_id数据类id,data1数据 mimetypes类型表 1 email,5 phone,7 name 查询所有的联系信息: 查询raw_contacts表把联系人id取出来 根据id 和值new String[]{id} 世面上的很多应用都是取出了联系人的信息,社交应用一般都有发送信息给对方,读取系统联系人 需要定义权限:<uses-permission android:name=" com.android.contacts/raw_contacts"); Uri dataUri=Uri.parse("content://com.android.contacts/data"); //循环联系人表

    1.2K20发布于 2019-09-10
  • 来自专栏Lan小站

    汤圆创作小说检索信息采集

    前段时间,因为一些原因,所以需要对这个汤圆创作的小说进行检索,于是写了几行python代码解析了一下搜索出来的结果的信息

    81530编辑于 2022-07-14
  • 来自专栏科控自动化

    3.4 采集信息--传感器

    传感器是什么 传感器是一种装置,它的用途在于检测周边环境的物理变化,将感受到的信息转换成电子信号的形式输出。人类用五种感官来感知环境的变化,设备则用传感器来感知。 只要通过网络把采集到的这些数据汇集到服务器,就能持续监测基础设施了。 从广义上来说,这些传感器与变阻器(通过调节刻度盘来增减阻值的一种电阻)没有什么差别。 前面已经介绍过,微控制器负责接收传感器输出的信息及控制设备。那么具体要如何用微控制器处理电子信号呢? 要想知道答案,就需要理解传感器输出的电子信号的特性。所有的传感器都普遍具有以下特性。 ● 毫伏级的微弱信号 ● 输出的是含有一定噪声的模拟信号 针对上述这种情况,从传感器信号中获取所需信息时,就需要进行一种叫作“信号处理”的预处理,流程如图 3.31 所示。 ● 反相放大电路:反转极性(把正负极反过来)并输出放大的值 ● 差分放大电路:把两个输入电压的差值放大并输出 建议大家根据传感器和所要获取的信息的类型来安装和使用合适的放大电路。

    99310编辑于 2022-03-29
  • 来自专栏ASP.NETCore

    Prometheus采集Java程序指标信息

    采集Java程序JVM信息 本文实例代码 https://github.com/yoyofx/java-metric-prometheus 创建 Spring Boot Application 应用程序

    76430编辑于 2023-05-26
  • 来自专栏代码小技巧分享分析

    iOS获取通讯录联系信息

    IOS关于通讯录的开发有两种,一种是直接调用系统的通讯录界面,根据回调信息处理数据,另一种是直接获取系统的通讯录,完全自定义UI,并且可以通过官方给我们提供的接口进行读写。 IOS获取系统通讯录联系信息 一、权限注册 随着apple对用户隐私的越来越重视,IOS系统的权限设置也更加严格,在获取系统通讯录之前,我们必须获得用户的授权。         //等待信号触发          dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);     }else{         //IOS6之前 二、获取通讯录联系人详细信息     //获取所有联系人的数组     CFArrayRef allLinkPeople = ABAddressBookCopyArrayOfAllPeople(addBook ,社交信息,邮箱信息,各种类型的电话信息,字段如下:  //相关人,组织字段 const ABPropertyID kABPersonKindProperty;  const CFNumberRef kABPersonKindPerson

    2.1K40发布于 2021-10-29
  • 来自专栏全栈程序员必看

    信息熵、信息增益、条件熵基本概念及联系「建议收藏」

    1、 信息熵:H(X) 描述X携带的信息量。 信息量越大(值变化越多),则越不确定,越不容易被预测。 对于抛硬币问题,每次有2种情况,信息熵为1 对于投骰子问题,每次有6中情况,信息熵为1.75 下面为公式:   其中log2(p)可以理解为p这个需要用几个bit位表示。 信息熵特点:(以概率和为1为前提哈)   a) 不同类别的概率分布越均匀,信息熵越大;   b) 类别个数越多,信息熵越大;   c) 信息熵越大,越不容易被预测;(变化个数多,变化之间区分小,则越不容易被预测 )(对于确定性问题,信息熵为0;p=1; E=p*logp=0) 2、 信息增益IG(Y|X): 衡量一个属性(x)区分样本(y)的能力。 当新增一个属性(x)时,信息熵H(Y)的变化大小即为信息增益。 IG(Y|X)越大表示x越重要。

    96810编辑于 2022-07-20
  • 来自专栏Ms08067安全实验室

    GetInfo windows应急响应信息采集工具

    GetInfo介绍 快速收集 Windows 相关信息,为应急响应争取更多的时间 Windows Emergency Response (应急响应信息采集) Windows information collection 功能列表 ✔️进程列表 ✔️系统服务 ✔️系统日志 ✔️网络连接 ✔️HOST信息 ✔️计划任务 ✔️已装软件 ✔️系统补丁 ✔️硬件信息:网卡、缓存、物理内存 ✔️系统启动项 ✔️路由表 ✔️ARP信息 ✔️防火墙 ✔️远程桌面(mstsc) ✔️Recent文件 ✔️Prefetch文件 ✔️USB使用信息 ✔️共享资源 ✔️用户信息及SID ✔️IP信息 ✔️近三天内修改的文件 GetInfo.exe 云中转网盘: https://www.yunzhongzhuan.com/#sharefile=NeJlMEZ8_47044 解压密码:www.ddosi.org 使用截图 导出的信息在桌面的

    1.4K40编辑于 2022-09-26
  • 小红书评论采集工具,UID采集提取用户信息,python最新采集模块分享

    主程序实现了笔记详情获取、评论采集和用户信息提取功能,工具模块提供了数据处理方法,执行脚本展示了完整采集流程。使用时需要配置合适的请求头和Cookie,并注意控制采集频率。 获取笔记评论 print("开始采集评论数据...") all_comments = [] for page in range(1, 6): # 采集前5页评论 comments = crawler.get_note_comments( 提取评论中的用户ID并获取用户信息 print("开始提取用户ID并采集用户信息...") {len(user_infos)} 个用户信息")if __name__ == "__main__": main()

    2K10编辑于 2025-07-17
  • 来自专栏一“技”之长

    iOS获取通讯录联系信息

    iOS获取系统通讯录联系信息 一、权限注册 随着apple对用户隐私的越来越重视,IOS系统的权限设置也更加严格,在获取系统通讯录之前,我们必须获得用户的授权。         //等待信号触发          dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);     }else{         //IOS6之前 二、获取通讯录联系人详细信息     //获取所有联系人的数组     CFArrayRef allLinkPeople = ABAddressBookCopyArrayOfAllPeople(addBook ,社交信息,邮箱信息,各种类型的电话信息,字段如下:  //相关人,组织字段 const ABPropertyID kABPersonKindProperty;  const CFNumberRef kABPersonKindPerson CFStringRef kABPersonPhoneOtherFAXLabel AB_EXTERN const CFStringRef kABPersonPhonePagerLabel; // 即时聊天信息相关字段

    1.6K40发布于 2018-08-15
  • 来自专栏HONEYWELL

    ABB 4943013-6 用于数据采集

    ABB 4943013-6 用于数据采集图片edgeConnector Siemens模块是一个高度灵活的先进应用程序,您可以立即部署、调整、启动或停止,从而提高生产的可扩展性和灵活性。

    26120编辑于 2023-04-28
  • 来自专栏DBA随笔

    一个表主键信息采集脚本

    一个表主键信息采集脚本 今天在做数据库巡检的时候,想到了一个巡检项,就是想看看线上环境目前有哪些表没有使用主键,分析这个信息可以发现一些业务在查询的时候的潜在问题,由于这个信息从来没有采集过 ,所以需要重新写一个脚本去采集。 这个问题可能算是比较简单的问题了,我们都知道information_schema中的tables表上面有数据库中的所有表的信息,所以我们用一条简单的SQL就能获得数据库中的所有表: mysql> select ----------------------------------------+ 126 rows in set (0.02 sec) 从结果中我们可以看出,这条命令输出了数据库中的所有表和视图的信息 大体的思路就是上面那样,详细的脚本如下,里面给出了每个函数的注释: ##获取所有的实例信息,保存在一个info_from_sys.tmp的文件中 ps -ef|grep mysql |grep -w mysqld

    65910发布于 2019-11-06
  • 【实时同步处理与分析设备采集信息

    } } private void process(DeviceData data) { // 解析和分析数据的具体逻辑 // 生成异常信息和单设备信息记录 // 记录采集数据的ID System.out.println("Processing data: " + data.getId()); } public String[] args) { DeviceDataProcessor processor = new DeviceDataProcessor(); // 模拟数据采集并添加到处理队列中 addData()方法用于将采集到的数据添加到处理队列中,startProcessing()方法启动一个无限循环,不断从队列中取出数据进行处理。 在main()方法中,我们使用一个线程模拟数据的采集,并将每次采集到的数据添加到处理队列中。然后调用startProcessing()方法启动数据处理过程。

    16710编辑于 2025-08-29
  • 来自专栏Python分享

    【Python爬虫】拉钩网招聘信息数据采集

    ba4d90f0-3db5-4647-a86e-411ee3d5bfef; __lg_stoken__=08639898fbdd53a7ebf88fa16e895b59a51e47738f45faef6a32b9a88d6537bf9459b2c6d956a636a99ff599c6a260f04514df42cb77f83065d55f48a2549e60381e8da811b8 -7823-4a2d-9d80-258caf018f02; _ga=GA1.2.903785807.1634386346; _gat=1; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6 GA1.2.701447082.1634386346; X_HTTP_TOKEN=ba154973a88f2f64153683436141effc1d544fa2ed; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6

    1.2K20发布于 2021-10-26
  • 来自专栏ASP.NETCore

    Prometheus采集ASP.NET Core指标信息

    ASP.NET Core Prometheus 集成&采集&展示 本文实例代码 https://github.com/yoyofx/dotnet-metric-prometheus 创建 ASP.NET system_net_sockets_incoming_connections_established gauge system_net_sockets_incoming_connections_established 5 采集

    1.5K20编辑于 2023-05-26
  • 来自专栏python开发教程

    Python批量采集云南携程酒店信息

    昨天收到一个订单需求需要爬取携程云南酒店的名称,价格,评分,点评数,道路特点和地址信息1000条用来做酒店数据分析的工作,虽然1000条数据量不是很大,但是复制粘贴也需要花费很长的时间而且数据也不好整理 本次数据采集总共有四个步骤:1.分析目标网址;2.获取网站响应内容;3.解析网站响应内容;4.保存响应内容。 右击鼠标打开检查,下拉页面搜索搜索更多酒店,会发现出现两个包,其中下面那个包就是酒店信息的包,我们会发现请求为POST,这样就顺利就抓到酒店信息的包了。 我们打开headers发现请求地址,请求方式,请求状态码,请求头信息,cookie信息,refer信息都在,往下翻还有Requst playroad,打开searchCondition,发现入住日期,离开日期 ,入住人数,城市,页数,酒店数量都在这个字典中,后期我们只需要更换页码就可以拿到更多页的酒店信息,更换日期就可以拿到不同时间段的酒店信息,更换城市姓名和城市id就可以拿到更多城市的信息

    2.2K30编辑于 2022-08-26
  • 来自专栏二爷记

    微信公众号文章采集工具,可采集文章文字内容信息及图片

    2.部分文章图片采集存在BUG,望见谅! 3.工具为python编写,技术渣,只能到这里了! 微信公众号文章采集工具说明: 1.打开weixincj.exe文件 2.输入需要采集的微信公众号文章链接地址 3.回车等待程序运行 4.采集完毕5s后程序自动退出 ? 采集过程中会自动生成目录 weixin 采集完毕,采集内容存放于weixin目录下的微信公众号文章标题目录 内容为图片及txt文档 ? 下载地址 百度云: 链接: https://pan.baidu.com/s/1pCqptL6QwnP2eUeyAABnYA 提取码: sxca 需知: exe程序运行环境为win7 64位操作系统 get_content(url) print(f'采集完毕,程序5s后自动关闭!')

    2.3K20发布于 2020-07-22
领券