首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Hank’s Blog

    4-2 R语言函数 apply

    #apply函数,沿着数组的某一维度处理数据 #例如将函数用于矩阵的行或列 #与for/while循环的效率相似,但只用一句话可以完成 #apply(参数):apply(数组,维度,函数/函数名) > x <- matrix(1:16,4,4) > x [,1] [,2] [,3] [,4] [1,] 1 5 9 13 [2,] 2 6 10 14 [3,] 3 7 11 15 [4,] 4 8 12 16 >

    70510发布于 2020-09-16
  • 来自专栏Java

    试题 算法训练 4-2找公倍数

    试题 算法训练 4-2找公倍数 资源限制 内存限制:256.0MB C/C++时间限制:1.0s Java时间限制:3.0s Python时间限制:5.0s 问题描述   这里写问题描述。   

    24510编辑于 2025-01-21
  • 来自专栏趣学算法

    数据结构 第4-2讲 双向链表

    数据结构第4-2讲双向链表 链表是线性表的链式存储方式,逻辑上相邻的数据在计算机内的存储位置不一定相邻,那么怎么表示逻辑上的相邻关系呢? 可以给每个元素附加一个指针域,指向下一个元素的存储位置。

    95440发布于 2018-09-13
  • 来自专栏sringboot

    x86汇编加载用户程序-4-2

    索引寄存器的端口号是 0x3d4,可以向它写入一个值,用来指定内部的某个寄存器。比如, 两个 8 位的光标寄存器,其索引值分别是 14(0x0e)和 15(0x0f),分别用于提供光标位置的高 8 位和低 8 位。 指定了寄存器之后,要对它进行读写,这可以通过数据端口 0x3d5 来进行。 高八位 和第八位里保存这光标的位置,显卡文本模式显示标准是25x80,这样算来,当光标在屏幕右下角时,该值为 25×80-1=1999

    1K30编辑于 2021-12-06
  • 来自专栏爬虫逆向案例

    012:tkinter+爬虫设计对联软件

    今天用Python设计一个小的对联软件! 其中运用到tkinter模块: tkinter是Python下面向tk的图形界面接口库,可以方便地进行图形界面设计和交互操作编程。 先看下我们的软件效果图: 首先,程序的界面设计还是利用tkinter来进行设计。 通过tkinter的Entry类来输入我们的上联,然后通过button按钮,来启动程序进行设计。 通过绑定的函数实现了爬虫的抓取和对联的保存。 row=1, column=0, sticky=W,pady=10) root.mainloop() 界面设计完成了,而且绑定的函数也已经确定,接下来就是如何利用绑定的函数,来实现我们的后续操作,也就是爬虫抓取和保存

    1.3K10发布于 2021-11-22
  • 来自专栏超级码力

    🦀️ 后羿采集器——最良心的爬虫软件

    下面我们就来聊聊,这款软件的优秀之处。 一、产品特点 1.跨平台 后羿采集器是一款桌面应用软件,支持三大操作系统:Linux、Windows 和 Mac,可以直接在官网上免费下载[2]。 市面上有很多的数据采集软件,出于商业化的目的,多多少少会对数据导出进行限制。不清楚套路的人经常用相关软件辛辛苦苦采集了一堆数据,结果发现导出数据需要花钱。 3.XPath/CSS/Regex 无论是什么爬虫软件,他们都是基于一定的规则去抓取数据的。XPath/CSS/Regex 就是几个常见的匹配规则。 定时抓取 定时抓取非常好理解,就是到了某个固定的时间爬虫软件就会自动抓取数据。市面上有一些比价软件,背后就是运行着非常多的定时爬虫,每隔几分钟爬一下价格信息,以达到价格监控的目的。 这时候爬虫软件就会自己维护一个 IP 池,用不同的 IP 发送请求,降低 IP 封锁的概率。 打码功能 这个功能就是内置了验证码识别器,可以实现机器打码 or 手动打码,也是绕过网站风控的一种方法。

    7K21编辑于 2022-02-23
  • 来自专栏育种数据分析之放飞自我

    笔记 | GWAS 操作流程4-2:LM模型+数值协变量

    上一篇,我们介绍了数量性状进行GWAS的一般线性模型分析的方法(笔记 | GWAS 操作流程4:LM模型assoc),这里我们考虑一下数字协变量,然后用R语言进行对比。

    1.5K20发布于 2020-05-26
  • 来自专栏友弟技术工作室

    go爬虫框架colly源码以及软件架构分析

    官方的介绍,gocolly快速优雅,在单核上每秒可以发起1K以上请求;以回调函数的形式提供了一组接口,可以实现任意类型的爬虫;依赖goquery库可以像jquery一样选择web元素。 安装使用 colly 官网 go get -u github.com/gocolly/colly/... import "github.com/gocolly/colly" 架构特点 了解爬虫的都知道一个爬虫请求的生命周期 = nil情况下调用比较多, 爬虫异常的情况下,会调用 // OnError registers a function. data-timespan=\"7d\"]", "data-percentusd"), }) }) 总结 好了,介绍完了,我没有介绍如何使用,我自己也没有写任何的代码, 我只想分享给你这种软件架构的特点以及设计模式 下面这张图很形象,爬虫框架就这些东西。 通用爬虫框架架构

    2.4K40发布于 2019-05-19
  • 来自专栏Python程序员杂谈

    python爬虫,从sohu上抓小说《人形软件

    上次发的从sina上抓小说的代码,这次来一个sohu的,不过总结python爬虫的方法,其实无外乎urllib和正则表达式的使用。掌握了这俩,基本就是有了就抓。

    87920发布于 2019-02-28
  • 来自专栏cwl_Java

    C++编程之美-数学之趣(代码清单4-2)

    代码清单4-2 struct point { double x, y; }; double Product(point A, point B, point C) { return

    33130编辑于 2022-11-30
  • 来自专栏Android点滴积累

    IOS Widget(4-2):创建可配置小组件(动态修改配置数据)

      上一篇文章,讲解了如果通过配置修改小组件行为,只不过配置数据是写死的,本文将继续探索配置数据的高级用法,配置数据在小组件中动态创建的

    4.2K11发布于 2021-05-10
  • 来自专栏历史专栏

    【愚公系列】2021年12月 攻防世界-进阶题-MISC-072(4-2)

    文章目录 一、4-2 二、答题步骤 1.词频分析 总结 一、4-2 题目链接:https://adworld.xctf.org.cn/task/task_list?

    62120编辑于 2021-12-09
  • 来自专栏AI机器学习与深度学习算法

    机器学习入门 4-2 scikit-learn中的机器学习算法封装

    本系列是《玩转机器学习教程》一个整理的视频笔记。本小节主要介绍使用sklearn实现KNN算法。

    1.1K00发布于 2019-11-13
  • 来自专栏Python大数据分析

    推荐这6款自动化爬虫软件,非常实用!

    爬虫软件通常由以下几部分组成:- 用户代理(User-Agent):模拟浏览器访问,避免被网站识别为机器人。- 请求处理:发送HTTP请求,获取网页内容。 案例:推荐我常用的爬虫工具,三种爬虫方式,搞定反爬和动态页面八爪鱼采集器八爪鱼是一款面向非技术用户的桌面端爬虫软件,以其可视化操作和强大的模板库而受到青睐。 使用案例:使用八爪鱼爬虫+Kimi AI分析小米SU7舆情数据,终于知道它为什么火了HTTrackHTTrack是一款免费且功能强大的网站爬虫软件,它允许用户下载整个网站到本地计算机。 在选择爬虫软件时,你应根据自己的需求和技能水平进行选择。无论是需要简单的数据抓取,还是复杂的数据挖掘和分析,市场上的爬虫工具都能提供相应的解决方案。 同时,使用爬虫软件时,也应遵守相应的法律法规,尊重数据的版权和隐私。

    6.5K10编辑于 2024-09-05
  • 爬虫工具】用python开发的youtube油管评论采集界面软件

    一、背景介绍用python开发的GUI桌面软件,作用是爬取YouTube指定视频的评论,6个关键字段,含:评论id、评论内容、评论时间、评论作者昵称、评论作者频道、点赞数1.1 软件说明几点重要说明: 三、爬虫代码3.1 界面模块软件界面采用tkinter开发。 主窗口部分:# 创建主窗口root = tk.Tk()root.title('YouTube评论爬虫 | 马哥python说')# 设置窗口大小root.minsize(width=850, height root, bg='#ffffff', width=20, textvariable=video_id)entry.place(x=160, y=50, anchor='nw') # 摆放位置3.2 爬虫模块通过请求 3.3 日志模块好的日志功能,方便软件运行出问题后快速定位原因,修复bug。

    75120编辑于 2025-03-21
  • 【油管爬虫】用Python开发的YouTube红人博主采集软件

    为了深入挖掘创作者的商业价值并促进业务合作,我使用Python开发了一款名为“爬油管博主软件”的爬虫工具。以下是关于该工具的详细说明。二、软件界面与功能2.1用户界面本软件界面友好,操作简便。 界面如下所示:(目前已升级至v1.7版)2.2功能特点模拟浏览器爬取:通过模拟浏览器行为,有效避免反爬虫机制。筛选功能:支持按地区和粉丝数范围筛选博主。多设置项支持:可设置多个搜索关键词和国家地区。 3.2部分代码实现软件界面实现使用tkinter创建主窗口和组件:展开代码语言:PythonAI代码解释root=tk.Tk()root.title('YouTube博主采集软件v1.7')root.minsize entry.place(x=110,y=130,anchor='nw')tk.Label(root,justify='left',fg='red',text='多关键词以|分隔').place(x=650,y=130)爬虫模块实现使用 五、软件运行过程演示视频:请见原文。六、作者声明软件基于python语言开发,首发于本人公众号。如需了解更多技术细节或进行专业交流,可通过正规渠道联系开发者。工具使用需严格遵守相关法律法规和平台规定。

    49410编辑于 2025-12-09
  • 来自专栏Mac应用教程

    Screaming Frog SEO Spider Mac激活版(尖叫青蛙网络爬虫软件)

    Screaming Frog SEO Spider Mac版可以抓取网站的网址,并且能够实时分析结果。通过seo spider mac版分析以后,就可以得到自己需要的数据,同时也可以通过抓取的功能测试网页的功能,分析一切无法响应的网页,分析打开具有病毒提示的网页,无论是检测企业网站还是搜索网络的资源都是非常方便的!

    1.7K20编辑于 2022-08-23
  • 来自专栏PPV课数据科学社区

    【重磅】33款可用来抓数据的开源爬虫软件工具

    这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 世界上已经成型的爬虫软件多达上百种,本文对较为知名及常见的开源爬虫软件进行梳理,按开发语言进行汇总。 虽然搜索引擎也有爬虫,但本次我汇总的只是爬虫软件,而非大型、复杂的搜索引擎,因为很多兄弟只是想爬取数据,而非运营一个搜索引擎。 ? Java爬虫 1. 、本地文件系统的爬虫软件。 (原soukey采摘) Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件,也是网站数据采集软件类型中唯一一款开源软件

    7.1K51发布于 2018-04-24
  • 来自专栏以终为始

    顺序表应用4-2:元素位置互换之逆置算法(数据改进)(SDUT 3663)

    一个长度为len(1<=len<=1000000)的顺序表,数据元素的类型为整型,将该表分成两半,前一半有m个元素,后一半有len-m个元素(1<=m<=len),设计一个时间复杂度为O(N)、空间复杂度为O(1)的算法,改变原来的顺序表,把顺序表中原来在前的m个元素放到表的后段,后len-m个元素放到表的前段。 注意:交换操作会有多次,每次交换都是在上次交换完成后的顺序表中进行。

    43810编辑于 2023-03-09
  • 来自专栏小红书采集软件

    爬虫软件】小红书评论区批量采集,含二级评论

    因此,我用python开发了一个爬虫采集软件,可自动抓取小红书评论数据,并且含二级评论数据。为什么有了源码还开发界面软件呢? 效果截图软件界面截图:部分爬取数据:演示视频软件运行演示:【软件演示】小红书评论采集工具,可爬取上万条,含二级评论! 软件说明几点重要说明:二、代码模块介绍爬虫采集模块通过把已有代码部分封装成class类,供tkinter界面调用。详细爬虫实现逻辑,请见历史文章。 软件界面模块软件界面采用tkinter库开发,Tkinter是Python的一个标准GUI库,用于创建图形用户界面。 一个好的日志模块,有助于软件运行出问题后快速定位原因,以及追溯运行历史记录。

    3.6K30编辑于 2024-07-08
领券