首页
学习
活动
专区
圈层
工具
发布

使用python批量检查url的有效性

因为工作需要,之前用python写了一些批量校验url有效性的小脚本,但并不全面,健壮性较差,现把之整理一下,代码如下: #!...#else 中不用再判断 response.code 是否等于200,若没有抛出异常,肯定返回200,直接关闭即可 response.close() finally: pass...有效,则可以正常通过urlopen取到response,并且response.getcode()等于200; 但若url无效,无论是无法找到服务器还是其他http错误,都无法通过urlopen返回response...这个时候,就需要通过返回的错误类型来判断错误到底是url错误还是http错误。上面的程序是通过错误类型所拥有的属性来判断的。...当然,也可以在except中分别指定抛出的错误类型,进而进行不同的处理。

4.9K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    检查替换后的词是否有效(栈)

    题目 给定有效字符串 “abc”。 对于任何有效的字符串 V,我们可以将 V 分成两个部分 X 和 Y,使得 X + Y(X 与 Y 连接)等于 V。(X 或 Y 可以为空。)...那么,X + “abc” + Y 也同样是有效的。 例如,如果 S = “abc”,则有效字符串的示例是:“abc”,“aabcbc”,“abcabc”,“abcabcababcc”。...无效字符串的示例是:“abccba”,“ab”,“cababc”,“bac”。 如果给定字符串 S 有效,则返回 true;否则,返回 false。...示例 2: 输入:"abcabcababcc" 输出:true 解释: "abcabcabc" 是有效的,它可以视作在原串后连续插入 "abc"。...解题 首先字符串长度必须为3的倍数,且以 a 开始 采用栈将 ab 压栈,遇到 c 的时候出栈,且栈顶必须为 b,后续为 a 最后栈为空才全部匹配了 class Solution { public:

    1.4K20

    Python批量检查网页是否被注入其他页面

    代码思路:对于给定的文件夹中所有网页文件,读取其内容,然后使用正则表达式检查该文件中是否包含iframe框架,如果有的话就返回文件名和iframe代码,表示是一个怀疑对象,但这并不意味着网页被攻击。...import os import re def detectIframe(fn): #存放网页文件内容的列表 content = [] with open(fn, encoding='utf8...') as fp: #读取文件所有行,删除两侧的空白字符,然后添加到列表中 for line in fp: content.append(line.strip()) #把所有内容连接成字符串...>', content) if m: #返回文件名和被嵌入的框架 return {fn:m} return False #遍历当前文件夹中所有html和htm文件并检查是否被嵌入框架...os.listdir('.') if f.endswith(('.html','.htm'))): r = detectIframe(fn) if not r: continue #输出检查结果

    1.8K110

    检查网格中是否存在有效路径(BFS)

    题目 给你一个 m x n 的网格 grid。网格里的每个单元都代表一条街道。grid[i][j] 的街道可以是: 1 表示连接左单元格和右单元格的街道。 2 表示连接上单元格和下单元格的街道。...3 表示连接左单元格和下单元格的街道。 4 表示连接右单元格和下单元格的街道。 5 表示连接左单元格和上单元格的街道。 6 表示连接右单元格和上单元格的街道。 ?...你最开始从左上角的单元格 (0,0) 开始出发,网格中的「有效路径」是指从左上方的单元格 (0,0) 开始、一直到右下方的 (m-1,n-1) 结束的路径。该路径必须只沿着街道走。...如果网格中存在有效的路径,则返回 true,否则返回 false 。 示例 1: ?...输入:grid = [[1,2,1],[1,2,1]] 输出:false 解释:如图所示,单元格 (0, 0) 上的街道没有与任何其他单元格上的街道相连,你只会停在 (0, 0) 处。

    7.2K10

    Python实战 | 如何一次检查大量网页是否更新?

    源 | The News Len 译 | @IT技术头条 整理 | AI时间 以Python写一个自动检查多个网址是否更新的程式,可以追踪相关网页的最新动态 因为小编工作需要,不时要检查一大堆网站是否有更新或变动...,如一些技术博主是否有最新公布的文章,公司的研究部是否发布了最新研究,这些网站不少是没有提供电邮提示,又或RSS的,因此今次以Python写一个自动检查多个网址是否更新的程序,可以追踪相关网页的最新动态...如何检查一个网页是否有改动呢?理论上当然可以把网页的内容全部下载,然后与上一次下载的内容逐字逐句比较,但这颇为费时失事,较有效率的做法,是比较其杂凑值(hash value)。...当然,这个简单的程式有其限制,就是即使网页有改变,也不一定是用户想知的资料,用户还是要亲自检查,同时,有些网页可能动态改变内容,令本程式以为网页每次都在更新。...用户可以自由修改或增删网页名单,程式会自动更新json档案,但若是新加入site名单中的网页,由于之前未有计算杂凑值,故此首次检查都表明是有更新。 ?

    2.5K30

    如何快速检查网站是否被百度收录?亲测有效的3种方式!

    很多企业网站都遇到的尴尬现实不少老板都会问:“我网站上线好几个月了,怎么还是没流量、没人咨询啊?”其实,大部分问题都卡在 一个最基础但最容易被忽略的点——网站是否被百度收录。...但现实是:你不检查,它可能根本没收录。你不提交,它就慢慢等,甚至不收录。而且很多新站、小站,因为权重低、内容少、更新慢……很容易出现 收录慢、收录少、甚至不收录 的情况。...知道怎么查收录后,重点来了:怎么让百度主动收录你的网站?分享3个亲测有效的免费方法——1....给百度“递名片”:主动提交网站链接别等爬虫“偶遇”你的网站,直接去百度搜索资源平台“手动投稿”:● “URL提交”:新页面写完,复制链接粘贴到这里,百度最快24小时就能收录;● “sitemap地图”:...abcdefg.html,简化成www.xxx.com/product/abc.html;● 加“面包屑导航”:比如“首页>产品中心>装修案例>办公室装修”,让爬虫知道自己“在哪儿”;● 别搞“死链接”:定期检查有没有打不开的页面

    3.1K10

    检查app的activity是否在当前

    APP开发中经常会遇到这种需求,需要检查当前的APP是不是可见的,比如,如果是可见的就维持一个socket长连接,如果切到后台不可见了,就断开这个连接。...不过还好Android的Activity的生命周期给我们提供了一种解决这个问题的方法,我们只需要在每个Activity的onStart和onStop中去维持一个计数,如果这个数值大于0,就表示我们的APP...说到这里你可能要想,是不是直接修改我的APP的BaseActivity,在基类里做计数的事情就好了。当然,这是最直接的一种方法。...但是,这种方法需要你去修改自己的基类代码,侵入性太强,我不是很喜欢这种方法。更好的方式是使用sdk提供的Application.ActivityLifecycleCallbacks接口。...生命周期的监听了。

    2.1K90

    检查Linux是否被入侵的方法

    一、检查系统日志 lastb //检查系统错误登陆日志,统计IP重试次数 二、检查系统用户 1、cat /etc/passwd //查看是否有异常的系统用户 2、grep "0" /etc/passwd...//查看是否产生了新用户,UID和GID为0的用户 3、ls -l /etc/passwd //查看passwd的修改时间,判断是否在不知的情况下添加用户 4、awk -F : '$3==0 {print...$1}' /etc/passwd //查看是否存在特权用户 5、awk -F : 'length($2)==0 {print $1}' /etc/shadow //查看是否存在空口令帐户 三、检查异常进程...//1、注意UID为0的进程 ps -ef //2、察看该进程所打开的端口和文件 lsof -p pid //3、检查隐藏进程 ps -ef | awk '{print }' | sort -n |...模式,可能存在sniffer) lsof –i netstat -anp //(察看不正常打开的TCP/UDP端口) ss arp -a 七、检查系统计划任务 crontab -u root -l cat

    4.1K81

    判断自己的isa 指向的类是否等于传入的类

    isKindOfClass: 判断自己的isa 指向的类是否等于传入的类,不等于的话,找自己的继承连中的父类看有没有等于传入的类,有则YES,没有则NO isMemberOfClass 判断自己的isa...指向的类是否等于传入的类,等于则YES,不等于则NO 源码: // 类对象,是否是指定的元类的实例 + (BOOL)isMemberOfClass:(Class)cls { return object_getClass...((id)self) == cls; } // 实例对象,是否是指定的类的实例 - (BOOL)isMemberOfClass:(Class)cls { return [self class] ==...cls; } // 类对象,是否是指定的元类cls的实例,或者是cls继承者链中子类的实例 + (BOOL)isKindOfClass:(Class)cls { for (Class tcls = object_getClass...((id)self); tcls; tcls = tcls->super_class) { if(tcls == cls) return YES; } return NO; } // 实例对象,是否是指定的类的实例

    88640

    抓取网页的含义和URL基本构成

    抓取网页是指通过爬虫程序从互联网上获取网页的内容和数据。抓取网页是爬虫的核心功能之一,通过抓取网页,可以获取到网页中的文本、图片、链接等信息,用于后续的数据分析、挖掘和应用。...URL(Uniform Resource Locator)是统一资源定位符的缩写,是用来标识和定位互联网上资源的地址。URL由多个部分组成,包括协议、域名、端口、路径和查询参数等。...通过解析URL,爬虫可以确定要抓取的目标网页的地址,并发送HTTP请求获取网页的内容。爬虫还可以根据URL的特定规则和模式,构造新的URL,用于抓取更多的相关网页。...URL是用来标识和定位互联网上资源的地址,由协议、域名、端口、路径和查询参数等部分组成。通过解析URL,爬虫可以确定要抓取的目标网页的地址,并发送HTTP请求获取网页的内容。...了解URL的基本构成和使用方法,是进行网页抓取和爬虫开发的基础。图片

    1.2K20

    如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?

    若此时随便输入一个 url,你如何快速判断该 url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出。...URL字符串通过Hash得到一个Integer的值,Integer占4个字节,那20亿个URL理论上需要:20亿*4/1024/1024/1024=7.45G的内存,不满足空间复杂度的要求。...它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。...判断逻辑: 如果byte数组上的第二位是1,那么这个URL(X)可能存在。为什么是可能?因为有可能其它URL因哈希碰撞哈希出来的也是2,这就是误判。...使用场景 1、黑名单 2、URL去重 3、单词拼写检查 4、Key-Value缓存系统的Key校验 5、ID校验,比如订单系统查询某个订单ID是否存在,如果不存在就直接返回。

    3.9K30

    如何判断某网页的 URL 是否存在于包含 100 亿条数据的黑名单上

    ,本篇文章讲解的是 大数据小内存的判重(去重)问题 题目描述 现在想要实现一个网页过滤系统,利用该系统可以根据网页的 URL 判断该网页是否在黑名单上,黑名单现在已经包含 100 亿个不安全网页的 URL...,每个网页的 URL 最多占用 64B(字节) 大小。...这样,存储了黑名单中 200 亿条 URL 的布隆过滤器就构造完成了 那么假设这时又来了一个新值,如何判断这个新值之前是否已经存在呢?(如何判断某个网页的 URL 是否在黑名单上呢?)...记这个网页的 URL 为 input,想检查它是否是存在于黑名单(BitMap)中,就把 input 通过同样的 k 个哈希函数,得到 k 个值,然后继续同样地把 k 个值取余(%m),就得到在 [0,...所以用布隆过滤器设计的系统,总结来说就是:黑名单中存在的 URL,一定能够检查出来,黑名单中不存在的 URL,有比较小的可能性被误判。

    1.8K10

    使用pexpect检查SSH上的文件是否存在

    使用 pexpect 模块可以在 Python 中执行命令并检查其输出。你可以使用 ssh 命令连接到远程服务器,并执行 ls 命令检查文件是否存在。...下面我就列举几个我经常遇到的几个错误并做个详细的解决方案。1、问题背景用户需要编写一个 Python 脚本,以检查一个文件是否存在于另一台计算机上,该计算机可以通过 SSH 访问。...2、解决方案提出了以下三种解决方案:方案 1:检查 SSH 命令的返回码使用 SSH 命令检查文件是否存在,并检查返回码。...定义一个函数 hostFileExists() 或 hostExpect() 来检查文件是否存在,并返回一个值来指示文件是否存在。...任何一种方案都能够解决用户的问题,即检查一个文件是否存在于另一台计算机上,该计算机可以通过 SSH 访问。用户可以选择一种最适合自己情况的方案。

    8.1K11

    【亲测有效】无法定位链接器!请检查 toolslink.ini 中的配置是否正确的解决方案

    在进行易语言静态编译的时候,出现了如下错误: 正在进行名称连接... 正在统计需要编译的子程序 正在编译......正在生成主程序入口代码 程序代码编译成功 等待用户输入欲编译到的文件名 正在进行名称连接... 开始静态链接... 无法定位链接器!请检查 tools\link.ini 中的配置是否正确。...解决方案: 打开易语言工作目录(如果你不知道的话,那就找到易语言的快捷方式图标,然后右键-->属性-->查找文件或打开文件位置) 找到一个名为“VC98linker”的文件夹(如果你的易语言目录里面没有就百度下载...2.将下载的链接器解压缩后的文件夹“VC98linker”放到易语言安装目录中 ? 易语言静态编译连接器 3.链接器配置 在文件夹“VC98linker”中找到“link.e”文件,打开此易程序。...链接器配置 4:按下F5运行“link.e”文件,点击“修改”按钮即完成链接器配置即可完成静态连接器的配置。 ? 易语言静态连接器修改

    7.6K20
    领券