首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏入门到放弃之路

    AI新闻爬虫:传统爬虫和XHR异步加密爬虫的碰撞

    36氪和虎嗅网这两个网站新闻爬虫比较具有代表性,36氪是传统的html网页爬虫,虎嗅网是异步api加载加密的爬虫,这里就从简单的36氪讲起。 可以看到关键字出现在了html中,而不是xhr接口中,所以在36Kr获取最新的AI快讯就就是对HTML进行解析即可。接着看看HTML请求头信息,获取URL来获取HTML。 在控制台通过搜索关键字,我们在xhr异步接口中发现了新闻咨询内容。 如图,新闻数据通过接口请求返回json的方式渲染的,而非36Kr返回的HTML,所以虎嗅网AI新闻咨询爬虫就是一个比较常见的XHR动态加载的爬虫。 nonce是调用 D() 方法生成的字符串,就是从A-Z|0-9|a-z中随机抽取16个字符。

    1.7K50编辑于 2024-03-12
  • 来自专栏Web Front End

    XHR对象中的withCredentials

    domain-a.com 站点发送一个 api.domain-b.com/get 的请求,默认是不会携带 api.domain-b.com 域下的 cookie,如果我们想携带(很多情况下是需要的),只需要设置请求的 xhr 跨域情况下,需要携带请求域下的cookie那么就需要配置xhr对象的withCredentials。 需要额外注意的是 当配置了xhr.withCredentials = true时,必须在后端增加 response 头信息Access-Control-Allow-Origin(CORS),且必须指定具体域名

    3.5K20发布于 2021-11-15
  • 来自专栏AI那点小事

    算法提高 9-2 文本加密

    问题描述   先编写函数EncryptChar,按照下述规则将给定的字符c转化(加密)为新的字符:”A”转化”B”,”B”转化为”C”,… …”Z”转化为”a”,”a”转化为”b”,… …, “z” 转化为”A”,其它字符不加密。 编写程序,加密给定字符串。 样例输出 与上面的样例输入对应的输出。 例: ? 数据规模和约定   输入数据中每一个数的范围。   例:50个字符以内无空格字符串。

    57340发布于 2020-04-20
  • 来自专栏娜姐聊前端

    XHR,ajax,axios,fetch傻傻分不清?

    未来发展方向是Fetch取代AJAX 回答 2: XHR vs AJAX XHR(XMLHttpRequest)对象用于与服务器交互,是AJAX技术方案的基础,也可以说,使用XHR对象来发送一个Ajax 看看如何使用 XHR 发送 AJAX请求。 对象 var xhr = new XMLHttpRequest(); //设置xhr请求的超时时间 xhr.timeout = 3000; //设置响应返回的数据格式 xhr.responseType ... }; // 监听xhr状态 xhr.onreadystatechange = function () { try { switch(xhr.readyState 支持xhr.ontimeout超时自动取消,也支持xhr.abort()主动取消请求) 无法检测请求的进度(XHR可以)

    2.4K30发布于 2021-11-24
  • 来自专栏Lan小站

    试题 算法提高 9-2 文本加密

    资源限制 时间限制:1.0s 内存限制:256.0MB 问题描述   先编写函数EncryptChar,按照下述规则将给定的字符c转化(加密)为新的字符:"A"转化"B","B"转化为"C",... Z"转化为"a","a"转化为"b",... ..., "z"转化为"A",其它字符不加密。编写程序,加密给定字符串。 样例输出 与上面的样例输入对应的输出。

    29820编辑于 2022-07-13
  • 来自专栏前端开发

    XHR的属性和方法及事件汇总

    XHR的属性和方法及事件汇总 xhr.open xhr.send() xhr.onreadystatechange = function() { } 监听状态变化 xhr.reaadyState xhr.status 获取响应头信息 xhr.getResponseHeader([key]) 获得响应头的xxx信息 xhr.getResponseHeaders(‘Date ’) 获取服务器时间是标准的日期格式对象(GMT格林尼治时间) xhr.getAllResponseHeaders 获得到响应头的所有信息 获取响应主体信息 xhr.response 不限定类型 xhr.responseType 获取响应回来的类型 xhr.responText 限定类型 一般用 responseText,因为服务器返回的信息一般都是JSON格式的字符串 xhr.responseXML 限定类型 xhr.timeout 限制响应时间 xhr.abort() 终止响应 xhr.withCredentials = true 默认是false,我们会设置为true,在跨域请求中是否携带证书

    61710编辑于 2024-03-20
  • 来自专栏前端小学生

    你所不了解的xhr

    = new XMLHttpRequest(); xhr.onreadystatechange = function () { console.log('readystate:', xhr.readyState ); xhr.send(); xhr.onreadystatechange = function () { console.log('readystate:', xhr.readyState); // 2、3....、4 } 四、readyState变化 const xhr = new XMLHttpRequest(); xhr.open('get', 'http://f.sinaimg.cn :', xhr.readyState); // 1、4 } xhr.send(); xhr.onreadystatechange = function () { console.log('readystate :', xhr.readyState); // 无返回 }

    51530编辑于 2023-05-26
  • 来自专栏windliang的博客

    油猴脚本重写fetch和xhr请求

    写过几个油猴脚本,经常对页面请求返回的数据进行拦截或者覆盖,这篇文章就做个总结,涉及到 fetch 和 xhr 两种类型的请求。 环境搭建 先简单写个 html 页面,搭一个 koa 服务进行测试。 xhr 我们将 fetch 改为用 xhr 发送请求,因为页面简单所以请求可能在油猴脚本重写之前就发送了,正常网站不会这么快,所以这里加一个 setTimeout 进行延时。 setTimeout(() => { const xhr = new XMLHttpRequest(); xhr.open('GET', 'http://localhost:3002/api /query'); xhr.send(); xhr.onload = function() { const res = JSON.parse(this.responseText 总 通过对 fetch 和 xhr 的重写,我们基本上可以对网页「为所欲为」了,发挥想象力通过油猴脚本应该可以做很多有意思的事情。

    4.8K20编辑于 2022-09-27
  • 来自专栏Vue开发社区

    你知道 XHR 和 Fetch 的区别吗?

    在这个过程中,XHR 和 Fetch API 是两种最常见的方法,用于从 Web 服务器获取数据。XHR 是一种传统的数据请求方式,而 Fetch API 则代表了现代 Web 开发的新兴标准。 工作原理 XHR 的工作原理主要为: 创建 XHR 对象实例:通过new XMLHttpRequest()创建一个 XHR 对象。 // 创建一个新的XHR对象 const xhr = new XMLHttpRequest(); // 配置请求 xhr.open("GET", "https://api.baidu.com/test ("请求失败,状态码:" + xhr.status); } }; // 发起请求 xhr.send(); XHR 的响应处理通常在onreadystatechange事件处理程序中完成。 常用库和插件 基于 XHR 封装的库 jquery:一个 JavaScript 库,提供了用于处理 DOM 操作、事件处理和 XHR 请求的便捷方法。

    3.1K11编辑于 2024-03-18
  • 来自专栏wfaceboss

    JavaScript设计模式--桥梁模式--XHR连接队列

    (1)异步请求的函数封装 /* * XHR连接对象 * 把请求的函数做成一个序列,按照执行序列来完成每一个序列项的任务 * * */ (function () { //(1)一个request请求 callBack(o); } } },500) } //(2)获取XHR

    96550发布于 2019-04-08
  • 来自专栏云计算教程系列

    如何使用Debian 9上的Let加密保护Apache

    我们的加密是一个证书颁发机构(CA),它提供了一种获取和安装免费TLS / SSL证书的简便方法,从而在Web服务器上启用加密的HTTPS。 如果你使用其他版本,请参考: CentOS 7 Ubuntu 16.04 先决条件 要学习本教程,您需要: 一个Debian 9服务器通过遵循Debian 9教程的初始服务器设置来设置,包括具有sudo 执行此操作后,certbot将与Let的加密服务器通信,然后运行质询以验证您是否控制了您要为其申请证书的域。 如果自动续订过程失败,我们的加密将向您指定的电子邮件发送一条消息,并在您的证书即将过期时发出警告。 ---- 参考文献:《How To Secure Apache with Let's Encrypt on Debian 9

    1.5K40发布于 2018-11-05
  • 来自专栏云计算教程系列

    如何使用Debian 9上的Let加密保护Apache

    我们的加密是一个证书颁发机构(CA),它提供了一种获取和安装免费TLS / SSL证书的简便方法,从而在Web服务器上启用加密的HTTPS。 如果你使用其他版本,请参考: CentOS 7 Ubuntu 16.04 先决条件 要学习本教程,您需要: 一个Debian 9服务器通过遵循Debian 9教程的初始服务器设置来设置,包括具有sudo 执行此操作后,certbot将与Let的加密服务器通信,然后运行质询以验证您是否控制了您要为其申请证书的域。 如果自动续订过程失败,我们的加密将向您指定的电子邮件发送一条消息,并在您的证书即将过期时发出警告。 ---- 参考文献:《How To Secure Apache with Let's Encrypt on Debian 9

    1.8K30发布于 2018-11-02
  • 来自专栏Spider篇

    Web Spider XHR断点 千千XX 歌曲下载(三)

    :aHR0cHM6Ly9tdXNpYy45MXEuY29tLw== 提示:以下是本篇文章正文内容,下面案例可供参考 一、资源推荐 JS逆向加密解密工具 下载使用:https://blog.csdn.net == 数据可以直接看到,使用解析模块直接提取想要的数据 2、分析获取歌曲下载链的XHR接口,来到歌曲播放页面,歌曲的下载链接由下列接口返回的; 获取歌曲下载链的XHR接口url:aHR0cHM6Ly9tdXNpYy45MXEuY29tL3YxL3NvbmcvdHJhY2tsaW5r ' 3、拿到歌曲的下载链接打开就可以直接播放啦 四、XHR断点调试,使用WT-JS还原JS加密代码 逆向思路 1、通过浏览器,资源面板,添加XHR断点,让其在浏览器请求之前断住,以便我们分析请求参数 ; 2、通过资源面板下的调用堆栈,进行跟值,找到加密代码处; 3、拿到加密明文后,使用WT-JS还原JS加密代码 4、通过python代码调用JS代码实现整个任务; 1、根据接口的url,下XHR断点, 这里以获取歌曲下载链的XHR接口为例; 如果浏览器向该接口发送请求则会在发包前进行断点; 2、在歌曲播放页面刷新一下页面即可触发XHR断点,可以发现此处的代码参数已经生成,需要通过调用堆栈进行跟值

    63420编辑于 2023-01-13
  • 来自专栏wfaceboss

    JavaScript设计模式--简单工厂模式例子---XHR工厂

    对象 var xhr=this.createXhrObject(); xhr.onreadystatechange=function () { //4代表的意思是交互完成 if(xhr.readyState! callback.success(xhr.responseText,xhr.responseXML): callback.failure(xhr.status); } //打开链接 xhr.open(method,url,true); //设置参数 //2,获取xhr的方法--不同浏览器不一样 createXhrObject:function () { var methods=[

    60320发布于 2019-04-08
  • 来自专栏云计算教程系列

    如何在Debian 9上使用Let加密来保护Nginx

    介绍 我们的加密是一个证书颁发机构(CA),它提供了一种获取和安装免费TLS / SSL证书的简便方法,可以在Web服务器上启用加密的HTTPS。 准备 要学习本教程,您需要: 一个Debian 9服务器,遵循Debian 9教程的初始服务器设置。 如果自动续订过程失败,我们的加密将向您指定的电子邮件发送一条消息,并在您的证书即将过期时发出警告。 想要了解更多关于使用Let加密来保护Nginx的相关教程,请前往腾讯云+社区学习更多知识。 ---- 参考文献:《How To Secure Nginx with Let's Encrypt on Debian 9

    1.6K40发布于 2018-11-05
  • 来自专栏前端领域

    【原生Ajax】全面了解xhr的概念与使用。

    作者主页: 作者主页查看更多前端教学 专栏分享:css重难点教学 Node.js教学 从头开始学习 ajax学习 文章目录 XHR的基本使用   什么是XHR   使用xhr发起GET请求 使用xhr发起GET请求 步骤 1.创建xhr对象 2.使用xhr.open()函数 3.调用xhr.send()函数 4.监听xhr.onreadystatechange事件。 let str3 = decodeURI('%E9%BB%91%E9%A9%AC') let str4 = decodeURI(str2) console.log(str3 css/bootstrap.min.css" integrity="sha384-HSMxcRTRxnN+Bdg0JdbxYKrThecOKuH5zCYotlSAcp1+c8xmyTe9GYg1l9a69psu css/bootstrap.min.css" integrity="sha384-HSMxcRTRxnN+Bdg0JdbxYKrThecOKuH5zCYotlSAcp1+c8xmyTe9GYg1l9a69psu

    4.1K20编辑于 2022-11-28
  • 来自专栏大前端_Web

    深入理解xhr的responseType中blob和arrayBuffer

    一般的xhr请求 let url = window.URL || window.webkitURL; let xhr = new XMLHttpRequest(); xhr.open xhr.readystate === 4) { if(xhr.status =200) { let res = xhr.responseText; ,其他类型获取响应实体用xhr.response。 )=>{}; xhr.onreadystatechange=()=>{ if(xhr.readystate === 4) { if(xhr.status =200) xhr.response : xhr.responseText * 厉害!!!

    3.6K40发布于 2018-09-27
  • 来自专栏JAVA相关

    AJax(XHR+Get和Post+AJax的封装)

    (即刷新)创建 XHR 对象可以直接实例化 XMLHttpRequest 即可。 var xhr = new XMLHttpRequest();在使用 XHR 对象时,先必须调用 open()方法,它接受三个参数:要发送的请求类型(get、 post)、 请求的 URL 和表示是否异步 = new XMLHttpRequest();console.log(xhr);// 2、准备/打开请求 open(请求类型GET/POST,请求的路径,是否异步true/false);xhr.open 对象var xhr = new XMLHttpRequest();console.log(xhr);// 2、准备/打开请求 open(请求类型GET/POST,请求的路径,是否异步true/false );xhr.open("GET","js/data.json?

    63810编辑于 2025-05-29
  • 来自专栏Spider篇

    Web Spider XHR断点 堆栈跟值 逆向案例(四)

    = 分析请求参数,这是使用RSA、AES混合加密的字符串,具体的加密代码我会放在后面; 加密的明文数据为下列的字符串,只需更换关键词(“青花瓷”)调用JS代码进行加密即可: '{"hlpretag 加密的明文数据为下列的字符串,只需更换歌曲ID(1978112718)调用JS代码进行加密即可: {"ids": [1978112718],"level":"standard","encodeType ":"aac","csrf_token":""} 调用JS加密实现,以及模拟发包 3、拿到歌曲的.m4a链接打开就可以直接播放啦 三、XHR断点调试,扣JS加密代码 逆向思路 1、通过浏览器 ,资源面板,添加XHR断点,让其在浏览器请求之前断住,以便我们分析请求参数; 2、通过资源面板下的调用堆栈,进行跟值,找到加密代码处; 3、通过Notepad++工具,格式化JS代码,方便我们扣取自己想要的 ,刷新操作; 通过调用堆栈跟值来到此处明文加密函数,在window.asrsea()重新下断点; 取消XHR断点,刷新操作,进入window.asrsea()函数,可以看见window.asrsea

    90920编辑于 2023-02-02
  • 来自专栏Python 爬虫

    【JS 逆向百例】XHR 断点调试,Steam 登录逆向

    逆向目标 目标:Steam 登录 主页:aHR0cHM6Ly9zdG9yZS5zdGVhbXBvd2VyZWQuY29tL2xvZ2lu 接口:aHR0cHM6Ly9zdG9yZS5zdGVhbXBvd2VyZWQuY29tL2xvZ2luL2RvbG9naW4v 5718995253934681478 rsatimestamp: 374533150000 逆向过程 抓包分析 来到 Steam 的登录页面,随便输入一个账号密码登录,抓包定位到登录接口为 aHR0cHM6Ly9zdG9yZS5zdGVhbXBvd2VyZWQuY29tL2xvZ2luL2RvbG9naW4v XHR 断点定位 本次案例我们使用 XHR 断点来定位加密的位置,首先了解一下什么是 XHRXHR 全称 XMLHttpRequest,XHR 可以在不重新加载页面的情况下更新网页、在页面已加载后从服务器请求 既然是 XHR 断点,那么这种方法就只能用于 XHR 请求,这也是这种方法的缺点,通过 XHR 断点,定位到的位置通常在加密处理完成之后,已经准备发送请求了,这样的优点是我们可以跟踪栈,能比较容易地找到加密的地方 XHR 断点定位有两种方法,第一种是找到发送请求的 URL 之后,截取 URL 的一部分,在 Source 面板下,右侧 XHR/fetch Breakpoints 里添加你截取的 URL,如下图所示,

    2.5K32发布于 2021-09-09
领券