AI新闻爬虫：传统爬虫和XHR异步加密爬虫的碰撞

36氪和虎嗅网这两个网站新闻爬虫比较具有代表性，36氪是传统的html网页爬虫，虎嗅网是异步api加载加密的爬虫，这里就从简单的36氪讲起。 可以看到关键字出现在了html中，而不是xhr接口中，所以在36Kr获取最新的AI快讯就就是对HTML进行解析即可。接着看看HTML请求头信息，获取URL来获取HTML。 在控制台通过搜索关键字，我们在xhr异步接口中发现了新闻咨询内容。 如图，新闻数据通过接口请求返回json的方式渲染的，而非36Kr返回的HTML，所以虎嗅网AI新闻咨询爬虫就是一个比较常见的XHR动态加载的爬虫。 是将一个固定字符串n、timestamp、nonce放进去，然后进行排序，最后将三个元素拼接成一个字符串进行加密。我们接着探究f()：t就是传进来的三合一的参数。

7-2 寻找大富翁

7-2 寻找大富翁 分数 25 全屏浏览题目 切换布局 作者 陈越 单位 浙江大学 胡润研究院的调查显示，截至2017年底，中国个人资产超过1亿元的高净值人群达15万人。

XHR对象中的withCredentials

domain-a.com 站点发送一个 api.domain-b.com/get 的请求，默认是不会携带 api.domain-b.com 域下的 cookie，如果我们想携带（很多情况下是需要的），只需要设置请求的 xhr 跨域情况下，需要携带请求域下的cookie那么就需要配置xhr对象的withCredentials。 需要额外注意的是 当配置了xhr.withCredentials = true时，必须在后端增加 response 头信息Access-Control-Allow-Origin(CORS)，且必须指定具体域名

XHR，ajax，axios，fetch傻傻分不清？

未来发展方向是Fetch取代AJAX 回答 2： XHR vs AJAX XHR（XMLHttpRequest）对象用于与服务器交互，是AJAX技术方案的基础，也可以说，使用XHR对象来发送一个Ajax 看看如何使用 XHR 发送 AJAX请求。 对象 var xhr = new XMLHttpRequest(); //设置xhr请求的超时时间 xhr.timeout = 3000; //设置响应返回的数据格式 xhr.responseType ... }; // 监听xhr状态 xhr.onreadystatechange = function () { try { switch(xhr.readyState 支持xhr.ontimeout超时自动取消，也支持xhr.abort()主动取消请求） 无法检测请求的进度（XHR可以）

PTA 7-2 符号配对（20 分）

7-2 符号配对（20 分） 请编写程序检查C语言源程序中下列符号是否配对：/*与*/、(与)、[与]、{与}。 输入格式: 输入为一个C语言源程序。

7-2 树种统计 (20 分)

本文链接：https://blog.csdn.net/shiliang97/article/details/102924532 7-2 树种统计 (20 分) 随着卫星成像技术的应用，自然资源研究机构可以识别每一棵树的种类

XHR的属性和方法及事件汇总

XHR的属性和方法及事件汇总 xhr.open xhr.send() xhr.onreadystatechange = function() { } 监听状态变化 xhr.reaadyState xhr.status 获取响应头信息 xhr.getResponseHeader([key]) 获得响应头的xxx信息 xhr.getResponseHeaders(‘Date ’) 获取服务器时间是标准的日期格式对象（GMT格林尼治时间） xhr.getAllResponseHeaders 获得到响应头的所有信息 获取响应主体信息 xhr.response 不限定类型 xhr.responseType 获取响应回来的类型 xhr.responText 限定类型 一般用 responseText，因为服务器返回的信息一般都是JSON格式的字符串 xhr.responseXML 限定类型 xhr.timeout 限制响应时间 xhr.abort() 终止响应 xhr.withCredentials = true 默认是false，我们会设置为true，在跨域请求中是否携带证书

7-2 到底有多二

本文链接：https://blog.csdn.net/shiliang97/article/details/96301355 7-2 到底有多二 一个整数“犯二的程度”定义为该数字中包含2的个数与其位数的比值

PTA 7-2 找奇葩 (20 分)

在一个长度为 n 的正整数序列中，所有的奇数都出现了偶数次，只有一个奇葩奇数出现了奇数次。你的任务就是找出这个奇葩。

油猴脚本重写fetch和xhr请求

写过几个油猴脚本，经常对页面请求返回的数据进行拦截或者覆盖，这篇文章就做个总结，涉及到 fetch 和 xhr 两种类型的请求。 环境搭建 先简单写个 html 页面，搭一个 koa 服务进行测试。 xhr 我们将 fetch 改为用 xhr 发送请求，因为页面简单所以请求可能在油猴脚本重写之前就发送了，正常网站不会这么快，所以这里加一个 setTimeout 进行延时。 setTimeout(() => { const xhr = new XMLHttpRequest(); xhr.open('GET', 'http://localhost:3002/api /query'); xhr.send(); xhr.onload = function() { const res = JSON.parse(this.responseText 总 通过对 fetch 和 xhr 的重写，我们基本上可以对网页「为所欲为」了，发挥想象力通过油猴脚本应该可以做很多有意思的事情。

你知道 XHR 和 Fetch 的区别吗？

在这个过程中，XHR 和 Fetch API 是两种最常见的方法，用于从 Web 服务器获取数据。XHR 是一种传统的数据请求方式，而 Fetch API 则代表了现代 Web 开发的新兴标准。 工作原理 XHR 的工作原理主要为： 创建 XHR 对象实例：通过new XMLHttpRequest()创建一个 XHR 对象。 // 创建一个新的XHR对象 const xhr = new XMLHttpRequest(); // 配置请求 xhr.open("GET", "https://api.baidu.com/test ("请求失败，状态码：" + xhr.status); } }; // 发起请求 xhr.send(); XHR 的响应处理通常在onreadystatechange事件处理程序中完成。 常用库和插件 基于 XHR 封装的库 jquery：一个 JavaScript 库，提供了用于处理 DOM 操作、事件处理和 XHR 请求的便捷方法。

你所不了解的xhr

= new XMLHttpRequest(); xhr.onreadystatechange = function () { console.log('readystate:', xhr.readyState ); xhr.send(); xhr.onreadystatechange = function () { console.log('readystate:', xhr.readyState); // 2、3....、4 } 四、readyState变化 const xhr = new XMLHttpRequest(); xhr.open('get', 'http://f.sinaimg.cn :', xhr.readyState); // 1、4 } xhr.send(); xhr.onreadystatechange = function () { console.log('readystate :', xhr.readyState); // 无返回 }

JavaScript设计模式--桥梁模式--XHR连接队列

（1）异步请求的函数封装 /* * XHR连接对象 * 把请求的函数做成一个序列，按照执行序列来完成每一个序列项的任务 * * */ (function () { //（1）一个request请求 callBack(o); } } },500) } //(2)获取XHR

PTA 7-2 方阵循环右移

PTA 7-2 数字之王 (20 分)

的每个数的各位数的立方相乘，再将结果的各位数求和，得到一批新的数字，再对这批新的数字重复上述操作，直到所有数字都是 1 位数为止。这时哪个数字最多，哪个就是“数字之王”。

Web Spider XHR断点 千千XX 歌曲下载（三）

分析请求时提交的参数，是一个GET请求，sign是MD5加密字符串，appid是版本号写死即可，TSID是歌曲ID，timestamp是10位的时间戳 加密的明文数据为下列的字符串，只需更换TSID 断点调试，使用WT-JS还原JS加密代码 逆向思路 1、通过浏览器，资源面板，添加XHR断点，让其在浏览器请求之前断住，以便我们分析请求参数； 2、通过资源面板下的调用堆栈，进行跟值，找到加密代码处； 3、拿到加密明文后，使用WT-JS还原JS加密代码 4、通过python代码调用JS代码实现整个任务； 1、根据接口的url，下XHR断点，这里以获取歌曲下载链的XHR接口为例； 如果浏览器向该接口发送请求则会在发包前进行断点 ； 2、在歌曲播放页面刷新一下页面即可触发XHR断点，可以发现此处的代码参数已经生成，需要通过调用堆栈进行跟值，找到加密代码处，一个一个往下跟，正常流程是每从堆栈切换至一个新的函数，得取消之前的断点 r += secret的值； 3、还原JS加密代码，点击生成JS加密代码，粘贴至pycharm编辑器中调试 打开pycharm调试JS加密代码 五、代码实现 1、JS加密代码

PTA 7-2 找奇葩 (20 分)

在一个长度为 n 的正整数序列中，所有的奇数都出现了偶数次，只有一个奇葩奇数出现了奇数次。你的任务就是找出这个奇葩。

PTA 7-2 数字之王 (20 分)

的每个数的各位数的立方相乘，再将结果的各位数求和，得到一批新的数字，再对这批新的数字重复上述操作，直到所有数字都是 1 位数为止。这时哪个数字最多，哪个就是“数字之王”。

7-2 冒泡法排序 (30分)

将N个整数按从小到大排序的冒泡排序法是这样工作的：从头到尾比较相邻两个元素，如果前面的元素大于其紧随的后面元素，则交换它们。通过一遍扫描，则最后一个元素必定是最大的元素。然后用同样的方法对前N−1个元素进行第二遍扫描。依此类推，最后只需处理两个元素，就完成了对N个数的排序。

7-2 冒泡法排序 (30分)

7-2 冒泡法排序 (30分) 将N个整数按从小到大排序的冒泡排序法是这样工作的：从头到尾比较相邻两个元素，如果前面的元素大于其紧随的后面元素，则交换它们。