- 综合排序
- 最热优先
- 最新优先
- 来自专栏入门到放弃之路
AI新闻爬虫：传统爬虫和XHR异步加密爬虫的碰撞
36氪和虎嗅网这两个网站新闻爬虫比较具有代表性，36氪是传统的html网页爬虫，虎嗅网是异步api加载加密的爬虫，这里就从简单的36氪讲起。 可以看到关键字出现在了html中，而不是xhr接口中，所以在36Kr获取最新的AI快讯就就是对HTML进行解析即可。接着看看HTML请求头信息，获取URL来获取HTML。 在控制台通过搜索关键字，我们在xhr异步接口中发现了新闻咨询内容。 如图，新闻数据通过接口请求返回json的方式渲染的，而非36Kr返回的HTML，所以虎嗅网AI新闻咨询爬虫就是一个比较常见的XHR动态加载的爬虫。 是将一个固定字符串n、timestamp、nonce放进去，然后进行排序，最后将三个元素拼接成一个字符串进行加密。我们接着探究f()：t就是传进来的三合一的参数。
1.6K50编辑于 2024-03-12 - 来自专栏Web Front End
XHR对象中的withCredentials
domain-a.com 站点发送一个 api.domain-b.com/get 的请求，默认是不会携带 api.domain-b.com 域下的 cookie，如果我们想携带（很多情况下是需要的），只需要设置请求的 xhr 跨域情况下，需要携带请求域下的cookie那么就需要配置xhr对象的withCredentials。 需要额外注意的是 当配置了xhr.withCredentials = true时，必须在后端增加 response 头信息Access-Control-Allow-Origin(CORS)，且必须指定具体域名
3.4K20发布于 2021-11-15 - 来自专栏咸鱼学Python
Python爬虫进阶必备 | 关于MD5 Hash 的案例分析与总结
图1-1 可以看到提交的参数是 json 格式的数据，分别有 sign、password 这两个比较明显的加密，先逐个搜索一下。 定位加密 - sign 直接通过搜索参数名是可以直接定位到加密位置的。 【图2-3】 ? 图2-3 我们可以用 Python 代码验证一下。 图3-1 一个一个找太麻烦了，比较简单的方法是直接用 XHR 断点然后直接翻堆栈。 先根据 XHR 请求添加一个 XHR 断点【图3-2】 ? 可以看到当断点在【图3-3】位置时，password 的值是我们输入的明文，到下一步时值就被加密过了。 ? 图3-3 同时可以定位 password 的加密位置在【图3-4】 ? 图3-4 加密逻辑也非常简单。
1.4K31发布于 2019-10-09 - 来自专栏娜姐聊前端
XHR，ajax，axios，fetch傻傻分不清？
未来发展方向是Fetch取代AJAX 回答 2： XHR vs AJAX XHR（XMLHttpRequest）对象用于与服务器交互，是AJAX技术方案的基础，也可以说，使用XHR对象来发送一个Ajax 看看如何使用 XHR 发送 AJAX请求。 对象 var xhr = new XMLHttpRequest(); //设置xhr请求的超时时间 xhr.timeout = 3000; //设置响应返回的数据格式 xhr.responseType ... }; // 监听xhr状态 xhr.onreadystatechange = function () { try { switch(xhr.readyState 支持xhr.ontimeout超时自动取消，也支持xhr.abort()主动取消请求） 无法检测请求的进度（XHR可以）
2.2K30发布于 2021-11-24 - 来自专栏咸鱼学Python
Python爬虫进阶必备 | 某电竞加密参数分析( 什么花里胡哨，三行代码完成加密)
图1-1 可以看到这里的加密参数名为sign 拿到加密参数名，我们现在用两种方法定位加密位置 •xhr 断点•直接搜索参数 使用 xhr 断点只要分析堆栈肯定可以找到这个参数生成的地方，不过很麻烦，建议当你没办法通过检索参数名找到加密位置的线索的时候再使用 xhr 断点。 加密分析 找到加密位置之后，我们就来看看这个 a 他的加密到底是个啥。 经过断点可以看到a是在这里生成的。【图2-1】 ? 图2-1 那么a 等于什么呢？就是下面这一串了。 【图2-3】 ? 图2-3 看到上图红框的地方，我就知道：我好了，你们呢？ 回顾上面的逻辑，下面这段代码就是sha256 + base64 再将结果用 URL 编码一下，完事了。 第二个，实在不知道上面e的加密是什么，就把源字符串复制到网上的在线加密网站上试试。很快就能得出结果了，
1.1K30发布于 2019-12-24 - 来自专栏咸鱼学Python
Python爬虫进阶必备 | 关于某电商网站的加密请求头 if-none-match 的分析
所以这里尝试使用Xhr断点的方式分析。【图2-3】 ? 打上这个断点之后，重新加载页面。【图2-4】 ? 可以在这里看到t的值中就包含了我们需要的请求头if-none-match，所以可以猜测在这个 xhr 断点之前就已经完成了这个值的生成。 所以这里可以先在这个 xhr 断点前下一个断点之后暂时取消 xhr 断点。【图2-５】 ? 到这里之后我们直接单步调试，可以看到下面这段逻辑【图2-6】 ? 经过分析可以看到在代码中有一段在字典中赋值的操作，并且这里也找到了加密的字段名。【图2-7】 ? 所以上面就是加密字段的加密位置。 加密很简单直接带入 Python 实现的加密即可。【图3-3】 ?
1.2K20发布于 2020-03-25 - 来自专栏AI机器学习与深度学习算法
学习分类 2-3 感知机
要如何求出权重向量呢？基本做法和回归时相同，将权重向量用作参数，创建更新表达式来更新参数。这就需要一个被称为感知机的模型。
63710编辑于 2022-11-08 - 来自专栏算法无遗策
动画 | 什么是2-3树？
2-3树正是一种绝对平衡的树，任意节点到它所有的叶子节点的深度都是相等的。 2-3树的数字代表一个节点有2到3个子树。它也满足二分搜索树的基本性质，但它不属于二分搜索树。 2-3树查找元素 2-3树的查找类似二分搜索树的查找，根据元素的大小来决定查找的方向。 动画：2-3树插入 2-3树删除元素 2-3树删除元素相对比较复杂，删除元素也和插入元素一样先进行命中查找，查找成功才进行删除操作。 2-3树为满二叉树时，删除叶子节点 2-3树满二叉树的情况下，删除叶子节点是比较简单的。 动画：2-3树删除 -----END---
1K10发布于 2020-01-02 - 来自专栏前端开发
XHR的属性和方法及事件汇总
XHR的属性和方法及事件汇总 xhr.open xhr.send() xhr.onreadystatechange = function() { } 监听状态变化 xhr.reaadyState xhr.status 获取响应头信息 xhr.getResponseHeader([key]) 获得响应头的xxx信息 xhr.getResponseHeaders(‘Date ’) 获取服务器时间是标准的日期格式对象（GMT格林尼治时间） xhr.getAllResponseHeaders 获得到响应头的所有信息 获取响应主体信息 xhr.response 不限定类型 xhr.responseType 获取响应回来的类型 xhr.responText 限定类型 一般用 responseText，因为服务器返回的信息一般都是JSON格式的字符串 xhr.responseXML 限定类型 xhr.timeout 限制响应时间 xhr.abort() 终止响应 xhr.withCredentials = true 默认是false，我们会设置为true，在跨域请求中是否携带证书
54410编辑于 2024-03-20 - 来自专栏前端小学生
你所不了解的xhr
= new XMLHttpRequest(); xhr.onreadystatechange = function () { console.log('readystate:', xhr.readyState ); xhr.send(); xhr.onreadystatechange = function () { console.log('readystate:', xhr.readyState); // 2、3....、4 } 四、readyState变化 const xhr = new XMLHttpRequest(); xhr.open('get', 'http://f.sinaimg.cn :', xhr.readyState); // 1、4 } xhr.send(); xhr.onreadystatechange = function () { console.log('readystate :', xhr.readyState); // 无返回 }
47030编辑于 2023-05-26 - 来自专栏Vue开发社区
你知道 XHR 和 Fetch 的区别吗？
在这个过程中，XHR 和 Fetch API 是两种最常见的方法，用于从 Web 服务器获取数据。XHR 是一种传统的数据请求方式，而 Fetch API 则代表了现代 Web 开发的新兴标准。 工作原理 XHR 的工作原理主要为： 创建 XHR 对象实例：通过new XMLHttpRequest()创建一个 XHR 对象。 // 创建一个新的XHR对象 const xhr = new XMLHttpRequest(); // 配置请求 xhr.open("GET", "https://api.baidu.com/test ("请求失败，状态码：" + xhr.status); } }; // 发起请求 xhr.send(); XHR 的响应处理通常在onreadystatechange事件处理程序中完成。 常用库和插件 基于 XHR 封装的库 jquery：一个 JavaScript 库，提供了用于处理 DOM 操作、事件处理和 XHR 请求的便捷方法。
2.9K11编辑于 2024-03-18 - 来自专栏windliang的博客
油猴脚本重写fetch和xhr请求
写过几个油猴脚本，经常对页面请求返回的数据进行拦截或者覆盖，这篇文章就做个总结，涉及到 fetch 和 xhr 两种类型的请求。 环境搭建 先简单写个 html 页面，搭一个 koa 服务进行测试。 xhr 我们将 fetch 改为用 xhr 发送请求，因为页面简单所以请求可能在油猴脚本重写之前就发送了，正常网站不会这么快，所以这里加一个 setTimeout 进行延时。 setTimeout(() => { const xhr = new XMLHttpRequest(); xhr.open('GET', 'http://localhost:3002/api /query'); xhr.send(); xhr.onload = function() { const res = JSON.parse(this.responseText 总 通过对 fetch 和 xhr 的重写，我们基本上可以对网页「为所欲为」了，发挥想象力通过油猴脚本应该可以做很多有意思的事情。
4.7K20编辑于 2022-09-27 - 来自专栏wfaceboss
JavaScript设计模式--桥梁模式--XHR连接队列
（1）异步请求的函数封装 /* * XHR连接对象 * 把请求的函数做成一个序列，按照执行序列来完成每一个序列项的任务 * * */ (function () { //（1）一个request请求 callBack(o); } } },500) } //(2)获取XHR
90050发布于 2019-04-08 - 来自专栏我是攻城师
什么是2-3树
2-3树 VS 二叉搜索树 同样的一组数据，在2-3树和二叉搜索树里面的对比如下： ? 可以看到2-3树的节点分布非常均匀，且叶子节点的高度一致，并且如果这里即使是AVL树，那么树的高度也比2-3树高，而高度的降低则可以提升增删改的效率。 2-3树的插入 为了保持平衡性，2-3树的插入如果破坏了平衡性，那么树本身会产生分裂和合并，然后调整结构以维持平衡性，这一点和AVL树为了保持平衡而产生的节点旋转的作用一样，2-3树的插入分裂有几种情况如下 2-3树的删除 2-3树节点的删除也会破坏平衡性，同样树本身也会产生分裂和合并，如下： ? 总结 本篇文章，主要介绍了2-3树相关的知识，2-3树，2-3-4树以及B树都不是二叉树，但与二叉树的大致特点是类似的，它们是一种平衡的多路查找树，节点的孩子个数可以允许多于2个，虽然高度降低了，但编码相对复杂
2.3K20发布于 2019-04-28 - 来自专栏python3
2-3 T-SQL函数
2-3 T-SQL函数 学习系统函数、行集函数和Ranking函数；重点掌握字符串函数、日期时间函数和数学函数的使用参数以及使用技巧 重点掌握用户定义的标量函数以及自定义函数的执行方法 掌握用户定义的内嵌表值函数以及与用户定义的标量函数的主要区别 我们首先运行一段SQL查询：select tno,name , salary From teacher，查询后的基本结构如图2-3所示。我们看见，分别有三位教师的薪水是一样高的。 图2-3 薪酬排序基本情况 图2-4 row_number函数排序 图2-5 row_number另一使用 我们可以使用Row_number函数来实现查询表中指定范围的记录，一般将其应用到Web应用程序的分页功能上
2K10发布于 2020-01-08 - 来自专栏python3
2-3 选项卡控件
2-3 选项卡控件 u本节学习目标： n了解选项卡控件的基本属性 n掌握如何设置选项卡控件的属性 n掌握统计页面选项卡控件页面基本信息 n掌握选项卡控件的功能操作控制 2-3-1 简介 在 Windows 一般选项卡在Windows操作系统中的表现样式如图2-3所示。 ? 图2-3 图片框控件的属性及方法 2-3-2 选项卡控件的基本属性 图片框控件是使用频度最高的控件，主要用以显示窗体文本信息。 其基本的属性和方法定义如表2-3所示： 属性 说明 MultiLine 指定是否可以显示多行选项卡。如果可以显示多行选项卡，该值应为 True，否则为 False。 使用这个集合可以添加和删除TabPage对象 表2-3 选项卡控件的属性 2-3-3 选项卡控件实践操作 1．
2.1K10发布于 2020-01-07 - 来自专栏刷题笔记
2-3 链表拼接 (20 分)
本文链接：https://blog.csdn.net/shiliang97/article/details/101050371 2-3 链表拼接 (20 分) 本题要求实现一个合并两个有序链表的简单函数
68640发布于 2019-11-08 - 来自专栏Spider篇
Web Spider XHR断点 千千XX 歌曲下载（三）
分析请求时提交的参数，是一个GET请求，sign是MD5加密字符串，appid是版本号写死即可，TSID是歌曲ID，timestamp是10位的时间戳 加密的明文数据为下列的字符串，只需更换TSID 断点调试，使用WT-JS还原JS加密代码 逆向思路 1、通过浏览器，资源面板，添加XHR断点，让其在浏览器请求之前断住，以便我们分析请求参数； 2、通过资源面板下的调用堆栈，进行跟值，找到加密代码处； 3、拿到加密明文后，使用WT-JS还原JS加密代码 4、通过python代码调用JS代码实现整个任务； 1、根据接口的url，下XHR断点，这里以获取歌曲下载链的XHR接口为例； 如果浏览器向该接口发送请求则会在发包前进行断点 ； 2、在歌曲播放页面刷新一下页面即可触发XHR断点，可以发现此处的代码参数已经生成，需要通过调用堆栈进行跟值，找到加密代码处，一个一个往下跟，正常流程是每从堆栈切换至一个新的函数，得取消之前的断点 r += secret的值； 3、还原JS加密代码，点击生成JS加密代码，粘贴至pycharm编辑器中调试 打开pycharm调试JS加密代码 五、代码实现 1、JS加密代码
56220编辑于 2023-01-13 - 来自专栏机器学习入门
算法原理系列：2-3查找树
结构缘由 首先，搞清楚2-3查找树为什么会出来，它要解决什么样的问题？假设我们对它的基本已经有所了解了。先给它来个简单的定义： 2-3查找树： 一种保持有序结构的查找树。 而2-3树就是为了规避上述问题而设计发明出来的模型。现在请思考该如何设计它呢？ 这里我们从BST遇到的实际问题出发，提出设计指标，再去思考利用些潜在的性质来构建2-3树。 这部分内容，没有什么理论根据，而是我自己尝试去抓些字典的性质来构建，而2-3树的诞生过程并非真的如此，所以仅供参考。 构建2-3树 字典的两个主要操作为：查找和插入。 我就不卖关子了，直接给出2-3树的其中一个基本定义： 一棵2-3查找树或为一颗空树，或由以下节点组成： 2-节点：含有一个键和两条链接，左链接指向的2-3树中的键都小于该节点，右链接指向的2-3树中的键都大于该节点 3-节点：含有两个键和三条链接，左链接指向的2-3树中的键都小于该节点，中链接指向的2-3树中的键都位于该节点的两个键之间，右链接指向的2-3树中的键都大于该节点。 ！！！
1.1K20发布于 2019-05-26 - 来自专栏wfaceboss
JavaScript设计模式--简单工厂模式例子---XHR工厂
对象 var xhr=this.createXhrObject(); xhr.onreadystatechange=function () { //4代表的意思是交互完成 if(xhr.readyState! callback.success(xhr.responseText,xhr.responseXML): callback.failure(xhr.status); } //打开链接 xhr.open(method,url,true); //设置参数 //2，获取xhr的方法--不同浏览器不一样 createXhrObject:function () { var methods=[
53820发布于 2019-04-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号