- 综合排序
- 最热优先
- 最新优先
- 来自专栏离别歌 - 信息安全与代码审计
攻击Scrapyd爬虫
0x02 如何攻击scrapyd 一顿信息搜集后，目标整个工作流程就清晰了：用户输入的URL被交给部署在scrapyd上的爬虫进行爬取，爬虫调用了Chrome渲染页面，并将结果中的链接返回给用户。 0x03 利用CSRF漏洞攻击浏览器爬虫 针对6800端口的攻击在本地可以复现了，但是目标网站的6800是开启在内网的，我们无法直接访问。 可以借助目标前端的那个SSRF吗？ 另外，在MVVM架构日益流行的当下，爬虫也变得更加灵活，特别是借助Chrome Headless或splash的爬虫能够动态执行JavaScript这个特性，能让爬虫爬到的信息更加完善，但也让攻击者有更多攻击途径 对于此类动态爬虫，攻击者可以对浏览器或js引擎本身进行攻击，或者如我这样利用JavaScript攻击内网里一些基础服务。 另外，经常会有人在运行爬虫的时候会设置--no-sandbox、--disable-web-security等危险选项，这也给攻击者提供了很多便利，我建议利用普通用户权限启动浏览器爬虫，以避免使用这些不安全的选项
1.3K41发布于 2020-10-15 - 来自专栏嘘、小点声
python网络爬虫（9）构建基础爬虫思路
目的意义 基础爬虫分5个模块，使用多个文件相互配合，实现一个相对完善的数据爬取方案，便于以后更完善的爬虫做准备。 https://book.douban.com/subject/27061630/ 功能模块 主文件：爬虫调度器，通过调用其他文件中的方法，完成最终功能实现。 设计思路 定义SpiderMan类作为爬虫调度器。输入根URL开始爬取数据然后爬取结束。 在爬取过程中，需要获取网页，和解析网页。 解析网页需要HTML解析器，获取网页需要HTML下载器。 main__": spider_man=SpiderMan() spider_man.crawl("https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C
96610发布于 2019-07-31 - 来自专栏Ms08067安全实验室
人脸识别9种攻击方式
三维面具 攻击者头戴被假冒者的仿制硅胶和塑料面具进行拍摄，此类攻击因为面具的高度还原性，对活体检测造成很大挑战。此类攻击成本在所有素材攻击类型里也是最高的。 4. 这类攻击能够保留会很大一部分被冒充者的人脸特征，同时比照片和电子屏幕攻击增加了3D人脸特征，是黑产用来攻击动作活体的常见形式。 6. 7. iOS进程注入 攻击者将iOS越狱后，拿到最高权限，通过dlopen等方式，将攻击代码加载到目标进程中，攻击代码可以通过hook手段，替换相机输入输出进行注入，来实现攻击行为。 8. 云手机 云手机类似远程脚本批量攻击，攻击者通过分析目标应用业务逻辑或者关键部分逻辑，通过重写或者模拟的方式实现业务正常逻辑，在过程中替换传输过程的视频内容，从而实现脚本化批量攻击。 9. 安卓模拟器 部分模拟器有模拟硬件的功能，攻击者可以通过该功能模拟“手机”进行攻击，或者修改模拟器的ROM信息类似定制ROM的攻击方法，另外大部分模拟器有最高权限，也可以通过注入hook的方式实现攻击。
1.4K10编辑于 2025-03-07 - 来自专栏偶尔敲代码
网站防御爬虫攻击的几种方式
适用网站：极度讨厌搜索引擎，且想阻止大部分爬虫的网站 爬虫：制作拟用户登录提交表单行为的模块。 爬虫：伪装HTTP_REFERER，不难。 8、全flash、图片或者pdf来呈现网站内容 对搜索引擎爬虫和采集器支持性不好，这个很多懂点seo的人都知道 适用网站：媒体设计类并且不在意搜索引擎收录的网站 爬虫：不爬了，走人 9、网站随机采用不同模版 而且这样对搜索引擎爬虫没影响。 适用网站：动态网站，并且不考虑用户体验 爬虫：一个网站模版不可能多于10个吧，每个模版弄一个规则就行了，不同模版采用不同采集规则。 但是，这对搜索引擎爬虫没多大影响。
1.3K50编辑于 2023-04-28 - 来自专栏ZNing·腾创库
反爬虫和抗DDOS攻击技术实践
no-cache' -H 'authority: media.om.qq.com' -H 'cookie: signiture=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9. ssid=s9710442890; pgv_pvid=7925047056; omuisid=eyJ1aWQiOiI5ZGVjMjRiN2UxM2FiNGUyZWJjNWRhMGU1N2EyYTRkZSJ9; omuisid.sig=5wAr5khpxGvFDp3WpkJ6_QX9iE4' -H 'referer: https://media.om.qq.com/media/5054675/list' -- 起到一定的防DDOS攻击的效果 通过上图我们可以看到，关键就是两次票据的签发与验证，一次由浏览器签发，一次由后台签发，但是验证真伪都是在服务端进行，这样做的最终效果就是，要对我们的界面进行抓取或攻击的人 ，必须按照我们设定的套路运转，就会增加他下载js并执行我们js的过程，如果有攻击方利用xss 获的肉机，对我们的域名发起攻击时，由于我们有两次票据验证，而去其中有一个票据的有效期时间很短，基本上不太可能对我们的服务器造成连续伤害了
6.1K20发布于 2017-04-26 - 来自专栏s09g的技术博客
System Design Interview 9 设计网络爬虫
Step 9: After links are filtered, they are passed to the “URL Seen?” component. 第9步：经过筛选的链接被传递给“已见过的URL？”组件。 一般来说，爬虫应该避免在短时间内对同一个服务器发送太多的请求。发送过多请求会被认为“不礼貌”，甚至可能被视为拒绝服务攻击(DoS)。举个例子，如果没有任何限制，爬虫可以对同一个网站每秒发送数千个请求。 Figure 9 shows an example of a distributed crawl. 为了实现高性能，爬取任务被分配给多个服务器，每个服务器中运行着多个线程。 图9展示了一个分布式爬取的例子。
51410编辑于 2024-04-10 - 来自专栏武军超python专栏
11月9日python分布式爬虫
另外，如果需要继承，也可以定义为类方法，实例对象和类对象都可以调用 使用分布式必须要安装： pip install scrapy-redis 分布式： 分布式爬虫的难点在于多台机器之间怎么互相通信而防止爬取重复的 生成爬虫可以不加模板，不加模板的话就不会出现rules,需要自己写 起始url不写在项目中，写在redis数据库中 索引页要follow,国家内容不follow,但是有callback from scrapy_redis.spiders import RedisCrawlSpider 引入需要的模块，爬虫模块继承的类需要改成RedisCrawlSpider 如果出现填一个url才能爬取一个url 如果使用/来表示路径可以直接写绝对路径，如果使用\则需要在绝对路径的前面加r来表示不转义，以原字符解释, 路径的 最后一定要加/表示最后那个文件下： with open('G:/第四阶段/11月9日 as f: f.write((item['aname']+','+item['atype'] + '\n')) f.close() with open(r'G:\第四阶段\11月9日
47420发布于 2019-02-25 - 来自专栏技术探究
爬虫系列（9）爬虫的多线程理论以及动态数据的获取方法。
NO·1 爬虫之多线程 1. 引入 我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。 如何使用 爬虫使用多线程来处理网络请求，使用线程来处理URL队列中的url，然后将url返回的结果保存在另一个队列中，其它线程在读取这个队列中的数据，然后写到文件中去 3. 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫 keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC&enc=utf-8&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC&pvid=845d019c94f6476ca5c4ffc24df6865a 9 =把图像当作一个圆圈中的一个词来对待。 10 =将图像作为单个字符处理 -l eng 代表使用英语识别
3.4K30发布于 2019-07-10 - 来自专栏FreeBuf
Nexus 9漏洞允许黑客通过耳机接口攻击设备
在2017年3月份，我们曾披露了有关漏洞CVE-2017-0510的信息，这是一个存在于Nexus 9设备中的严重漏洞，它将允许他人发动一种非常新颖的攻击，即通过恶意耳机来攻击Nexus 9设备。 在这篇文章中，我们首先要回顾一下漏洞CVE-2017-0510，然后分析一下之前的补丁为何无效（CVE-2017-0648），最后再给大家演示如何利用这个漏洞来发动攻击。 Nexus 9中的这个漏洞意味着调试接口将允许外部访问FIQ调试器： ? Canaries泄漏； 3.ASLR解随机处理； 4.访问SysRq； 5.通过命令“reboot oem-42”重启进入HBOOT（HTC的Android Bootloader），将导致设备内部SoC芯片受到攻击 我们假设当平台完全加载完成之后攻击便立刻开始，我们首先触发了一次设备重启（正常重启），然后获得了FIQ Debugger的临时访问权。
1.4K50发布于 2018-02-28 - 来自专栏安恒信息
企业平均每年遭遇9起有针对性攻击
高级持续性攻击( APT )可能比想象的更普遍：最新研究发现，在过去12个月中，企业平均遭遇9起这种有针对性的攻击。 大多数企业表示，他们发现“投机取巧”或者随机的非针对性攻击在减少，而有针对性攻击则在增加。约有67%的用户称投机式的攻击在过去12个月没有增长，而48%称有针对性的攻击正在迅速增加。 该调查将投机式攻击定义为：攻击者对于他们想要攻击的对象有着大概的思路，而只有当他们发现可利用的漏洞时才会对其发动攻击。 近70%的企业称0day恶意软件攻击是他们面临的最大威胁，而93%的企业称恶意软件是APT攻击者采用的攻击方法。多数用户称这些攻击主要通过网络钓鱼攻击。 IDS、IPS和AV是这些企业用来检测有针对性攻击的主要工具。约有60%的用户称投机式攻击比有针对性攻击更容易预防，而46%称它们更容易被检测。
69650发布于 2018-04-10 - 来自专栏python3
Python3网络爬虫实战-9、APP爬
Appium 是移动端的自动化测试工具，类似于前面所说的 Selenium，利用它我们可以驱动 Android、iOS 等设备完成自动化测试，比如模拟点击、滑动、输入等操作，其官方网站为：http://appium.io/，本节来了解一下 Appium 的安装方式。
1.1K10发布于 2020-01-03 - 来自专栏python全栈教程专栏
爬虫学习（9）：正则爬取jk妹子头像，不要滑走！
q=jk%E5%88%B6%E6%9C%8D%E5%A5%B3%E7%94%9F%E5%A4%B4%E5%83%8F&first=118&count=35&relp=35&cw=1177&ch=705& 对python感兴趣的哥们，可以跟我一起交流，群970353786我也正在努力学习中，后续动态爬取我再想想吧…待更新 如果你看不懂我这篇文章写的代码，先去看看我前面的爬虫文章吧，我是一点一点的学啥用啥爬取的 q=jk%e5%88%b6%e6%9c%8d%e5%a5%b3%e7%94%9f%e5%a4%b4%e5%83%8f&first={4 + 37 * i}&count=35&relp=35&cw=1177& ImageBasicHover&datsrc=I&layout=RowBased&mmasync=1&dgState=x*0_y*0_h*0_c*5_i*{1 + 35 * i}_r*{6 * i}&IG=9BB720932F484381A6E28F2ECA3791C6& __ == '__main__': main() 注意要在py文件建立一个image目录，文件保存到image目录中，看不懂代码先去看看我前面的基础文章，或者加我群问我也可以，川川正在努力学习爬虫中
43040发布于 2021-10-18 - 来自专栏Python爬虫与算法进阶
GitHub上超9Kstars的Python爬虫项目——pyspider（国人编写）
A Powerful Spider(Web Crawler) System in Python 简介 PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。 案例分享 pyspider 爬虫教程（一）：HTML 和 CSS 选择器 pyspider 爬虫教程（二）：AJAX 和 HTTP pyspider 爬虫教程（三）：使用 PhantomJS 渲染带 JS 看到国人自己写的爬虫框架，一点也不别Scrapy差，你说呢 其实我在想，能不能自己写个框架出来：） Pyspider binux/pyspider 官方文档 pyspider
4.1K70发布于 2018-04-04 - 来自专栏FreeBuf
历史上代价最高昂的9次网络钓鱼攻击
网络钓鱼是一种骗局，攻击者通过向人们发送恶意电子邮件、信息或电话，诱骗他们点击有害链接或附件、访问欺诈性网站、共享敏感数据或使他们易受网络攻击。 如今，网络钓鱼攻击正在不断激增，攻击者利用了大规模转向远程工作和云存储的最新漏洞和机会。而沦为网络钓鱼攻击的牺牲品经常会给个人和企业带来巨大的经济损失。 以下是历史上最具经济破坏性的9起网络钓鱼攻击。 Facebook和谷歌 2013年至2015年间，Facebook和谷歌成为虚假发票骗局的受害者，损失超过1亿美元。 攻击者冒充银行的首席执行官，要求财务部门批准这笔款项的转账，结果，他们批准了。 这次攻击是在一次内部审计中发现的，并上报给了司法部，但攻击者的身份并未被确定。 这些攻击不仅会导致直接的经济损失，还会导致生产力和数据损失、声誉损害和客户流失等长期后果。 网络钓鱼攻击的成本已经在重塑个人和公司运营和管理风险的方式。
49020编辑于 2023-08-08 - 来自专栏c语言与cpp编程
历史上代价最高昂的9次网络钓鱼攻击
网络钓鱼是一种骗局，攻击者通过向人们发送恶意电子邮件、信息或电话，诱骗他们点击有害链接或附件、访问欺诈性网站、共享敏感数据或使他们易受网络攻击。 如今，网络钓鱼攻击正在不断激增，攻击者利用了大规模转向远程工作和云存储的最新漏洞和机会。而沦为网络钓鱼攻击的牺牲品经常会给个人和企业带来巨大的经济损失。 以下是历史上最具经济破坏性的9起网络钓鱼攻击。 Facebook和谷歌 2013年至2015年间，Facebook和谷歌成为虚假发票骗局的受害者，损失超过1亿美元。 攻击者冒充银行的首席执行官，要求财务部门批准这笔款项的转账，结果，他们批准了。 这次攻击是在一次内部审计中发现的，并上报给了司法部，但攻击者的身份并未被确定。 这些攻击不仅会导致直接的经济损失，还会导致生产力和数据损失、声誉损害和客户流失等长期后果。 网络钓鱼攻击的成本已经在重塑个人和公司运营和管理风险的方式。
85120编辑于 2023-08-10 - 来自专栏Python 爬虫
爬虫逆向基础，认识 SM1-SM9、ZUC 国密算法
[ZU8GR7hf2bXswgu.png] 【01x00】 简介 国密即国家密码局认定的国产加密算法，爬虫工程师在做 JS 逆向的时候，会遇到各种各样的加密算法，其中 RSA、AES、SHA 等算法是最常见的 ，这些算法都是国外的，在 K 哥以前的文章里也有介绍：《【爬虫知识】爬虫常见加密解密算法》 事实上从 2010 年开始，我国国家密码管理局就已经开始陆续发布了一系列国产加密算法，这其中就包括 SM1、SM2 在这些国产加密算法中，SM2、SM3、SM4 三种加密算法是比较常见的，在爬取部分 gov 网站时，也可能会遇到这些算法，所以作为爬虫工程师是有必要了解一下这些算法的，如下图所示某 gov 网站就使用了 爬虫工程师基本上不会遇到此类算法。 在商用密码体系中，SM9 主要用于用户的身份认证，据新华网公开报道，SM9 的加密强度等同于 3072 位密钥的 RSA 加密算法。
3.4K20发布于 2021-11-09 - 来自专栏区块链入门
【攻击】日蚀攻击，女巫攻击，重放攻击，DDOS攻击的定义？
<3>【重放攻击(Replay Attacks)】 又称重播攻击、回放攻击，是指攻击者发送一个目的主机已接收过的包，来达到欺骗系统的目的，主要用于身份认证过程，破坏认证的正确性。 在日蚀攻击中，攻击者不像在女巫攻击（Sybil attack）中那样攻击整个网络，而是专注于隔离和瞄准某个特定节点。这种攻击通常会导致受害者节点接收到被操纵的、伪造的区块链视图。 分布式拒绝服务攻击方式在进行攻击的时候，可以对源IP地址进行伪造，这样就使得这种攻击在发生的时候隐蔽性是非常好的，同时要对攻击进行检测也是非常困难的，因此这种攻击方式也成为了非常难以防范的攻击。 攻击方式： 1、SYN Flood攻击 SYN Flood攻击是当前网络上最为常见的DDoS攻击，它利用了TCP协议实现上的一个缺陷。 这种攻击的特点是可以绕过普通的防火墙防护，可通过Proxy代理实施攻击，缺点是攻击静态页面的网站效果不佳，会暴露攻击者的lP地址。
5K30发布于 2020-09-25 - 来自专栏FreeBuf
钓鱼攻击工具包Angler Exploit Kit已感染超过9w网站
主要发现 1、目前已经检测到了超过9万个网站受到了Angler工具的影响。其中包含大量热门网站。 2、在分析过程中发现了一个高度组织化的入侵操作，攻击者会定期更新被入侵网站中的恶意信息。这也就意味着，攻击者能够对入侵的网站进行非常复杂并且持久的命令控制。 这也就意味着，注入脚本可以隐藏数日之久，以躲避安全软件的检测，被入侵的网站也只能对特定IP范围的目标用户进行攻击，而且也只能采用特定的配置方式。 2、攻击者很容易利用WordPress中已知的漏洞和DNS的配置缺陷，但是，想要修改托管EK工具的服务器相对而言就比较困难，攻击者无法在被感染的机器中配置真实的EK文件。 攻击者借助这些现代漏洞利用工具实施攻击活动日益猖獗，安全研究人员应持续关注此类事件，尽快部署解决方案，以保护网站的用户。
1.1K50发布于 2018-02-07 - 来自专栏Python小屋
Python+django网页设计入门（9）：自定义反爬虫功能
技术要点： 1）识别请求来自浏览器还是来自爬虫程序，根据不同的访问方式给出不同的响应。 2）获取客户端IP地址并限制其访问时间间隔，如果来自爬虫程序，则多次访问之间的间隔会很短，判断这种情况并给出相应的响应。 3）使用自定义修饰器实现代码复用。 4、使用Python模块urllib编写简单爬虫程序，尝试读取登录界面信息，失败。 ? 5、修改程序，伪装浏览器访问登录页面，成功。 ? 6、进一步修改爬虫程序，连续多次读取登录页面，第一次成功，后面失败。 ?
1K40发布于 2018-12-11 - 来自专栏Python3爬虫100例教程
Python爬虫入门教程 9-100 河北阳光理政投诉板块
写在前面 之前几篇文章都是在写图片相关的爬虫，今天写个留言板爬出，为另一套数据分析案例的教程做做准备，作为一个河北人，遵纪守法，有事投诉是必备的技能，那么咱看看我们大河北人都因为什么投诉过呢？ [python3爬虫入门教程] 下面就是 配合xpath 语法获取网页元素了，关于xpath 这个你也可以自行去学习，非常简单，搜索一下全都是资料，咱就不讲了。 [python3爬虫入门教程] 通过xpath我们进行下一步的操作，代码注释可以多看一下。 [python3爬虫入门教程] 这张图片中的viewstate [python3爬虫入门教程] 这张图片也有一些奇怪的参数 [python3爬虫入门教程] 这些参数都是典型的动态网页参数。 [python3爬虫入门教程] 这些数据，放着以后做数据分析用了。
1K30发布于 2019-02-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号