首页
学习
活动
专区
圈层
工具
发布

Nginx设置图片防盗链(白名单与黑名单)

——引用自百度百科 简单来说,假如我博客域名是xiaoz.me,我在nginx中设置,只允许Referer为*.xiaoz.me的来源请求图片,其它网站来的一律禁止。...ngx_http_referer_module模块 ngx_http_referer_module模块用于阻止对“Referer”头字段中具有无效值的请求访问站点。...blocked: Referer”字段出现在请求标头中,但其值已被防火墙或代理服务器删除; 这些值是不以“http://” 或 “https://” 开头的字符串; server_names: 服务器名称...列表中没有包含Referer头的值,invalid_referer将被设置为1。...总结 以上就是Nginx防盗链(黑白名单)的设置,了解原理后其实非常简单,但由于Referer可以任意伪造,上述方法无法拦截伪造的Referer请求,不过大部分常见的场景还是有作用的。

5.7K10

【Nginx32】Nginx学习:随机索引、真实IP处理与来源处理模块

这个就是上篇文章中 TP6 源码里需要配置的那个 $proxyServerIp 的作用。之前也说过了,那两个头是可以伪造的,因此需要核对代理服务器的 IP 是否和我们设置的相同,相当于是一个白名单。...如果启用递归搜索,则与其中一个受信任地址匹配的原始客户端地址将替换为请求标头字段中发送的最后一个非受信任地址。 变量 这个模块中包含两个变量。...Nginx 中处理这个的就是 ngx_http_referer_module 模块,它用于阻止对“Referer”标头字段中具有无效值的请求的访问。...valid_referers 指定将导致嵌入的 $invalid_referer 变量设置为空字符串的“Referer”请求标头字段值。...或者此类值是不以“http://”或“https://”开头的字符串 server_names “Referer”请求标头字段包含服务器名称之一,就是按照当前 Server 模块中的 server_name

2K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    SCRAPY学习笔记八 反反爬虫技术项目实战

    4:通过selenium+phantomJS框架来完成js的操作。 5:cookie则要么完全禁用,但是怀疑该网站有cookie必须项,考虑伪造cookie。...并且嵌入scrapy的代码中。。...js处理的时候在请求部分也是需要处理js所发送的uesr部分如下 PhantomJS伪装成其他浏览器 在 page 对象的设置项里改变 userAgent 的值,代码如下(模拟 IE6.1 ) var...3:伪造cookie 还没有实践,见下js的两个文档 4:js处理环境 这时候用上大神的分析比较合适 phantomjs事件处理使用简介 基于浏览器引擎的爬虫初探 基于浏览器引擎的爬虫初探...我最后这么处理的 首先安装phantomjs环境,然后在python-scrapy的下载器中间件中,重写请求命令,在发请求之前中断了请求,将请求改成使用phantomjs来调用一个bgp_js.js

    1.8K11

    干货|普通反爬虫机制的应对策略

    User-Agent User-Agent是检查用户所用客户端的种类和版本,在Scrapy中,通常是在下载器中间件中进行处理。...Referer Referer是检查此请求由哪里来,通常可以做图片的盗链判断。...在Scrapy中,如果某个页面url是通过之前爬取的页面提取到,Scrapy会自动把之前爬取的页面url作为Referfer。也可以通过上面的方式自己定义Referfer字段。...具体可以参考: Scrapy+PhantomJS+Selenium动态爬虫 需要注意的是,使用Selenium后,请求不再由Scrapy的Downloader执行,所以之前添加的请求头等信息都会失效,需要在...我们的爬虫经常会放到crontab中定时执行,而crontab中的环境变量和系统的环境变量不同,所以就加载不到PhamtonJs需要的路径,所以最好是在申明时指定路径: driver = webdriver.PhantomJS

    2.3K110

    基于PhantomJS的动态爬虫引擎

    之前学习爬虫的时候一直了解、学习的是基于PhantomJS的,虽然Chrome的headless更加优秀、比PhantomJS更快、占用内存更少,而且还有个强大的爸爸。...但是也不能把之前的学的给荒废了,先实践下再说,况且这种东西大部分应该是都是互通的。 PhantomJS 是无界面的 Webkit 解析器,提供了 JavaScript API 。...所以,我们可以在沙盒中执行javascript代码,以此获得静态页面链接和表单 1.2 javascript动态解析 phantomjs在打开url的时候就会自动使用自己的webkit内核去执行对应的javascript...自动交互事件即用户交互事件,而用户操作的本质,实际上是触发了绑定在DOM节点的事件。...头 根据表单属性类型,自动填写对应类型的表单数值 根据后缀禁止静态资源的加载,因为如果根据Content-Type判断将导致结果目录树不全 尽量获取所有标签中的链接,比如图片,视频等,因为可能存在SSRF

    2.2K40

    反-反爬虫:用几行代码写出和人类一样的动态爬虫

    Phantomjs简介 什么是Phantomjs Phantomjs官网介绍是:不需要浏览器的完整web协议栈(Full web stack No browser required),也就是常说的无头浏览器...Phantomjs的特点 由于“无头”——免去了渲染可视化的网页界面,她的速度要比一般的浏览器快不少,又因为她是完整的web协议栈,所以不仅仅提供了JavaScript API,还完整的支持各类web标准...: 图:phantomjs_getcookie 执行JavaScript Phantomjs作为无头“浏览器“,当然对JavaScript的支持也是极好的。...Phantomjs为我们提供了2中使用第三方库的方法: 方法一:includeJs() 方法二:injectJs() 二者常常混用,主要的区别在于injectJs是阻塞加载,而includeJs是动态加载...同时在403页面中包含了2个JavaScript文件 图: load_js 3 .接下来的2个请求分别为对403页面中的JavaScript脚本进行加载 4 .加载运行完毕后,获得了合法票据并添加进cookie

    4.6K20

    XSS、CSRF、SSRF

    Referer头检测法 Referer标识当前请求的来源页面,浏览器访问时除了自动带上Cookie还会自动带上Referer,所以服务端可以检测Referer头是否本网站页面来决定是否响应请求。...Referer是浏览器自动带上的,基于认为浏览器没有相关漏洞的前提下,我们可以认为攻击者是没法伪造Referer头的,也就是检测Referer头的方法是可靠的。...但该方式有时会不受认可,一是因为浏览器是可以设置禁止发送Referer头的,如果使用该方式那么禁止Referer头的浏览将无法正常使用,这可能会降低用户使用体验。...二是因为由于移动端的崛起当下流行前后端分离app和web共用一套后端代码,但app是不会自动带Referer头的,如果使用该方式app端不好处理。...CSRF是跨站请求伪造攻击,是由于没有在关键操作执行时进行是否由用户自愿发起的确认,模仿合法用户对服务器发起请求 。

    1.7K10

    AWVS14下载(Win、Linux、Mac)

    漏洞检查已更新,可在各种 HTTP 标头上执行 Apache Log4j RCE 的新检查( CVE-2021-44228 ) 通过 HTTP/2 伪标头 (SSRF)对反向代理错误路由的新检查 对HTTP.../2 伪标头服务器端请求伪造的新检查 通过 HTTP/2 标头对Web 缓存中毒 DoS 的新检查 对 HTTP/2 Web 缓存中毒的新检查 Ghost CMS 主题预览版 XSS 的新检查( CVE...更新了扫描仪以测试 Web 应用程序使用的自定义标头 Scanner 支持检测 HTTP/2 漏洞 改进了 Laravel CSRF 令牌的处理 增加了使用主安装的扫描引擎限制扫描目标的可能性 添加了配置对广告服务请求的阻止功能...传感器在 https 站点上不起作用 修正:并非所有路径都从特定的 Burp 状态文件导入 修复:解析特定 GraphQL 和 Swagger 2 文件时扫描仪崩溃 修复:特定的排除路径可能导致扫描仪挂起...修复了导致扫描仪挂起的问题 修复了在启用 AcuSensor 且未安装在 Web 应用程序上时导致无法检测到某些漏洞的问题 修复了用于在 IIS 中列出网站的 .NET AcuSensor CLI 参数中的问题

    4.8K40

    如何为Nginx 配置防盗链功能?

    开始之前 什么是 referer 请求头? referer 请求头包含了当前请求页面的来源地址,即表示当前页面是通过这个来源页面里的链接进入的。...假设当一个 HTTP 请求头的 referer 字段中包含一些不正确(期望)的值。 那么可以使用 nginx 的 ngx_http_referer_module 模块,禁止这个请求访问站点。...也就是常说的 nginx 防盗链,不过需要注意的是,referer 请求头是可以伪造的,因此这个模块并不能 100%的阻止这类请求。...://nginx.org/en/docs/http/ngx_http_referer_module.html 小结 ---- 最后来总结下文章中的知识点 referer 请求头,用于识别访问来源。...referer 请求头可以伪造,不能做为唯一的判断条件。 借助 ngx_http_referer_module 模块,实现简单的 nginx 防盗链。

    5.9K20

    GitHub上有哪些优秀的爬虫项目?

    模拟登陆,域名爬虫} 5:爬虫项目源码 {优酷网,腾讯视频,推特,拉钩网,百度地图,妹子图网,百家号,百度百科,csdn,新浪微博, 淘宝采集} 6:ip更换技术 {代理,tor,adsl} 7:请求伪造...{phantomjs,requests,selenium} 8:phantomjs {伪造请求头,获取页面截图,获取页面源码,设置超时} 9:selenium {伪造请求头,支付宝模拟登陆} 10:UrlSpider...这是ID为Jack-Cherish的东北大学的一个学生整理的学习python爬虫的资料,star6000+,包含不少的实战项目,非常适合想学习的朋友。 6....这个爬虫足够满足小型项目初始数据集的积累,结果命名也非常整齐规范,最大的优点是稳定。...3 END 想要更快的提升自己的爬虫技术,单单把基本的知识学完是远远不够的,而是要多去实战,这些案例非常的优秀,大家都可以按照他们的写法去写一遍,这样更有利于大家爬虫技术的提升

    4.5K31

    用PHP是如何做图片防盗链的

    ,如果请求头中有Referer信息,然后根据自己的规则来判断Referer头信息是否符合要求,Referer 信息是请求该图片的来源地址。...浏览器中的请求头信息: (1)正常使用百度贴吧查看图片的请求头信息 (2)我的代码的头信息 相信读者看到这,也就明白了,为什么我的代码不能访问到图片,而是显示一张警告盗链图片,因为我们的Referer...htaccess文件中利用正则判断 指定规则: 如果是图片资源且referer头信息是来自于本站,则通过 重写规则如下: 假定我的服务器是localhost,规则的意思是,如果请求的是图片资源,但是请求来源不是本站的话....* no.png 来自localhost的访问: 来自于其他站点的访问: 至此,关于防盗链的知识我们学完了,但是不急,既然是一个请求头,当然是可以伪造的,下面我们来说一下反防盗链的规则。...2、反防盗链 上面我的服务器配置了图片防盗链,现在以它来讲解反防盗链,如果我们在采集图片的时候,遇到使用防盗链技术的站点,我们可以在采集图片的时候伪造一个Referer头信息。

    2K30

    使用Headless Browser渲染页面

    在我们的界面中,画布是这样呈现在我们面前的: ? 很简单,它是一系列DOM元素的组合。然而当用户选择下载时,他们希望得到的是这样一张图片: ? 我们需要考虑的是,怎么把这一堆DOM扔到一张图片里?...甚至我们还可以再进一步,把画布中的元素都抽象成数据结构,只需传输这些结构的实例,由服务器端根据预定义结构再拼装起来,岂不美哉?...随后,我们准备调用phantomjs的ScreenCapture方法,它的原理是在本地调起Webkit内核渲染指定页面,然后根据参数截取屏幕显示内容,生成图片。...; // 在这里定义请求头,如访问目标对Referer、UserAgent有过滤机制的话可以加上 page.customHeaders = { 'Referer': 'http://www.xx.com...这个需要不断测试,尽量避免一些兼容性差的样式写法; 服务器如果非Windows,在字体的渲染上生成的图片会与Windows上浏览器显示的画布元素有差别。

    2.2K20

    php爬虫框架盘点

    网络数据抓取是大数据分析的前提,只有拥有海量的数据才能够进行大数据分析,因此,爬虫(数据抓取)是每个后端开发人员必会的一个技能,下面我们主要盘点一下php的爬虫框架。...Buzz 一个非常轻量级的爬虫库,它类似于一个浏览器,你可以非常方便地操作cookie,设置请求头。它拥有非常完善的测试文件,因此你可以安心无忧地使用它。...它可以在同一接口的帮助下发送同步和异步请求。它利用PSR-7接口处理请求,响应和流。这使您可以在Guzzle中使用其他PSR-7兼容的库。...借助请求,您可以添加标头,表单数据,多部分文件和带有简单数组的参数,并以相同的方式访问响应数据。...、伪造浏览器、HTTP代理等复杂的网络请求;拥有丰富的插件,支持多线程采集以及使用PhantomJS采集JavaScript动态渲染的页面。

    4.3K10
    领券