- 综合排序
- 最热优先
- 最新优先
- 来自专栏嘘、小点声
python网络爬虫（9）构建基础爬虫思路
目的意义 基础爬虫分5个模块，使用多个文件相互配合，实现一个相对完善的数据爬取方案，便于以后更完善的爬虫做准备。 https://book.douban.com/subject/27061630/ 功能模块 主文件：爬虫调度器，通过调用其他文件中的方法，完成最终功能实现。 设计思路 定义SpiderMan类作为爬虫调度器。输入根URL开始爬取数据然后爬取结束。 在爬取过程中，需要获取网页，和解析网页。 解析网页需要HTML解析器，获取网页需要HTML下载器。 main__": spider_man=SpiderMan() spider_man.crawl("https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C
97710发布于 2019-07-31 - 来自专栏s09g的技术博客
System Design Interview 9 设计网络爬虫
Step 9: After links are filtered, they are passed to the “URL Seen?” component. 第9步：经过筛选的链接被传递给“已见过的URL？”组件。 Figure 9 shows an example of a distributed crawl. 为了实现高性能，爬取任务被分配给多个服务器，每个服务器中运行着多个线程。 图9展示了一个分布式爬取的例子。 将爬虫服务器按地理位置分布。爬虫服务器离网站主机越近，爬虫的下载速度会越快。本地性设计可以应用到大部分系统组件上：爬虫服务器、缓存、队列、存储等。
54610编辑于 2024-04-10 - 来自专栏武军超python专栏
11月9日python分布式爬虫
另外，如果需要继承，也可以定义为类方法，实例对象和类对象都可以调用 使用分布式必须要安装： pip install scrapy-redis 分布式： 分布式爬虫的难点在于多台机器之间怎么互相通信而防止爬取重复的 生成爬虫可以不加模板，不加模板的话就不会出现rules,需要自己写 起始url不写在项目中，写在redis数据库中 索引页要follow,国家内容不follow,但是有callback from scrapy_redis.spiders import RedisCrawlSpider 引入需要的模块，爬虫模块继承的类需要改成RedisCrawlSpider 如果出现填一个url才能爬取一个url 如果使用/来表示路径可以直接写绝对路径，如果使用\则需要在绝对路径的前面加r来表示不转义，以原字符解释, 路径的 最后一定要加/表示最后那个文件下： with open('G:/第四阶段/11月9日 as f: f.write((item['aname']+','+item['atype'] + '\n')) f.close() with open(r'G:\第四阶段\11月9日
48320发布于 2019-02-25 - 来自专栏技术探究
爬虫系列（9）爬虫的多线程理论以及动态数据的获取方法。
NO·1 爬虫之多线程 1. 引入 我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。 如何使用 爬虫使用多线程来处理网络请求，使用线程来处理URL队列中的url，然后将url返回的结果保存在另一个队列中，其它线程在读取这个队列中的数据，然后写到文件中去 3. 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫 keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC&enc=utf-8&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC&pvid=845d019c94f6476ca5c4ffc24df6865a 9 =把图像当作一个圆圈中的一个词来对待。 10 =将图像作为单个字符处理 -l eng 代表使用英语识别
3.4K30发布于 2019-07-10 - 来自专栏入门到放弃之路
AI新闻爬虫：传统爬虫和XHR异步加密爬虫的碰撞
36氪和虎嗅网这两个网站新闻爬虫比较具有代表性，36氪是传统的html网页爬虫，虎嗅网是异步api加载加密的爬虫，这里就从简单的36氪讲起。 通过python的requests模块发起请求，最后解析目标数据实现36Kr AI快讯爬虫的代码开发。 如图，新闻数据通过接口请求返回json的方式渲染的，而非36Kr返回的HTML，所以虎嗅网AI新闻咨询爬虫就是一个比较常见的XHR动态加载的爬虫。 nonce是调用 D() 方法生成的字符串，就是从A-Z|0-9|a-z中随机抽取16个字符。 结语这就是我使用爬虫爬取AI新闻的过程，使用了两个爬虫中比较常见的典型案例。像这种类别信息的采集，还有更优的程序设计架构。
1.6K50编辑于 2024-03-12 - 来自专栏iSharkFly
AI Bot 爬虫新势力
对使用CloudFlare的用户，可以通过控制台上的配置来查看自己的网址被AI扫描了多少次。针对模型的训练，AI也需要从互联网中不断的获取内容才能对自己进行训练。 针对上面的内容和数据来看，AI的爬取量比较大，可能会超过传统的搜索引擎。
11310编辑于 2025-11-13 - 来自专栏ADAS性能优化
AI Weekly | Nov. 9, 2019
Researchers tout AI that can predict 25 video frames into the future In a preprint paper, researchers propose an AI model that can predict up to 25 video frames into the future given only two to five starting Applause targets AI bias by sourcing training data at scale Software-testing company Applause wants to reinvent AI testing with a service that detects AI bias by crowdsourcing larger training data sets. Remember that scary AI text-generator that was too dangerous to release?
28510编辑于 2022-05-13 - 来自专栏python全栈教程专栏
爬虫学习（9）：正则爬取jk妹子头像，不要滑走！
q=jk%E5%88%B6%E6%9C%8D%E5%A5%B3%E7%94%9F%E5%A4%B4%E5%83%8F&first=118&count=35&relp=35&cw=1177&ch=705& 对python感兴趣的哥们，可以跟我一起交流，群970353786我也正在努力学习中，后续动态爬取我再想想吧…待更新 如果你看不懂我这篇文章写的代码，先去看看我前面的爬虫文章吧，我是一点一点的学啥用啥爬取的 q=jk%e5%88%b6%e6%9c%8d%e5%a5%b3%e7%94%9f%e5%a4%b4%e5%83%8f&first={4 + 37 * i}&count=35&relp=35&cw=1177& ImageBasicHover&datsrc=I&layout=RowBased&mmasync=1&dgState=x*0_y*0_h*0_c*5_i*{1 + 35 * i}_r*{6 * i}&IG=9BB720932F484381A6E28F2ECA3791C6& __ == '__main__': main() 注意要在py文件建立一个image目录，文件保存到image目录中，看不懂代码先去看看我前面的基础文章，或者加我群问我也可以，川川正在努力学习爬虫中
43940发布于 2021-10-18 - 来自专栏python3
Python3网络爬虫实战-9、APP爬
Appium 是移动端的自动化测试工具，类似于前面所说的 Selenium，利用它我们可以驱动 Android、iOS 等设备完成自动化测试，比如模拟点击、滑动、输入等操作，其官方网站为：http://appium.io/，本节来了解一下 Appium 的安装方式。
1.1K10发布于 2020-01-03 AI 爬虫处置实操：用 EdgeOne 一键拦截 20+ 种 AI 爬虫
先说结论：如果你有一个公开可访问的网站，大概率正在被 AI 爬虫批量抓取，而你可能完全不知道。 、Bytespider、CCBot、anthropic-ai 等这些是主流 AI 爬虫的标识某些 Path 的请求量异常高（如 /sitemap.xml、/feed、全站文章页）AI 爬虫倾向于先读 sitemap 二、核心操作：一键开启 AI 爬虫处置确认有 AI 爬虫活动后，接下来开启防护。 ：> - AI 爬虫处置不影响百度蜘蛛、Googlebot 等搜索引擎爬虫——你的 SEO 不会受到任何影响> - 特征库覆盖 20+ 种主流 AI 爬虫，且持续更新> - 所有套餐（含免费版）都能用这个功能立即配置 免费获取完整报告EdgeOne AI 爬虫处置可以解决"已知 AI 爬虫"的问题。但你的站可能还面临其他安全威胁——异常高频访问、恶意扫描、CC 攻击试探等。
16110编辑于 2026-04-27- 来自专栏白话互联
【Ai Agent】Ai Agent News | 9月11日速递
今天是9月11日星期四，让我们一起来看看今天 Ai Agent 带来的 AI 领域的重要动态吧！ ❤ Indeed Unveils AI Agents for Job Seekers and Recruiters 求职招聘领域迎来AI助手新时代 Indeed推出了两款AI Agents，分别面向求职者和招聘方 ❤ Secure AI Agents at Runtime with Docker Docker推出AI Agent运行时安全解决方案 Docker发布了关于如何在运行时保护AI Agent的新方法， 随着AI工具的强大和普及，它们也变得不可预测且易受攻击。从LLM输出中的幻觉到提示注入，AI工作流面临多重安全威胁。 AI Agent时嵌入运行时安全，为AI原生开发提供更可靠的安全保障。
36910编辑于 2025-09-17 - 来自专栏Python爬虫与算法进阶
GitHub上超9Kstars的Python爬虫项目——pyspider（国人编写）
A Powerful Spider(Web Crawler) System in Python 简介 PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。 案例分享 pyspider 爬虫教程（一）：HTML 和 CSS 选择器 pyspider 爬虫教程（二）：AJAX 和 HTTP pyspider 爬虫教程（三）：使用 PhantomJS 渲染带 JS 看到国人自己写的爬虫框架，一点也不别Scrapy差，你说呢 其实我在想，能不能自己写个框架出来：） Pyspider binux/pyspider 官方文档 pyspider
4.1K70发布于 2018-04-04 - 来自专栏月色的自留地
从锅炉工到AI专家(9)
Epoch 8 Step 1207755: lr = 0.015 words/sec = 401 Eval 4965/17827 accuracy = 27.9% Epoch 9
82260发布于 2018-06-20 - 来自专栏圣杰的专栏
.NET+AI | Agent | 人机协作（9）
通过 ApprovalRequiredAIFunction 为敏感工具加上人工审批环节，快速构建符合企业合规要求的 MAF 人机协作智能体。
24310编辑于 2025-12-28 - 来自专栏码神联盟
网络爬虫 | Java 实现 AI人工智能技术 - 网络爬虫功能
’，网络爬虫工程师又被亲切的称之为‘虫师’。 网络爬虫概述 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 网络爬虫原理 网络爬虫原理： Web网络爬虫系统的功能是下载网页数据，为搜索引擎系统提供数据来源。 网络爬虫工作原理： 在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。 控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。 控制器： 控制器是网络爬虫的中央控制器，它主要是负责根据系统传过来的URL链接，分配一线程，然后启动线程调用爬虫爬取网页的过程。
6K50发布于 2018-07-30 AI网络爬虫：搜狗图片的时间戳反爬虫应对策略
|http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20200212%2Fab9b05decd8d4b4eb39bb287cf0c14ad.jpeg ","locImageLink": "https://i02piccdn.sogoucdn.com/cf2dc47f12f2d0e9","mf_id": "cf2dc47f12f2d0e9","mood /images/20200212/ab9b05decd8d4b4eb39bb287cf0c14ad.jpeg","painter_year": "","picUrl": "http://5b0988e595225 E5%AD%99%E5%85%81%E7%8F%A0&index=97&groupIndex=96&xurl=https://i02piccdn.sogoucdn.com/cf2dc47f12f2d0e9& 但是写了爬虫程序后，json数据爬取失败。仔细检查请求头，原来是里面加了时间戳：X-Time4p 是一个自定义的HTTP头部字段，通常用于传递与时间相关的信息。
1K10编辑于 2024-06-23AI日报 - 2025年3月9日
AI日报 - 2025年3月9日 今日概览（60秒速览） ▎ AGI突破 | 新基准IFIR发布，挑战AI在未知模拟世界中的问题解决能力 算法突破：潜在令牌压缩推理步骤方法提升语言模型效率 ▎ 4.0创作女性节虚拟花束，AI+创意场景落地 AI代理24/7自动运行50个社交媒体账号 一、今日热点 (Hot Topic)1.1 AnthropicAI宣布2025年将公开讨论AGI伦理与趋势 ⚡ 首场议题：AI对齐策略如何避免Goodhart效应 行业影响： ▸ 推动行业对AGI伦理框架的标准化探讨 ▸ 可能影响全球政策制定者对AI监管的立场 "AGI的透明度不应仅停留在技术层面， AI功能集成 ▸ 保险公司开发动态保费定价模型 趋势：2025年医疗AI合规性认证标准将出台 行业热力图（按领域划分）： 领域 融资热度政策支持技术突破市场接受度开源模型 ：当前AI评估体系亟待突破人类中心主义框架
59910编辑于 2025-03-09AI日报 - 2025年4月9日
"GRMs不仅依赖现有原则，还能自我创建和批判原则" - DeepSeek研究团队undefined 该方法已在arXiv发布论文，或将重塑模型优化范式1.2 特斯拉FSD实现零干预驾驶#自动驾驶 #AI Drive到Santa Monica全程零干预驾驶 ⚡ 穿越两条高速公路和城市街道，尚未发布v13版本 行业影响：▸ 证明纯视觉方案在复杂场景中的可靠性▸ 加速L4级自动驾驶商业化进程"@Tesla_AI GDPR法规#数据政策 #欧盟 #监管 | 影响指数：★★★☆☆ 核心进展：欧盟委员会计划未来几周提出GDPR削减提案，减少企业合规负担 ⚡ 2018年实施以来首次重大调整 行业影响：▸ 可能释放欧洲AI 应用成本下降"开放生态是AI民主化的关键" - NVIDIA发言人undefined 模型已在Hugging Face发布，商用前景广阔️ 二、技术前沿 (Tech Radar)2.1 自我原则批判调优 医疗 ▲▲▲ ▲▲▲▲ ▲▲▲▲ ▲▲ 工业AI ▲▲▲▲ ▲▲ ▲▲▲ ▲▲▲ 零售AI ▲▲▲ ▲ ▲
36800编辑于 2025-04-08- 来自专栏Python 爬虫
爬虫逆向基础，认识 SM1-SM9、ZUC 国密算法
[ZU8GR7hf2bXswgu.png] 【01x00】 简介 国密即国家密码局认定的国产加密算法，爬虫工程师在做 JS 逆向的时候，会遇到各种各样的加密算法，其中 RSA、AES、SHA 等算法是最常见的 ，这些算法都是国外的，在 K 哥以前的文章里也有介绍：《【爬虫知识】爬虫常见加密解密算法》 事实上从 2010 年开始，我国国家密码管理局就已经开始陆续发布了一系列国产加密算法，这其中就包括 SM1、SM2 在这些国产加密算法中，SM2、SM3、SM4 三种加密算法是比较常见的，在爬取部分 gov 网站时，也可能会遇到这些算法，所以作为爬虫工程师是有必要了解一下这些算法的，如下图所示某 gov 网站就使用了 爬虫工程师基本上不会遇到此类算法。 在商用密码体系中，SM9 主要用于用户的身份认证，据新华网公开报道，SM9 的加密强度等同于 3072 位密钥的 RSA 加密算法。
3.4K20发布于 2021-11-09 AI论文生成不用愁！9个AI工具大推荐
本文会为您推荐9款出色的AI论文生成工具，助力您轻松应对论文写作过程中遇到的挑战。1. 瑞达写作：论文创作的得力助手工具简介：只要输入论文题目，就能一键生成高达5万字的论文初稿。 未针对AIGC检测处理，AI率较高。可能编造虚假参考文献。6. Grammarly：论文语言优化专家工具简介：Grammarly主要提供语法检查功能，也具备AI写作功能，可优化论文语言流畅度和语法。 Jasper AI：全面AI写作工具工具简介：Jasper AI（原名Jarvis）是全面的AI写作工具，可生成各种类型文章，包括学术论文。 9. AI Writer：简单易用的学术写作工具工具简介：AI Writer专注于学术写作高质量内容生成，根据关键词或话题自动生成论文段落，适合初稿生成。可快速启动论文写作过程。 上述9款AI工具各有特色，不管是初稿生成、内容润色还是语法检查，都可为您的论文写作提供有力支撑。选择合适的工具，让AI成为您学术道路上的得力帮手，轻松应对各种写作挑战。
54810编辑于 2025-08-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号