小白学大数据

文章/答案/技术大牛

发布

LV0

发表了文章 1天前2026-07-24 16:50:43

抓不到数据先别急，看看 Scrapy 代理有没有真起作用

你写的 Scrapy 爬虫跑了一晚上，库里还是空的。第一反应通常是目标站反爬升级，或者 XPath 写错。这两种都有可能，但我遇到更多的是代理压根没生效：请求用...

小白学大数据 1天前2026-07-24 16:50:42

python、scrapy

发表了文章 2天前2026-07-23 16:57:31

异步爬虫里 aiohttp 超时设多少不会误杀正常请求

超时设 3 秒，跑半小时成功率从 98% 掉到 85%。目标站点 RTT 正常，代理 IP 存活，但大量请求抛 ServerTimeoutError。问题出在超...

小白学大数据 2天前2026-07-23 16:57:31

python、aiohttp

发表了文章 3天前2026-07-22 16:56:49

SERP抓取做排名追踪：requests加BeautifulSoup够不够用

做SEO的人迟早会遇到一个问题：你想知道自己的页面在某个关键词下排第几。手动搜一次两次没问题，但如果你要追踪几百个关键词、每周更新一次、还要跟竞品对比，手动就不...

小白学大数据 3天前2026-07-22 16:56:49

requests、beautifulsoup

发表了文章 4天前2026-07-21 16:59:03

将 Lazada 爬取结果落地 MySQL：PHP 数据持久化实战

在跨境电商选品和竞品监控中，Lazada 的商品页包含标题、价格、评分、库存等结构化字段，是比价与趋势分析的数据来源。爬虫把页面拉到内存只是流程的前半段：内存中...

小白学大数据 4天前2026-07-21 16:59:03

python、mysql、php-5.3

发表了文章 5天前2026-07-20 16:55:37

把 time.sleep 换成 await asyncio.sleep 之前，先想清楚谁在帮你并发

上周 review 一个同事的爬虫脚本，两千多行，注释里写着"已改成异步，性能提升十倍"。我在本地跑了一遍，比同步版本慢了将近一倍。问题出在哪？满屏的 awai...

小白学大数据 5天前2026-07-20 16:55:37

python、高并发

发表了文章 8天前2026-07-17 16:38:18

企业内网场景下 Python 自定义 CA 证书信任链的正确配置方法

Python 在内网访问 HTTPS 接口时,常遇到 SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificat...

小白学大数据 8天前2026-07-17 16:38:18

python3

发表了文章 9天前2026-07-16 16:59:25

两周完成爬虫技术栈升级：Scrapy 迁移 Crawlo 的路径与取舍

问题定位：不是框架选型错，是执行模型不匹配我们的抓取服务在 Scrapy 上稳定运行了两年，日均调度量从 30 万涨到 3000 万。迁移的动因不是 Scrap...

小白学大数据 9天前2026-07-16 16:59:25

scrapy、python

发表了文章 10天前2026-07-15 17:01:11

Python 随机打乱列表怎么实现？shuffle 避坑指南，90% 的人都用错了

我见过太多人在这个问题上翻车。上周 code review，一个实习生写了 shuffled = my_list.shuffle()，然后对着一个 None 报...

小白学大数据 10天前2026-07-15 17:01:11

shuffle、python

发表了文章 11天前2026-07-14 17:05:08

全网电影信息爬取：从单机脚本到分布式采集系统的工程实践

今年 4 月，工作室接了一单影视数据聚合的项目，客户要做全平台电影元数据的结构化采集，覆盖豆瓣、猫眼、淘票票、IMDb、TMDB 等十几个数据源，日均采集量在 ...

小白学大数据 11天前2026-07-14 17:05:08

python

发表了文章 12天前2026-07-13 16:56:05

深入 Pillow 底层：Python 图像通道、像素运算实战开发

大多数开发者对 Pillow 的使用停留在 Image.open() + resize()。一旦涉及水印合成、通道混合、批量处理性能优化，对通道模型和像素运算的...

小白学大数据 12天前2026-07-13 16:56:05

python

发表了文章 16天前2026-07-09 16:50:42

JS 逆向天花板姿势：JSRPC 远程调用实战

JS 逆向走到深处，最终都会撞上一堵墙：核心加密逻辑被 VMP 虚拟机保护、控制流平坦化、反调试陷阱层层包裹，静态分析几乎无法还原，AST 解析也无从下手。传统...

小白学大数据 16天前2026-07-09 16:50:42

python、爬虫图片

发表了文章 18天前2026-07-07 16:54:05

无库无捷径，PyTorch 手写完整 Transformer 大语言模型 LLM

调用 from transformers import AutoModel 只要一行代码，但真正理解 Transformer 的人少之又少。多数开发者对 Att...

小白学大数据 18天前2026-07-07 16:54:05

huggingface-transformers、pytorch、python

发表了文章 19天前2026-07-06 16:52:41

Polars 性能碾压 Pandas 吗？千万级真实业务数据实测给出答案

围绕 Polars 最常见的说法是"比 Pandas 快 10~30 倍"。这个数字在官方 benchmark 和社区博客里反复出现，但对于一线业务开发者，真正...

小白学大数据 19天前2026-07-06 16:52:40

pandas、python

发表了文章 22天前2026-07-03 16:56:58

深耕 Pandas 实战能力，快速拉开职场数据处理差距

很多人学 Pandas 的终点是 read_csv + groupby，一进真实项目就发现——数据清洗花掉 80% 时间，Merge 后行数对不上，百万行数据跑...

小白学大数据 22天前2026-07-03 16:56:58

python、pandas

发表了文章 23天前2026-07-02 16:55:35

Python 高并发抢票技术拆解：异步请求、Cookie 持久化实战

票务抢票场景本质为毫秒级高并发资源竞争。放票瞬时海量请求涌入服务端，仅低延迟、高稳定、可抗风控的客户端可抢占资源。该场景核心依赖三大技术支柱：异步并发请求、会话...

小白学大数据 23天前2026-07-02 16:55:35

python、异步、cookie

发表了文章 25天前2026-06-30 16:56:30

Python 量化数据工程：基于 Pandas 的 A 股 K 线标准化清洗与向量化技术指标计算

前言量化投研领域存在一条公认的数据底层准则：策略回测与量化模型的性能上限，由输入数据集的基准质量决定。A 股市场多数据源输出的原始日度 K 线数据集普遍存在天然...

小白学大数据 25天前2026-06-30 16:56:30

python、量化

发表了文章 26天前2026-06-29 16:54:10

Python Scrapy 跨平台爬虫实战：XPath 解析与结构化数据提取

爬虫开发中，请求—下载—解析—存储是最基础的四段流水线。请求和下载部分各语言方案大同小异，真正拉开效率差距的是解析层。BeautifulSoup 面对深层嵌套、...

小白学大数据 26天前2026-06-29 16:54:09

scrapy、xpath、python

发表了文章 29天前2026-06-26 16:41:22

2026 爬虫新选择：Claude Code 对比传统爬虫框架优劣分析

在大数据与自动化采集技术高速普及的2026年，网络爬虫早已成为数据分析、舆情监测、商业调研、内容聚合领域的核心工具。长期以来，开发者始终依赖 Beautiful...

小白学大数据 29天前2026-06-26 16:41:22

codec、python

发表了文章 30天前2026-06-25 16:50:53

告别 Scrapy 反爬困境：无缝切换原生支持 JS 渲染的新一代爬虫框架

一、前言：传统 Scrapy 爬虫在现代网页下的致命短板Scrapy 作为 Python 生态老牌同步爬虫框架，多年来是数据采集领域主流工具，凭借成熟管道、分布...

小白学大数据 30天前2026-06-25 16:50:53

json、python、scrapy

发表了文章 2026-06-242026-06-24 16:47:02

脏数据克星：Python 爬虫完整数据清洗实操案例

在Python爬虫开发与数据工程落地体系中，原始采集数据脏数据化是制约数据价值落地的核心瓶颈。网页原始源码普遍存在空白字符、换行符、特殊转义符号等冗余内容，同时...

小白学大数据 2026-06-242026-06-24 16:47:02

python、数据清洗

12 3 4 5 6 7 8...47 下一页

个人简介

亿牛云 | python爬虫工程师
简单的python学习者
程序人生
暂未填写学校和专业
http://ip.16yun.cn:817/accounts/phone_register/?sale_user=ZM_seven7
四川省 | 成都市
加入社区时间：2019-02-20

个人成就

获得 1.2K 次赞同
文章被阅读 959.5K 次

关注了：6关注者：44