小白学大数据 - 个人中心 - 腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

小白学大数据

LV0

全部文章

对比分析：Python爬虫模拟登录的3种主流实现方式
在Python爬虫开发中，模拟登录是获取权限内数据、突破基础反爬机制的核心环节。绝大多数网站都会通过登录校验限制未授权访问，无论是个人数据、会员内容还是动态接口...
小白学大数据 2天前2026-03-10 16:51:26
python、爬虫图片
爱奇艺 VIP 电影爬取：Python 多线程并发实战
在数据采集领域，爱奇艺作为头部视频平台，其电影数据的爬取一直是 Python 爬虫学习者的经典实战场景。普通单线程爬虫面对大量 VIP 电影数据采集时效率低下，...
小白学大数据 3天前2026-03-09 16:44:26
多线程、python
Pycharm 断点调试 Scrapy：两种实现方式总结
在 Scrapy 爬虫开发过程中，调试是核心环节之一。相比于命令行打印日志的低效调试方式，利用 PyCharm 的断点调试功能可以精准定位代码问题、跟踪数据流转...
小白学大数据 7天前2026-03-05 16:49:53
pycharm
揭秘微博年度热点：Python 爬取热搜关键词并制作词云图
微博作为国内头部的社交媒体平台，其热搜榜堪称 “网络热点晴雨表”，汇聚了一年内大众最关注的社会事件、娱乐热点、行业动态。本文将手把手教你用 Python 爬取微...
小白学大数据 8天前2026-03-04 16:45:55
python
Python 数据分析前置：BeautifulSoup 爬取 NBA 数据源
对于 NBA 数据分析爱好者而言，数据源的获取主要有两种方式：一是借助 NBA 官方提供的 API 接口，二是通过网页爬取的方式获取公开数据。前者虽然数据精准、...
小白学大数据 9天前2026-03-03 16:47:34
python、beautifulsoup
Python 爬虫 403 错误处理：Selenium 与普通请求对比
403 Forbidden 本质是服务器对请求的「身份校验失败」，常见触发原因可分为以下几类：
小白学大数据 10天前2026-03-02 16:45:32
python、selenium
Python 爬取社交网络评论数据并完成情感分析
在社交媒体成为舆论主阵地的当下，爬取并分析社交网络评论数据已成为企业舆情监控、用户需求挖掘、品牌口碑分析的核心手段。本文将以实战视角，完整讲解如何使用 Pyth...
小白学大数据 13天前2026-02-27 16:40:48
python
效率炸裂！Python 多线程爬虫实现 10 倍速采集
单线程爬虫的执行逻辑是串行化的：发起一个 HTTP 请求 → 等待服务器响应 → 解析数据 → 存储数据 → 再发起下一个请求。这个过程中，90% 以上的时间都...
小白学大数据 14天前2026-02-26 16:32:58
python、多线程
Java 爬虫工作原理：从请求到解析小说内容
网络爬虫本质是模拟浏览器的行为，向目标网站发送请求、接收响应，并从响应数据中提取有效信息的程序。针对小说爬取场景，其核心流程可分为四步：
小白学大数据 15天前2026-02-25 16:45:21
java、python爬虫
Python 抖音爬虫从 0 到 1 实战：环境配置与数据爬取全教程
在短视频商业化、内容分析、用户行为研究等场景中，抖音公开数据的爬取已成为技术从业者的必备技能。相较于通用网站爬虫，抖音基于移动端的加密机制、反爬策略增加了开发难...
小白学大数据 16天前2026-02-24 16:40:23
python
Python 进阶爬虫：解析知识星球 API
知识星球的前端页面采用动态加载技术（JavaScript 渲染），所有内容数据均通过后端 API 接口以 JSON 格式返回，前端再将数据渲染为可视化页面。因此...
小白学大数据 2026-02-032026-02-03 16:52:17
python、网络爬虫
实测数据：多进程、多线程、异步协程爬虫速度对比
线程是操作系统调度的基本单位，多线程通过在一个进程内创建多个执行流实现并发。Python 中的threading模块基于操作系统原生线程实现，但受GIL（全局解...
小白学大数据 2026-02-022026-02-02 16:47:31
python、多线程、多进程
高效爬取某宝：Python JS 逆向与多线程结合实践
同时准备抓包工具（Charles 或 Fiddler）、浏览器开发者工具（F12），用于抓包分析请求参数与 JS 加密逻辑。
小白学大数据 2026-01-292026-01-29 16:31:18
python
使用随机时间间隔提升爬虫隐蔽性
网站对爬虫的检测，本质是区分机器请求与人类请求，而请求的时间特征是最易捕捉的差异点。人类访问网页时，会存在浏览内容、翻页思考、误操作等行为，两次请求之间的时间间...
小白学大数据 2026-01-272026-01-27 16:46:00
大数据处理、python爬虫
链家二手房数据爬取、聚类分析与可视化展示实践
一、项目技术框架与环境准备本次实践的核心目标是完成 “数据获取 - 数据预处理 - 聚类分析 - 可视化展示” 的全流程闭环，技术选型围绕 Python 生态的...
小白学大数据 2026-01-262026-01-26 16:48:34
python3、python爬虫
绕过拼多多 App 反抓包机制的综合逆向解决方案
一、拼多多 App 反抓包机制核心原理剖析1.1 反抓包机制的技术架构拼多多 App 的反抓包防护并非单一技术手段，而是由多层防护策略构成：网络层防护：检测代理...
小白学大数据 2026-01-222026-01-22 16:54:20
app、python
移动端Temu App数据抓包与商品爬取方案
随着跨境电商行业的快速迭代，Temu凭借“低价策略+全球供应链”优势，快速抢占全球市场，成为跨境电商领域的核心玩家之一。对于开发者、电商分析师而言，获取Temu...
小白学大数据 2026-01-212026-01-21 16:48:44
python3、python爬虫
基于 Python 的知网文献批量采集与可视化分析
在学术研究与文献综述工作中，知网（CNKI）作为国内最核心的学术文献数据库，其文献数据的采集与分析是研究工作的重要基础。手动逐条下载、整理文献信息不仅效率低下，...
小白学大数据 2026-01-202026-01-20 16:49:10
python、数据可视化
Python 爬虫技术：抖音视频批量提取与数据存储
本次爬虫开发采用 Python 作为核心编程语言，搭配以下第三方库，各库的核心作用如下：
小白学大数据 2026-01-192026-01-19 16:53:19
python、python爬虫
使用 requests 库处理爱奇艺 Cookie 与 Session 管理
在进行具体实操前，我们需要先厘清 Cookie 与 Session 的核心差异，这是理解后续操作的基础：
小白学大数据 2026-01-162026-01-16 16:13:49
python3

12 3 4 5 6 7 8...44 下一页

个人简介

亿牛云 | python爬虫工程师
简单的python学习者
程序人生
暂未填写学校和专业
http://ip.16yun.cn:817/accounts/phone_register/?sale_user=ZM_seven7
四川省 | 成都市
加入社区时间：2019-02-20

个人成就

获得 1.2K 次赞同
文章被阅读 641.7K 次

关注了：6关注者：31