Python 抖音爬虫从 0 到 1 实战：环境配置与数据爬取全教程

requests==2.31.0  # 发送HTTP请求，获取接口数据
fake-useragent==1.4.0  # 生成随机User-Agent，模拟真实浏览器
json5==0.9.14  # 解析抖音非标准JSON数据
time  # 内置库，控制请求延迟
random  # 内置库，生成随机间隔
logging  # 内置库，记录爬取日志

https://www.douyin.com/aweme/v1/web/aweme/post/?sec_uid=【用户加密ID】&count=20&max_cursor=0&aid=6383

import requests
import json5
import time
import random
import logging
from fake_useragent import UserAgent

# 配置日志，记录爬取过程和异常
logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s - %(levelname)s - %(message)s",
    handlers=[logging.FileHandler("douyin_spider.log", encoding="utf-8"), logging.StreamHandler()]
)

class DouYinCrawler:
    def __init__(self):
        """初始化爬虫配置：请求头、代理、Cookie"""
        self.ua = UserAgent()
        # 请求头：模拟移动端浏览器，需替换为自己的Cookie
        self.headers = {
            "User-Agent": self.ua.random,
            "Referer": "https://www.douyin.com/",
            "Accept": "application/json, text/plain, */*",
            "Accept-Language": "zh-CN,zh;q=0.9",
            "Cookie": "请替换为自己的抖音网页版Cookie"  # 从浏览器开发者工具复制
        }
        # 代理配置（无代理则注释以下两行）
        self.proxies = {
            "http": "http://你的代理IP:端口",
            "https": "https://你的代理IP:端口"
        }

    def get_user_awemes(self, sec_uid, max_cursor=0):
        """
        爬取单页用户作品数据
        :param sec_uid: 用户加密ID
        :param max_cursor: 分页游标
        :return: 作品数据列表、下一页游标
        """
        # 核心请求URL
        url = f"https://www.douyin.com/aweme/v1/web/aweme/post/?sec_uid={sec_uid}&count=20&max_cursor={max_cursor}&aid=6383"
        
        try:
            # 发送GET请求，设置超时时间10秒
            response = requests.get(
                url=url,
                headers=self.headers,
                # proxies=self.proxies,  # 无代理则注释此行
                timeout=10
            )
            # 检查请求状态码
            response.raise_for_status()
            
            # 解析JSON数据（抖音返回数据可能含特殊字符，用json5解析）
            data = json5.loads(response.text)
            aweme_list = data.get("aweme_list", [])
            next_cursor = data.get("max_cursor", 0)  # 下一页游标
            
            if not aweme_list:
                logging.info("当前页无作品数据，爬取结束")
                return [], 0
            
            # 提取核心字段（可根据需求扩展）
            result = []
            for aweme in aweme_list:
                item = {
                    "作品ID": aweme.get("aweme_id"),
                    "作品标题": aweme.get("desc", "无标题"),
                    "发布时间": time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(aweme.get("create_time"))),
                    "点赞数": aweme.get("statistics", {}).get("digg_count", 0),
                    "评论数": aweme.get("statistics", {}).get("comment_count", 0),
                    "分享数": aweme.get("statistics", {}).get("share_count", 0),
                    "作品链接": f"https://www.douyin.com/video/{aweme.get('aweme_id')}"
                }
                result.append(item)
            
            logging.info(f"成功爬取{len(result)}条作品数据")
            return result, next_cursor
        
        except requests.exceptions.RequestException as e:
            logging.error(f"请求失败：{str(e)}")
            return [], 0
        except json5.JSON5DecodeError as e:
            logging.error(f"数据解析失败：{str(e)}")
            return [], 0

    def run(self, sec_uid, max_page=5):
        """
        爬虫主函数：循环爬取分页数据
        :param sec_uid: 用户加密ID
        :param max_page: 最大爬取页数
        """
        all_data = []
        max_cursor = 0
        current_page = 1
        
        while current_page <= max_page:
            logging.info(f"开始爬取第{current_page}页数据")
            # 爬取当前页数据
            page_data, next_cursor = self.get_user_awemes(sec_uid, max_cursor)
            
            if not page_data:
                break
            
            # 合并数据
            all_data.extend(page_data)
            
            # 随机延迟3~6秒，规避反爬
            delay = random.uniform(3, 6)
            logging.info(f"等待{delay:.2f}秒后爬取下一页")
            time.sleep(delay)
            
            # 更新游标和页数
            max_cursor = next_cursor
            current_page += 1
            
            # 若无下一页数据，终止循环
            if max_cursor == 0:
                logging.info("已爬取全部作品数据")
                break
        
        # 将数据保存为JSON文件
        with open("douyin_awemes.json", "w", encoding="utf-8") as f:
            json5.dump(all_data, f, ensure_ascii=False, indent=4)
        
        logging.info(f"爬取完成！共获取{len(all_data)}条作品数据，已保存至douyin_awemes.json")

if __name__ == "__main__":
    # 实例化爬虫
    crawler = DouYinCrawler()
    # 替换为目标用户的sec_uid（从抖音网页版接口中提取）
    target_sec_uid = "请替换为目标用户的sec_uid"
    # 启动爬虫（最多爬取5页）
    crawler.run(target_sec_uid, max_page=5)