如何用 Selenium 解决新闻数据批量采集难题

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import NoSuchElementException, TimeoutException
import pandas as pd
import time

class NewsCrawler:
    def __init__(self):
        # 初始化Chrome浏览器配置
        self.options = webdriver.ChromeOptions()
        # 可选配置：隐藏浏览器窗口（无头模式），提升采集效率
        # self.options.add_argument('--headless=new')
        # 可选配置：禁用图片加载，减少页面加载时间
        self.options.add_argument('--blink-settings=imagesEnabled=false')
        # 可选配置：模拟普通浏览器请求，避免被反爬识别
        self.options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
        
        # 初始化浏览器驱动
        self.driver = webdriver.Chrome(options=self.options)
        # 初始化WebDriverWait，设置默认最大等待时间10秒
        self.wait = WebDriverWait(self.driver, 10)
        # 初始化新闻数据存储列表
        self.news_data = []
    
    def extract_news_single_page(self):
        """提取单页的所有新闻数据"""
        try:
            # 显式等待：等待新闻列表容器加载完成（根据目标网站调整元素定位器）
            news_list = self.wait.until(
                EC.presence_of_all_elements_located(
                    (By.CLASS_NAME, "news-item")  # 替换为目标网站的新闻项类名
                )
            )
            
            # 遍历新闻列表，提取单条新闻数据
            for news in news_list:
                news_info = {}
                try:
                    # 提取新闻标题（根据目标网站调整元素定位方式）
                    title_elem = news.find_element(By.CLASS_NAME, "news-title")
                    news_info["标题"] = title_elem.text
                    news_info["链接"] = title_elem.get_attribute("href")
                    
                    # 提取新闻发布时间
                    time_elem = news.find_element(By.CLASS_NAME, "news-time")
                    news_info["发布时间"] = time_elem.text
                    
                    # 提取新闻摘要
                    summary_elem = news.find_element(By.CLASS_NAME, "news-summary")
                    news_info["摘要"] = summary_elem.text
                    
                    # 将单条新闻数据添加到总列表
                    self.news_data.append(news_info)
                    print(f"成功提取新闻：{news_info['标题']}")
                
                except NoSuchElementException as e:
                    print(f"单条新闻数据提取失败，缺失元素：{str(e)}")
                    continue
            
            print(f"当前页面提取完成，累计采集新闻{len(self.news_data)}条")
        
        except TimeoutException:
            print("新闻列表加载超时，无法提取单页数据")
        except Exception as e:
            print(f"单页数据提取异常：{str(e)}")
    
    def click_next_page(self):
        """模拟点击下一页按钮，返回是否成功翻页"""
        try:
            # 显式等待：等待下一页按钮可点击
            next_btn = self.wait.until(
                EC.element_to_be_clickable(
                    (By.CLASS_NAME, "page-next")  # 替换为目标网站的下一页按钮类名
                )
            )
            
            # 模拟点击下一页（避免直接点击触发反爬，添加短暂延时）
            self.driver.execute_script("arguments[0].click();", next_btn)
            # 翻页后等待新页面加载（可根据网站加载速度调整延时）
            time.sleep(2)
            return True
        
        except (NoSuchElementException, TimeoutException):
            print("已无下一页，翻页结束")
            return False
        except Exception as e:
            print(f"翻页操作异常：{str(e)}")
            return False
    
    def batch_crawl_news(self, target_url, page_count=5):
        """
        批量采集多页新闻数据
        :param target_url: 目标新闻栏目URL
        :param page_count: 要采集的页数，默认5页
        """
        try:
            # 打开目标网站
            self.driver.get(target_url)
            print(f"成功打开目标网站：{target_url}")
            
            # 循环采集指定页数
            for current_page in range(1, page_count + 1):
                print(f"\n开始采集第{current_page}页新闻数据")
                # 提取当前页新闻数据
                self.extract_news_single_page()
                # 翻页（如果是最后一页，无需翻页）
                if current_page < page_count:
                    if not self.click_next_page():
                        break
            
        except Exception as e:
            print(f"批量采集异常：{str(e)}")
    
    def save_news_to_excel(self, file_name="新闻采集结果.xlsx"):
        """将采集到的新闻数据保存为Excel文件"""
        if not self.news_data:
            print("无采集到的新闻数据，无法保存")
            return
        
        try:
            # 将列表转换为pandas DataFrame
            df = pd.DataFrame(self.news_data)
            # 保存为Excel文件（忽略索引列）
            df.to_excel(file_name, index=False, engine="openpyxl")
            print(f"新闻数据已成功保存为Excel文件，路径：{file_name}")
            print(f"最终采集到有效新闻{len(self.news_data)}条")
        
        except Exception as e:
            print(f"数据保存失败：{str(e)}")
    
    def close_crawler(self):
        """关闭浏览器，释放资源"""
        self.driver.quit()
        print("爬虫已关闭，浏览器资源释放完成")

# 主函数：执行新闻采集
if __name__ == "__main__":
    # 初始化爬虫实例
    news_crawler = NewsCrawler()
    
    try:
        # 配置目标参数（替换为实际的新闻栏目URL）
        TARGET_NEWS_URL = "https://www.example.com/news/domestic"  # 示例URL，需替换为真实地址
        CRAWL_PAGE_COUNT = 5  # 要采集的页数
        
        # 批量采集新闻数据
        news_crawler.batch_crawl_news(TARGET_NEWS_URL, CRAWL_PAGE_COUNT)
        
        # 保存采集结果到Excel
        news_crawler.save_news_to_excel()
    
    finally:
        # 无论采集是否成功，最终都关闭爬虫
        news_crawler.close_crawler()