一场始于 Selector Error 的拯救行动：企查查数据采集故障排查记

# 引入爬虫代理 IP配置
proxies = {
    'http': 'http://用户名:密码@域名:端口',
    'https': 'https://用户名:密码@域名:端口',
}
response = requests.get(url, proxies=proxies)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Cookie': 'your-cookie-string'  # 替换为实际有效 Cookie
}

# 企查查数据采集解决方案
import requests
from bs4 import BeautifulSoup

# 设置代理IP（亿牛云爬虫代理示例 www.16yun.cn）
PROXY_USERNAME = '16YUN'  # 替换为实际用户名
PROXY_PASSWORD = '16IP'  # 替换为实际密码
PROXY_DOMAIN = 'proxy.16yun.cn'
PROXY_PORT = '8080'

# 配置代理
proxies = {
    'http': f'http://{PROXY_USERNAME}:{PROXY_PASSWORD}@{PROXY_DOMAIN}:{PROXY_PORT}',
    'https': f'https://{PROXY_USERNAME}:{PROXY_PASSWORD}@{PROXY_DOMAIN}:{PROXY_PORT}',
}

# 设置请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Cookie': 'your-cookie-string'  # 替换为实际有效的 Cookie
}

# 爬取目标 URL
url = "https://www.qcc.com"

# 发送请求
response = requests.get(url, headers=headers, proxies=proxies)
response.encoding = 'utf-8'  # 设置正确编码

# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')

# 示例：解析公司信息（需根据实际页面结构调整选择器）
company_name = soup.select_one('.company-name')  # 假设 .company-name 是公司名称的类名
if company_name:
    print(f"公司名称: {company_name.text.strip()}")
else:
    print("未能获取公司名称！")

legal_representative = soup.select_one('.legal-rep')  # 假设 .legal-rep 是法人代表的类名
if legal_representative:
    print(f"法人代表: {legal_representative.text.strip()}")
else:
    print("未能获取法人代表信息！")

registered_capital = soup.select_one('.reg-capital')  # 假设 .reg-capital 是注册资本的类名
if registered_capital:
    print(f"注册资本: {registered_capital.text.strip()}")
else:
    print("未能获取注册资本信息！")