Web爬虫类

Question

我使用爬虫类的方式如下，我开始认为这是一种糟糕的做法：

crawler.py

import requests

class Crawler():
    def __init__(self, url):
        self.url = url

    def web_crawler(self):
        requests.get(self.url)
        return requests.text

main.py

for url in urls:
    crawler = Crawler(url)
    results = crawler.web_crawler()

将url参数移出Crawler's __init__并将其移动到web_crawler函数中会更好吗?这样，类就不必在main.py中被多次重新初始化。

Answer 1

由于Crawler类与__init__一起只有一个方法，所以可以完全避免类并编写：

def web_crawler(url):
    requests.get(url)
    return requests.text

现在必须精确地初始化0次，从而将问题从根中移除：

for url in urls:
    results = web_crawler(url)

在定义和使用上，代码也是简化的。

Answer 2

还可以创建字段名url，并使用getter和setter获取/更改类外部的值。