如何使用Python仅爬行特定的域？

Question

我需要从一个域开始，从网站提取所有链接，然后继续从这些链接提取链接。但是，我应该只遍历属于给定域的链接。我使用的是BeautifulSoup。我能想到的唯一方法就是测试href是href =‘www.ometherdomain.com’的形式，还是href= 'page1/page2‘的形式。前者将指示链接指向新域，而后者将指示链接指向同一域中的页面。

所以我创建了一个名为has_domain的函数来检查这个链接是否已经有了自己的域。代码如下所示：

def has_domain(url):
    if 'www.' in url:
        return True
    else:
        return False

问题是，并不是种子域之外的每个链接都以“www.”开头。有没有更简单的方法来检查链接是否指向新域？

Answer 1

您可以使用urlparse获取主机名，然后检查它是否在列表中，或者直接将其与字符串进行比较。

下面是一个将其与域名列表进行比较的示例，请注意，它将"www“变体视为不同的域名。

from urlparse import urlparse

url_list = ["example.com", "www.example.com"]

def has_domain(url):
    p = urlparse(url)
    if p.hostname in url_list:
        return True
    else:
        return False

print has_domain("http://www.example.com")