使用StormCrawler查找过期域名

Question

我们需要使用StormCrawler查找过期域名的列表。我们得到过期域名的http_response_status代码200。在我们的项目中，我们希望找到这些过期的域名。我如何在StormCrawler项目中做到这一点？

Answer 1

如果你还想检测过期的域名是parked还是warehoused，你需要一种不同的方法，而不是依赖域名是否被DNS解析，域名主页是通过HTTP status“200OK”获取的：

• 分析内容，其中通常包括此域已暂留或待售的提示
• 许多暂留域的DNS记录/ IP地址通常指向相同的“暂留”服务器

请注意，即使域名主页的获取失败，域名也不一定过期-它可能不是用于www，而是用于其他服务(电子邮件等)。