大批量数据

Question

有谁知道如何才能大量获取谁的数据呢？我知道有付费服务(见下面的链接)，这些服务提供了我想要的东西，但我发现似乎没有合法的方法来获取这些数据，这让我感到沮丧。我觉得这很令人沮丧，因为数据本身是开放的和免费的。

我考虑过自动化和解析运行命令行whois的结果，但这与命令结果输出底部列出的免责声明背道而驰。我也接触到了IANA，他们能做的最好的就是为我提供区域文件。此外，我还联系了管理.org域的PIR，他还向我指出了DNS区域文件。我希望能就我可以进一步研究的领域提供任何反馈或指导。

https://domainnamestat.com/和https://www.whoisxmlapi.com/

Answer 1

“我感到沮丧的是，似乎没有一种合法的方法去获取这些数据。我觉得令人沮丧的原因是数据本身是开放和自由的。”

这一部分在多个方面都是错误的。

首先，在StackExchange上已经出现了许多这样的问题，比如Webmaster站点或StackOverflow (不幸的是，这是一个非正式的话题)。请花点时间搜索一下。

但是总结一下：

首先，不要再说“那些数据”了。每个人都这样做，同意，但这是错误的。它是注册数据，您可以(通常)使用端口43 (或上面的web接口)上的whois协议来访问。它可能很快就会通过RDAP (另一种协议)，但它仍然是相同的数据。所以“谁的数据”不合适。

然后，您需要了解域名是如何工作的，以及存在gTLD和ccTLD的事实。所有的gTLD都与ICANN签订了合同，所以你可以找到一些常见的东西，但是ccTLD是独立的。

注册资料并非“免费”。当注册人将这些数据提供给注册表时，它具有一定的预期使用范围。不一定期望这些数据随后被复制到“任何地方”，并用于任何其他目的(实际上，您没有用这些数据说明您的目标，或者为什么您有这种需求)。这正是新的探地雷达的意义所在。

事实上，它也是开放的。它的一部分可能是公开的，正如你今天所发现的，现在许多服务器都用修改过的部分回复，特别是因为GDPR。在未来，新的RDAP将允许分层访问:通常，执法机构将获取所有数据，而公共非特权访问可能只会得到名称和国家(例如，即便如此)。

DNS zonefiles提供了已发布域名的列表(它是所有注册域名的子集)，这是免费和公开的(在gTLD世界中)，但不会给您"whois数据“，即注册数据。正如您自己所观察到的，您不应该查询高容量的注册服务器，通常用于重构所有数据。

在gTLD世界中，注册人必须出售这些数据。请参阅另一个回复以获得提示：https://stackoverflow.com/questions/25057370/where-do-services-like-http-whoisxmlapi-com-get-their-data当然不适合您的账单，因为它并不像啤酒一样免费，您需要输入1000多份这样的合同(每份合同10,000美元，费用可能很高)，而且您仍然可以获得大量的“编辑”数据。

在ccTLD世界中，没有这样的合同，因为注册中心都是厚厚的，不像COM/NET那样薄，而且它们是，特别是来自欧洲国家的注册中心，通常更严格地处理私人数据，从而对其进行公开访问。

一些登记册启动了一项“开放数据”倡议。因此，部分注册数据(您仍然有隐私问题)可以获得，尽管不是实时的。例如，有关https://opendata.afnic.fr/注册表，请参见.FR。

现在你可能想知道，自从你举了一些例子之后，其他人是怎么做的？可能，而且通常，从zonefiles开始，然后缓慢地执行whois查询来收集所有数据。这当然不是没有危险的，你可以放弃今天在没有大量资源的情况下大规模这样做的任何希望。请注意，注册中心和网站之间甚至会发生诉讼，收集来自whois的数据，比如http://www.domainpulse.com/2019/02/13/domaintools-violate-nz-harvesting-whois-data/。

因此，简单地说，为什么首先需要“大量”注册数据？