RegEx on CommonCrawl API过滤器参数

Question

我试图在filter参数中使用regex，但不能使用$来确定字符串的结尾：

我的请求网址：

http://index.commoncrawl.org/CC-MAIN-2017-39-index?url=*.com/&matchtype=domain&fl=url&filter=~url:.com/$

• 我的过滤器使用~，这使它成为正则表达式。
• 在python测试器上验证是否正确：https://pythex.org/用于任何.com URL，只有TLD，例如：https://stackoverflow.com/

API文档：https://github.com/ikreymer/pywb/wiki/CDX-Server-API#api-reference

我基本上得到了很多的结果，在每个网站上的网页，我不关心，我只是想要TLD。如果我把$拿出来，它就能工作了。

Answer 1

这个查询应该可以工作：http://index.commoncrawl.org/CC-MAIN-2017-39-index?url=*.com/&fl=url&filter=url:.*\.com/$

但是在将来你可能不得不使用http://index.commoncrawl.org/CC-MAIN-2017-39-index?url=*.com/&fl=url&filter=~url:.*\.com/$

1. 在pywb #249中有一个已知的bug。希望很快就能修复并部署到index.commoncrawl.org上。作为一种临时的解决方案:使用=作为regex过滤器，使用=~表示“包含”过滤器。
2. 这里不需要matchType=domain，因为*.com/已经被通配符模式*.com/匹配。它应该用来查询域名，例如http://index.commoncrawl.org/CC-MAIN-2017-39-index?url=commoncrawl.org&matchType=domain&fl=url。
3. 正则表达式从字段值的开头就匹配，因此应该是.*\.com/$。请参阅pywb#250中的改进文档。