来自sitemap.xml的卷发？

Question

我想压缩一个curl列表(也就是在https://example.com/sitemap.xml中定义的)

我最近能达到的目标是

xargs curl --referer https://mywebsite.ca --user-agent "It me yo" < listofurls.txt > /dev/null

它工作得很好，很好，并且点击了我需要的URL，但是除了本地文件之外，它似乎无法处理其他任何东西。我还想使用一个已经存在并保持自身维护的列表( sitemap.xml)。

Answer 1

您可能希望使用XSLT将sitemap.xml转换为URL列表，每一行一个。要在命令行上这样做，可以使用xsltproc，这是利布斯洛的一部分。所以你会做这样的事：

curl https://example.com/sitemap.xml | xsltproc stylesheet | xargs curl --blah --blah

创建XSLT样式表是留给读者的练习。