在网站中搜索特定的URL链接？

Question

哪种语言或方法最容易输入网站的URL并接收该网站上与给定URL相链接的每个URL。例如，如果我想要查看在我的网站上有多少次有一个名为oranges的页面的链接，我就会使用它。

我会在程序"http://www.mysite.com“中输入我想要搜索"http://www.mysite.com/oranges”的网址，然后运行程序。作为回报，我会得到一个文本文件或其他一些文件，其中所有的URL都包含到"http://www.mysite.com/oranges"“的链接。

输入可能是：

http://www.mysite.com http://www.mysite.com/oranges

输出可能是：

http://www.mysite.com/index.html
http://www.mysite.com/broccoli.html
http://www.mysite.com/asparagus.html
http://www.mysite.com/fruits.html
http://www.mysite.com/blog/post/my_favorite_fruits.html

到目前为止，我已经尝试了我个人最喜欢的: Batch，并提出了以下不成功的程序：

FOR /F %%A in (input.txt) DO (
    curl -o temp.html %%A 
    FOR /F "tokens=1,2 delims=:" %%B in ('FINDSTR /I /R "http://.*" temp.html') DO (
    ECHO %%B >> input.txt
        FOR /F %%C in (temp.html) DO (
            FINDSTR /X "http://.*" %%C >> output.txt
  )         
 )
)
exit

如上所述，它并不能真正起作用。

有什么想法吗？这不是为了家庭作业，这是为了一个工作项目，这让我发疯！

提前感谢你们所有的帮助。如果我需要更具体的东西，请告诉我！

Answer 1

据我所知，你能做的最好的事情可能就是一个算法，它能抓取网址的index.html并在HTML中搜索链接和可能的网站地图(基本上就是创建你自己的网站地图)。不能保证你会找到所有东西，因为大多数开发人员都有隐藏的东西。(未链接等)。你可以创建一个递归方法来做我上面提到的事情。

Answer 2

试试Scrapy http://scrapy.org/吧。它是一个python框架，可以帮助从起始urls抓取html内容。

它还递归地抓取抓取的链接，并有最好的算法来避免重复抓取的urls。文档很容易理解，并且创建了一个简单的程序。