我想从别人的经验中了解用Codeigniter创建站点地图的最好方法。我看过一些插件/库,但都会检查数据库中的页面。如果站点上的一些页面是静态的而不是动态的,会发生什么?
有没有办法使用PHP抓取站点并创建一个包含结果的XML文件?
我以前在项目中使用过的一个工具是http://enarion.net/tools/phpsitemapng/download/
这是一个用于创建站点地图的免费工具,并允许诸如cron作业之类的功能。
我的下一步是什么?我如何才能做到这一点?
发布于 2011-11-22 02:48:48
嗯,你的问题在于你同时拥有动态和静态页面。因此,爬虫可以工作,但您必须生成所有动态页面的链接列表。然后,您的爬虫可以访问该列表并访问所有动态页面,然后访问静态页面所在的目录。
然而,你提到的phpsitemapng上的文档声明他们将爬行一个实时网站。因此,如果您拥有所有可从这些页面访问的页面的链接,那么这将满足您的需求。
Scans files on website (slower, but will also find dynamic generated files and links)https://stackoverflow.com/questions/8216719
复制相似问题