我有一个3层的站点,我想从第2层和第3层抓取和解析链接,问题是在第2层有一个javascript分页,它为每个页面提供不同的链接(总共5页)。
示例:第1级:主菜单(我使用SgmlLinkExtractor catid=22767提取类别的链接)第2级:有我想解析的链接,但也有javascript分页,我需要从其中提取其余的链接(即catid=22767&page1=2)第3级:对于上述步骤的每个链接,我想解析响应。
站点是(http://www.ethnos.gr/) level2 is (summary.asp?catid=22768) level3是我想解析的文章页面
问题是:对于从第一级提取的每一个链接,我如何创建一个循环并构造所有5个链接,然后使用第二级的SgmlLinkExtractor来跟踪这些链接?
https://stackoverflow.com/questions/20402110
复制相似问题