在HTML文件中使用web- Crawling爬行javascript变量

Question

我有一个问题(也许是哑巴)。假设我在一个html页面中有以下代码片段和一堆其他东西(其他脚本标记和html标记)：

<script type="text/javascript">
    var count = 0;
    var active = false;
    var mapData = **{"points":   [{"type":"origin","name":"6003","lnglat":"174.77851504231018,-41.278763329010459,0\n"}]}**;
</script>

我只想抓取mapData变量的内容(在上面的例子中以粗体显示)。

我正在努力使用xpath表达式，我需要在我的xml配置文件中使用它来只获取mapData变量内容。因为我是新手，所以我不确定解决方案是使用xpath表达式还是其他方法。

所有其他时候，我都是基于HTML标记和其中的id属性名称进行抓取的，但是现在我在文件中只有很多脚本标记，并且我需要获取mapData变量。

有什么想法吗？

Answer 1

请尝试使用其中${SiteURL}是要访问的网站的URL：

<xpath expression="for $m in $x//script[contains(text(),'var mapData')] return normalize-space(substring-after($m,'var mapData ='))">
        <html-to-xml>
          <http url="${SiteURL}"/>
        </html-to-xml>
      </xpath>