如何从使用javascript的站点获取数据？

Question

我想要的是查询metallum，以获得包含x字的简单歌曲列表，比如蜘蛛，所以浏览器的查询将是https://www.metal-archives.com/search?searchString=spider&type=song_标题 --我怀疑站点使用javascript --那么我如何使用bash做同样的事情呢？

Answer 1

只需尝试以下命令：

curl 'https://www.metal-archives.com/search/ajax-song-search/?field=title&query=spider'

(您也可以使用wget)

解释:

在您的例子中，我使用curl和您提议的URL获取您的页面，请参见：

<script type="be2873e53ee178327a06d401-text/javascript">
        $(document).ready(function() {
                        createGrid(
                        "#searchResults", 200, 
                        "search/ajax-song-search/?field=title&query=spider", 

我只需将您的https://www.metal-archives.com/前缀组装成最后一个引号字符串。

在其他情况下，JavaScript可能更难分析，使用像OWASP这样的调试代理可能更容易(未测试)。