自动化网络任务？

Question

我在chess.com上玩，我想下载我的游戏的历史。不幸的是，他们不容易:我可以访问100页的50个游戏一次，点击“选择所有”和“下载”，然后他们电子邮件给我。

是否有一种方法可以用python或其他语言编写脚本，以帮助我自动化流程的任何部分？模拟点击链接的东西？除了单元测试之外，Capybara对类似的事情有用吗？硒？

我还没有太多的网页开发经验。谢谢你的帮忙!

Answer 1

您可能需要查看CasperJS。我使用Python来激发CasperJS脚本来进行web抓取，并将数据返回到Python以进一步解析或存储到数据库中等等。

Python本身具有BeautifulSoup和机械，但与基于Ajax的站点的组合并不好。

Python和CasperJS是完美的。

Answer 2

如果你想做这样的事情，Selenium可能是一个很好的候选人。

下面是一些伪代码：

foreach page_link in page_links:
  page_link.click()
  select_all.click()
  download_link.click()

Answer 3

看看氦。使用这个Python库实现您需要做的事情应该相对容易：

start_chrome("chess.com")
...
click("Select All")
click("Download")
...

等。