在网站上运行搜索并返回结果的脚本

Question

对于我正在进行的系统文献回顾，我对自动化以下过程很感兴趣。

我有一个大量的致病因素列表，我想对医学文献进行批量搜索，并返回从每种类型的bug中获得的结果，然后将这些结果放入一个很好的CSV文件中，这样我就可以将它们读取到R中，并处理一些统计数据/频率分布等。

我可以用excel表格和CTRL C+ CTRL V来完成这一切，但这需要一些时间。

基本上，我需要一些方法来与托管我要搜索的数据库的OvidSP对话，然后输入一个格式正确的字符串，以准确地执行我想要的搜索。然后让OvidSP为我运行搜索，并返回搜索到的匹配数。我想如果他们有一个可用的API，这会很容易--我已经直接给他们发了电子邮件。

我想知道是否有人认为这是可能的，或者什么是为这项任务编写脚本的最佳方式。我有一些Java，C++的经验，并且开始学习R--我也想知道Python是否有用？

这是我希望实现的目标的快速说明

我想要搜索的bug(通过CSV文件输入到程序中)

*沙门氏菌

*大肠杆菌

*流感

在这里插入花哨的程序，它使用我的凭据连接到Ovid，并运行以下搜索

1-沙门氏菌、发烧和医院-返回9342个结果

2-大肠杆菌、发烧和医院-返回93821个结果

3-流感、发烧和医院-返回323个结果

程序将这些数据写入一个格式良好的CSV文件中，我可以将其用于一些统计数据

我希望这是有意义的！提前谢谢。

Answer 1

这在原则上是可行的，最大的问题将是解析返回的数据(可能很难，可能很容易)和身份验证(可能不难，但取决于他们网站的结构)。

您要查看的python模块是urllib2 (用于请求)、csv (用于csv)和beautifulSoup。

用Python编写这段代码的好处是，您可以交互地探索返回的html (在python shell中)，因此可以更容易地弄清楚如何从您将返回的html中提取少量有趣的数据。