因此,我必须开始思考我在数据科学硕士学位(面向商业,尽管我可以选择任何不相关的领域)的最后项目的主题,其中一个要求是挖掘和使用尚未在学术研究环境中进行分析的数据。我倾向于避免典型的从twitter或其他常见的信息资源中刮取数据。如果您能给我一些关于如何找到一个可访问的数据源的想法或指导,我将非常感激,这也不需要太多的时间来获取信息。
非常感谢你的帮助!
发布于 2022-06-18 08:03:04
如果它是面向商业的,有许多“商业维基百科”类型的网站,在每个页面上都有相同格式的大量数据,这将使它们更容易抓取。例如,雅虎财务为股票数据finance.yahoo.com
您可以使用在本地使用Python执行的BeautifulSoup库来设置一个简单的HTML页面抓取脚本,然后让它循环使用一些不同的页面URL来获取所需的所有信息。
https://datascience.stackexchange.com/questions/111920
复制相似问题