Web使用python抓取网页的控制台

Question

我有一段代码，它可以在网页上搜索某个网站，并打印出它在该网页上找到的内容。

我对此非常陌生，如何才能仅仅从控制台收集数据，就像图片中所看到的那样。

检查控制台

这是目前为止的代码，谢谢您的帮助

import requests

url = 'url goes here'
r = requests.get(url)
print(r.text)

Answer 1

以下是收集输出的一些方法：

1. 如果数据非常小，格式也很好，就像每个URL只有1行，那么您可以从控制台打印的输出中复制输出。
2. 如果数据非常大，我假设这就是您的情况，您可以将输出写入文件中。

    import requests
    
    url = 'url goes here'

    r = requests.get(url)
    
    print(r.text)  
    
    with open('/path/to/file.txt', 'w', encoding='utf-8') as f:
    
        f.write('r.text')

1. 如果您有数千个URL，并且需要写入1000个文件，只需为每个url添加一个for循环，并将输出写入不同的文件。

上面的例子是使用txt文件，您也可以将输出写入.xml文件或.html文件，任何更方便您重用的格式，如docx、excel、csv、json等。