利用twarc2和限制从twitter收集数据

Question

我想用twarc2从推特上收集一些数据。我想收集特定持续时间之间的数据，并将收集限制在每天的基础上。例如，从7月1日到7月10日，收集到的推文限制在每天100条。是否可以只执行一次，还是应该执行代码10次？

Answer 1

我不知道有什么方法可以在一个命令中运行这个命令。我建议的一个解决方案是编写一个包含所有单独twarc2调用的bash脚本。然后，您只需调用该脚本一次。

例如，您可以创建一个名为ten_queries.sh的bash脚本，如下所示：

#!/bin/bash

twarc2 search --start-time 2022-09-16T00:00:00 --end-time 2022-09-17T00:00:00 blacklivesmatter 2022-09-16_tweets.jsonl
twarc2 search --start-time 2022-09-17T00:00:00 --end-time 2022-09-18T00:00:00 blacklivesmatter 2022-09-17_tweets.jsonl
...

然后每天加一行。