我想每隔几分钟从CSV文件中读取许多行,是否有办法跟踪上次插入的行,然后从该特定行开始下一次插入?在Server中,我知道使用bulk insert命令是可能的,但我不知道如何在postgresql中这样做。我尝试使用COPY命令和timescaledb并行复制命令,但在后一个命令中,我只能限制要插入的行数。我试图这样做是为了比较Server和时间序列数据库之间随时间进行大容量插入的性能。
timescaledb-parallel-copy --db-name test --table 'test_table' --file weather_big_conditions.csv --connection "host=localhost port=5432 user=postgres password=postgres sslmode=disable" -limit 2000000
发布于 2022-06-10 19:10:05
阅读这里代码,我认为可以将--skip-head=true和--header-line-count=N组合起来,N是一个数字,它将作为一个offset从文件中跳过您想要的行。您可以看到代码已经准备好了。
我还没试过,但你可以试一试。
https://stackoverflow.com/questions/72535621
复制相似问题