我想从ftp服务器获得多个zip文件。在以前的文章中,我可以单独获得zip文件。
但对于所有需要的数据来说,这将是一项艰巨的工作。所以我想找个自动化的方法。
ftp如下所示:now.zip
我想改变"01048“到最近的惠特站的ID,我已经在一个数据框架(数据)。
我想我可以把所有需要的站都循环起来
for(y in Data$StationsID)) {
urls <- "ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/climate/10_minutes/solar/now/10minutenwerte_SOLAR_{y}_now.zip"))
}但我只得到"_{y}_now.zip"))
压缩数据为csv分析提供了理想的an.txt。
稍后,我想使用这些文件从德国的不同点获取太阳能数据。但是第一,我需要这样的清单,但我不知道如何得到:
urls
[1] url_1
[2] url_2
.
.发布于 2018-10-11 12:29:43
你甚至不需要一个循环。试一试
urls <- paste0("ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/climate/10_minutes/solar/now/10minutenwerte_SOLAR_", Data$StationsID, "_now.zip")这将给出所有URL的向量。之后,您可以使用例如lapply获取所有文件。
results <- lapply(urls, FUN = function(u) {
# FETCH
# UNZIP
# TIDY
# ...
}发布于 2018-10-11 12:44:30
(第一个问题!)
下面是另一种方法。
我们:
请注意,使用连续请求而不停顿地敲击服务器是非常糟糕的形式,因此这会引入这一点,但这是近来忽略的礼貌行为。
library(curl)
library(httr)
base_dir <- "ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/climate/10_minutes/solar/now/"
# Get all available files in that directory
res <- curl_fetch_memory(base_dir, handle = new_handle(dirlistonly = TRUE)
grep(
"SOLAR_[[:digit:]]{5}",
strsplit(rawToChar(res$content), "\n")[[1]], # curl_fetch returns a raw vector since it has no idea what type of content might be there so we have to convert it and it's a text listing so we have to do some more wrangling
value = TRUE
) -> all_zips
head(all_zips)
## [1] "10minutenwerte_SOLAR_00044_now.zip"
## [2] "10minutenwerte_SOLAR_00071_now.zip"
## [3] "10minutenwerte_SOLAR_00073_now.zip"
## [4] "10minutenwerte_SOLAR_00131_now.zip"
## [5] "10minutenwerte_SOLAR_00150_now.zip"
## [6] "10minutenwerte_SOLAR_00154_now.zip"
save_dir <- "~/Data/solar-output"
dir.create(save_dir)
for (zip in all_zips) {
try(httr::GET(
url = sprintf("%s%s", base_dir, zip),
httr::write_disk(file.path(save_dir, zip)), # enables caching (it won't overwrite by default and avoid issues with download.file() on windows)
httr::progress() # progress bars for free!
))
Sys.sleep(5) # be kind to their server CPU and network bandwidth
}我们将GET()包装在try()中,因为我们要求write_disk()不要覆盖现有文件。当这种情况发生时,它会抛出一个异常,以便try()捕获它并让循环继续运行(但仍然显示关于已经存在的文件的有用消息)。
https://stackoverflow.com/questions/52759914
复制相似问题