首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >R循环用于ftp地址中的变量。

问R循环用于ftp地址中的变量。
EN

Stack Overflow用户
提问于 2018-10-11 12:18:55
回答 2查看 101关注 0票数 0

我想从ftp服务器获得多个zip文件。在以前的文章中,我可以单独获得zip文件。

但对于所有需要的数据来说,这将是一项艰巨的工作。所以我想找个自动化的方法。

ftp如下所示:now.zip

我想改变"01048“到最近的惠特站的ID,我已经在一个数据框架(数据)。

我想我可以把所有需要的站都循环起来

代码语言:javascript
复制
for(y in Data$StationsID)) {
  urls <- "ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/climate/10_minutes/solar/now/10minutenwerte_SOLAR_{y}_now.zip"))
}

但我只得到"_{y}_now.zip"))

压缩数据为csv分析提供了理想的an.txt。

稍后,我想使用这些文件从德国的不同点获取太阳能数据。但是第一,我需要这样的清单,但我不知道如何得到:

代码语言:javascript
复制
urls
[1] url_1
[2] url_2
.
.
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-10-11 12:29:43

你甚至不需要一个循环。试一试

代码语言:javascript
复制
urls <- paste0("ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/climate/10_minutes/solar/now/10minutenwerte_SOLAR_", Data$StationsID, "_now.zip")

这将给出所有URL的向量。之后,您可以使用例如lapply获取所有文件。

代码语言:javascript
复制
results <- lapply(urls, FUN = function(u) {
  # FETCH
  # UNZIP
  # TIDY
  # ...
}
票数 0
EN

Stack Overflow用户

发布于 2018-10-11 12:44:30

(第一个问题!)

下面是另一种方法。

我们:

  • 获取所有可能的数据文件
  • 把它过滤到太阳能压缩数据文件(如果需要的话,你可以过滤更多的- i.e。把它限制在你现有的数据框架中)
  • 做一个保存位置
  • 下载文件

请注意,使用连续请求而不停顿地敲击服务器是非常糟糕的形式,因此这会引入这一点,但这是近来忽略的礼貌行为。

代码语言:javascript
复制
library(curl)
library(httr)

base_dir <- "ftp://ftp-cdc.dwd.de/pub/CDC/observations_germany/climate/10_minutes/solar/now/"

# Get all available files in that directory
res <- curl_fetch_memory(base_dir, handle = new_handle(dirlistonly = TRUE)

grep(
  "SOLAR_[[:digit:]]{5}",
  strsplit(rawToChar(res$content), "\n")[[1]], # curl_fetch returns a raw vector since it has no idea what type of content might be there so we have to convert it and it's a text listing so we have to do some more wrangling
  value = TRUE
) -> all_zips

head(all_zips)
## [1] "10minutenwerte_SOLAR_00044_now.zip"
## [2] "10minutenwerte_SOLAR_00071_now.zip"
## [3] "10minutenwerte_SOLAR_00073_now.zip"
## [4] "10minutenwerte_SOLAR_00131_now.zip"
## [5] "10minutenwerte_SOLAR_00150_now.zip"
## [6] "10minutenwerte_SOLAR_00154_now.zip"

save_dir <- "~/Data/solar-output"

dir.create(save_dir)

for (zip in all_zips) {
  try(httr::GET(
    url = sprintf("%s%s", base_dir, zip),
    httr::write_disk(file.path(save_dir, zip)), # enables caching (it won't overwrite by default and avoid issues with download.file() on windows)
    httr::progress() # progress bars for free!
  ))
  Sys.sleep(5) # be kind to their server CPU and network bandwidth
}

我们将GET()包装在try()中,因为我们要求write_disk()不要覆盖现有文件。当这种情况发生时,它会抛出一个异常,以便try()捕获它并让循环继续运行(但仍然显示关于已经存在的文件的有用消息)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52759914

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档