首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >忽略导入时出现解析错误的文件(read_csv)

问忽略导入时出现解析错误的文件(read_csv)
EN

Stack Overflow用户
提问于 2020-07-02 09:29:20
回答 1查看 230关注 0票数 0

我有一个包含.txt文件的.zip格式的令人难以置信的原始数据。在大多数情况下,它使用read_csv干净利落地读入数据,但在某些行中,数据记录了其他内容,并完全扭曲了列结构。这些数据不可能是固定的。

在使用read_csv时,它表现为一个解析问题。我想设置我的代码,如果这个问题出现在数据中,整个文件都会被忽略。如果有哪些文件被忽略/丢弃的日志,那就太好了。我查看了possibly(),但由于它不是文件的完整错误,只有行错误,所以它没有跳过文件。

这是我目前的代码。

代码语言:javascript
复制
library(dplyr)
library(readr)
library(purrr)

read_log <- function(path) {
  read_csv(path, col_types = cols(.default = col_character())) %>%
    mutate(filename = basename(path))
}

test_files <- file.path("example.txt") #would normally be list.files, simplified for this reprex

raw_data <- map_dfr(test_files, read_log)
#> Warning: 6 parsing failures.
#> row col   expected     actual          file
#>   3  -- 17 columns 4 columns  'example.txt'
#>   4  -- 17 columns 23 columns 'example.txt'
#>   5  -- 17 columns 23 columns 'example.txt'
#>   6  -- 17 columns 23 columns 'example.txt'
#>   7  -- 17 columns 23 columns 'example.txt'
#> ... ... .......... .......... .............
#> See problems(...) for more details.
EN

回答 1

Stack Overflow用户

发布于 2020-07-02 11:12:18

如果返回警告,可以返回NULL。尝试使用此函数。

代码语言:javascript
复制
library(reader)
library(purrr)
library(dplyr)

read_log <- function(path) {
     data <- tryCatch(read_csv(path,col_types = cols(.default = col_character())),
                               warning = function(e) return(NULL))
     if(!is.null(data))  
        data <- data %>% mutate(filename = basename(path))
     return(data)
}

使用map而不是map_dfr读取数据:

代码语言:javascript
复制
all_data <- map(test_files, read_log)

未读取的文件

代码语言:javascript
复制
not_read_files <- test_files[sapply(all_data, is.null)]

合并数据

代码语言:javascript
复制
total_data <- bind_rows(all_data)
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62687626

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档