how-to-import-multiple-ndjson-files-into-r-as-a-dataframe？

Question

我需要打开100个ndjson大文件(与相同的列)，我已经准备了一个脚本应用到每个文件，但我不想重复这100次！

使用ndjson::stream_in，我只能将1个ndjson文件作为数据框打开到R中

我尝试了打开多个csv文件并将它们合并到1个dafatframe中，但它不适用于ndjson文件:(

library(data.table)
library(purrr)

map_df_fread <- function(path, pattern = "*.ndjson") {
    list.files(path, pattern, full.names = TRUE) %>% 
    map_df(~fread(., stringsAsFactors = FALSE))
}


myfiles <-
    list.files(path = "C:/Users/sandrine/Documents/Projet/CAD/A/",
               pattern = "*.ndjson", 
               full.names = T) %>% 
    map_df_fread(~fread(., stringsAsFactors = FALSE)) 

我也试图找到一个包来转换ndjson文件为csv ...but没有找到任何。

有什么想法吗？

Answer 1

使用你前面提到的你自己的方法，这行得通吗？

library(tidyverse)
library(ndjson)
final_df <- 
  list.files(path = "C:/Users/sandrine/Documents/Projet/CAD/A/",
           pattern = "*.ndjson", 
           full.names = T) %>% 
  map_dfr(~stream_in(.))