卡斯卡洛格处理多行json？

Question

我有一个Json文件目录，我想使用cascalog来处理这些文件。现在的解决方案要求我使用bash脚本从json文件中删除所有换行符。我正在寻找一个更好的解决方案，因为我使用rsync同步这些文件。

我的问题是，我能否在Cascalog中读取文件的内容，并将文件的内容作为一个元组返回。目前，函数'lfs-textline‘为文件中的每一行返回一个元组序列，因此我必须删除换行符。最好是为每个文件返回一个元组序列。

(defn textline-parsed [dir]
    (let [source (lfs-textline dir)]
        (<- [?line]
            (source ?line))))

Answer 1

使用hfs- cascalog.more-taps中的整体文件来完成此操作。

(:require [cascalog.more-taps :as taps])

(defn- byte-writable-to-str [bw]
  "convert byte writable to stirng"
  [(apply str (map char (. bw (getBytes))))])

以及，使用

(??<- [?str] 
    ((taps/hfs-wholefile path) ?filename ?file-content) 
    (byte-writable-to-str ?file-content :> ?str)