使用scalding或scala删除文件尾部记录

Question

我正在尝试使用管道(cascading.pipe.Pipe)来读取文件。文件中的每个记录都遵循一个模式，因此尾部记录除外；每当管道读取代码执行时，它都会抛出异常，因为尾部记录与模式不匹配。管道看起来如下所示：

字段列表:List(col1，col2，col3)

val字段= Csv(inputFilePath，filteredInput = "|"，inputFilePath= fieldlst，skipHeader = true) .read

有谁能告诉我解决这个问题的办法。通过读写文件删除尾部记录似乎是一个简单的解决方案，但为此，我必须读写整个文件，并且文件可能非常大。

Answer 1

您可以使用TextLine，然后使用'|‘拆分记录，而不是使用Csv管道。