我有一个csv文件,其中有5列,长度不同。列之间的分隔符是",",最后一列以"结尾。行分隔符是换行符。最近的文件中有新行,我必须在最后一栏的文本中保留这些行。
我使用每一行末尾的换行符作为记录分隔符导入这个文件,但现在由于上一列文本中的换行符,导入程序出现了错误。它还不够聪明,无法识别其中一个字段中的换行符。因此,为了正确导入它,我必须创建一个新的行尾分隔符,并使用shell命令在每一行的末尾插入它,以便我用于导入的db脚本能够判断该行何时完成。
在任何常用命令中都没有gnu特性,这使得它变得更加困难。我在AIX上使用kornshell。我不能安装其他软件。
示例:
"id1","column2 with text","3","4/4/2044","the
column
that messes everything up"
"id2",""column2 with text","42","9/9/2099","oh no,
not
again
!!"使用shell命令(awk、sed、perl、tr等)和\x作为分隔符,如何在每行末尾插入一个新的分隔符,以便在上面的示例第1行中以以下方式结束:
that messes everything up"|@|第2行将以以下方式结束:
!!"|@|我不需要删除每一行末尾的换行符,如果它不是行尾分隔符的一部分,则导入程序将忽略它。
发布于 2020-10-08 22:44:24
如果我们可以有把握地假设所有记录都将以一个"结束,然后是一个换行符,并且我们唯一看到一个"后面的换行符是在一个记录的末尾,那么这是相对简单的:
$ sed 's/(.*")$/\1|@|/' file
"id1","column2 with text","3","4/4/2044","the
column
that messes everything up"|@|
"id2",""column2 with text","42","9/9/2099","oh no,
not
again
!!"|@|或者,为了允许在"之后使用一些空格:
sed 's/"[[:blank:]]*$/"|@|/' file当然,这是不可靠的。您很可能在字段中有双引号,因为CSV文件中允许这样做,这意味着您可以在字段中和换行符之前使用双引号。如果可能发生这种情况,那么我的简化方法将失败,您确实需要编写一个适当的解析器,或者使用像perl或python这样的工具,该工具具有适当的csv解析器。
https://unix.stackexchange.com/questions/613621
复制相似问题