OCR文本通常包含从一行到另一行的单词,第一行末尾带有连字符。(例如:单词中插入了'-\n‘)。
我希望在一个文本文件中重新连接所有这样的拆分单词(在linux环境中)。
我相信使用sed或awk应该可以做到这一点,但是它们的语法对我来说太神奇了!我知道windows中的一个文本编辑器可以在搜索表达式中执行regex搜索/用换行符替换,但我不知道在linux中有这样的功能。
发布于 2012-02-23 20:52:54
cat file | perl -p -e 's/-\n//'如果文件有windows行结尾,则需要使用类似于以下内容的命令来捕获cr-lf:
cat file | perl -p -e 's/-\s\n//'发布于 2012-02-23 21:36:53
请确保在运行之前备份ocr_file,因为此命令将修改ocr_file的内容:
perl -i~ -e 'BEGIN{$/=undef} ($f=<>) =~ s#-\s*\n\s*(\S+)#$1\n#mg; print $f' ocr_file发布于 2020-10-13 17:24:42
这个答案是相关的,因为我想把这些词连接在一起……而不仅仅是删除破折号字符。
cat file| perl -CS -pe's/-\n//'|fmt -w52这是一个简短的答案,但是在段落被fmt破坏之后,它使用perl来改革段落。
没有fmt,你可以做
#!/usr/bin/perl
use open qw(:std :utf8);
undef $/; $_=<>;
s/-\n(\w+\W+)\s*/$1\n/sg;
print;此外,如果您正在进行OCR,则可以使用此perl行程序将unicode utf-8短划线转换为ascii短划线字符。注意告诉perl关于utf-8的-CS选项。
# 0x2009 - 0x2015 em-dashes to ascii dash
perl -CS -pe 'tr/\x{2009}\x{2010}\x{2011}\x{2012\x{2013}\x{2014}\x{2015}/-/'https://stackoverflow.com/questions/9413445
复制相似问题