首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用于字符串替换的非直线导向工具?

问用于字符串替换的非直线导向工具?
EN

Unix & Linux用户
提问于 2014-06-16 14:32:48
回答 2查看 1.5K关注 0票数 13

最近,我问一个问题如何删除换行符,如果它发生在另一个特定字符之后。

Unix文本处理工具非常强大,但几乎所有工具都处理文本行,当输入适合可用内存时,这在大多数情况下都很好。

,但如果我希望替换不包含任何换行符的大型文件中的文本序列,该怎么办?

例如,将<foobar>替换为\n<foobar>而不逐行读取输入?(因为只有一行,长度为2.5G字符)。

EN

回答 2

Unix & Linux用户

回答已采纳

发布于 2014-06-17 11:59:44

gsar (一般搜索和替换)正是实现这一目的的一个非常有用的工具。

对这个问题的大多数回答都使用基于记录的工具和各种技巧来使它们适应问题,例如将默认的记录分隔符切换到假设输入中频繁发生的某项内容,从而不会使每个记录太大而无法处理。

在许多情况下,这是非常好,甚至可读的。我确实喜欢用随处可见的工具--如awk、tr、sed和bourne -可以轻松、高效地解决问题。

在具有随机内容的任意大文件中执行二进制搜索和替换并不适合这些标准的unix工具。

你们中的一些人可能认为这是作弊,但我看不出在工作中使用正确的工具怎么可能是错误的。在本例中,它是一个名为gsar的C程序,它是在GPL v2下授权的,所以我感到非常惊讶的是,在gentoo、redhat和ubuntu中都没有这个非常有用的工具包。

gsar使用波耶-摩尔字符串搜索算法的二进制变体。

用法是直接的:

代码语言:javascript
复制
gsar -F '-s<foobar>' '-r:x0A<foobar>'

-F的意思是“筛选”模式(读取stdin写入stdout )。还有一些方法可以对文件进行操作。-s指定搜索字符串,-r指定替换。冒号表示法可用于指定任意字节值.

支持大小写不敏感模式(-i),但不支持正则表达式,因为算法使用搜索字符串的长度来优化搜索。

这个工具也可以用于搜索,有点像grep。gsar -b输出匹配搜索字符串的字节偏移量,gsar -l打印文件名和匹配数(如果有的话),有点像将grep -l与wc组合在一起。

该工具是由Tormod Tjaberg (初始)和Hans Peter Verne (改进)编写的。

票数 9
EN

Unix & Linux用户

发布于 2014-06-16 21:28:32

在目标字符串和替换字符串长度相同的狭窄情况下,内存映射可以提供帮助。如果需要就地执行替换操作,这一点尤其有用。您基本上是在将文件映射到进程的虚拟内存中,64位寻址的地址空间很大。请注意,文件不一定一次就映射到物理内存中,因此可以处理机器上可用物理内存大小的几倍的文件。

下面是一个用foobar替换XXXXXX的Python示例

代码语言:javascript
复制
#! /usr/bin/python
import mmap
import contextlib   
with open('test.file', 'r+') as f:
 with contextlib.closing(mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_WRITE)) as m:
   pos = 0
   pos = m.find('foobar', pos)
   while pos > 0:
    m[pos: pos+len('XXXXXX')] = 'XXXXXX'
    pos = m.find('foobar', pos)
票数 5
EN
页面原文内容由Unix & Linux提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://unix.stackexchange.com/questions/137413

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档