我目前正在使用Pythonv2.6,并试图将单词合并成一行。我的代码应该从文本文件中读取数据,其中有两行数据,这两行数据都是字符串。然后,每次接受第二行数据,即句子中的单词,这些数据由分隔符字符串分隔,这样:
在.txt内部:
"delimiter_string"
"row_1_data" "row_2_data"
"row_1_data" "row_2_data"
"row_1_data" "row_2_data"
"row_1_data" "row_2_data"
"row_1_data" "row_2_data"
"delimiter_string"
"row_1_data" "row_2_data"
"row_1_data" "row_2_data"
...这些"row_2_data“将在后面加进一个句子。抱歉,介绍时间太长了。
这是我的代码:
import sys
import re
newLine = ''
for line in sys.stdin:
word = line.split(' ')[1]
if word == '<S>+BSTag':
continue
elif word == '</S>+ESTag':
print newLine
newLine = ''
continue
else:
w = re.sub('\[.*?]', '', word)
if newLine == '':
newLine += w
else:
newLine += ' ' + w"BSTag“是”句子开始“的标记,"ESTag”是“句子结束”的标记:所谓的“分隔符”。"re.sub“用于特殊用途,据我所知,它起作用。
问题是,当我使用下面的命令从linux中的命令行执行这个python脚本时:$ cat,file.txt,script.py,script.py,less,我看不到任何输出,只看到一个空白文件。
对于那些不熟悉linux的人,我想这个问题与终端执行无关,因此您可以忽略这个部分。简单地说,代码没有按预期工作,我也找不到一个错误。
如有任何帮助,将不胜感激,并感谢您阅读这篇长篇文章:)
好的,问题解决了,这实际上是一个语料库错误,而不是编码错误。在文本文件中检测到一个非常奇怪的条目,这导致了问题。移除它解决了它。如果您想要进行类似的文本处理,可以使用这两种方法:我的和由“s脑”表示的方法。
干杯。
发布于 2012-12-21 16:36:35
def foo(lines):
output = []
for line in lines:
words = line.split()
if len(words) < 2:
word = words[0]
else:
word = words[1]
if word == '</S>+ESTag':
yield ' '.join(output)
output = []
elif word != '<S>+BSTag':
output.append(words[1])
for sentence in foo(sys.stdin):
print sentence你的霸王龙有点古怪。据我所知,它将[和]之间的任何东西替换为'',因此它最终会打印空字符串。
发布于 2012-12-21 16:35:03
https://stackoverflow.com/questions/13993617
复制相似问题