使用下面的代码,我在Python中导入了几个带有如下句子的.csv文件:
df = pd.concat((pd.read_csv(f) for f in path), ignore_index=True)例句:
I WANT TO UNDERSTAND WHERE TH\nERE ARE\nSOME \n NEW RESTAURANTS. \n虽然移除由空格包围的换行符、单词中间的换行符或字符串末尾的换行符没有问题,但我不知道如何处理分隔单词的换行符。
我想要的输出如下:
目标句:
I WANT TO UNDERSTAND WHERE THERE ARE SOME NEW RESTAURANTS. 有什么方法可以让我在代码中指出换行符被两个不同的单词包围着?或者这是典型的垃圾,垃圾外泄?
发布于 2020-12-06 15:29:42
经过一番挖掘,我想出了两个解决方案。
1. 文本缠绕 包:虽然看起来文本缠绕包通常用于可视化格式化(即告诉用户界面何时显示“.”)(为了表示长字符串),它成功地识别了我遇到问题的\n模式。尽管仍然有必要删除其他类型的额外空白,但是这个包使我获得了90%的机会。
import textwrap
sample = 'I WANT TO UNDERSTAND WHERE TH\nERE ARE\nSOME \n NEW RESTAURANTS. \n'
sample_wrap = textwrap.wrap(sample)
print(sample_wrap)
'I WANT TO UNDERSTAND WHERE THERE ARE SOME NEW RESTAURANTS. '2.标识不同外观模式的函数:是我在学习文本缠绕之前想出的‘煮沸海洋’的解决方案,它也不起作用。此函数查找定义为换行符的匹配,该换行符由两个字(字母数字)字符包围。对于所有匹配项,函数在NLTK的words.words()列表中搜索换行符周围的每个字符串。如果这两个字符串中至少有一个是该列表中的一个单词,那么它被认为是两个单独的单词。
这没有考虑到特定于域的单词,这些词必须添加到单词列表中,或者像“约”这样的词,如果换行符出现为"ab\nout“,就会被这个函数错误地分类。出于这个原因,我建议使用短信,但我还是认为我会分享。
carriage = re.compile(r'(\n+)')
wordword = re.compile(r'((\w+)\n+(\w+))')
def carriage_return(sentence):
if carriage.search(sentence):
if not wordword.search(sentence):
sentence = re.sub(carriage, '', sentence)
else:
matches = re.findall(wordword, sentence)
for match in matches:
word1 = match[1].lower()
word2 = match[2].lower()
if word1 in wordlist or word2 in wordlist or word1.isdigit() or word2.isdigit():
sentence = sentence.replace(match[0], word1 + ' ' + word2)
else:
sentence = sentence.replace(match[0], word1+word2)
sentence = re.sub(carriage, '', sentence)
display(sentence)
return sentence发布于 2020-12-03 21:49:26
df = df[~df['Sentence'].str.contains("\n")]https://stackoverflow.com/questions/65134631
复制相似问题