首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >有没有一种方法可以判断换行符在Python中是否分裂了两个不同的单词?

问有没有一种方法可以判断换行符在Python中是否分裂了两个不同的单词?
EN

Stack Overflow用户
提问于 2020-12-03 21:44:30
回答 2查看 54关注 0票数 0

使用下面的代码,我在Python中导入了几个带有如下句子的.csv文件:

代码语言:javascript
复制
df = pd.concat((pd.read_csv(f) for f in path), ignore_index=True)

例句:

代码语言:javascript
复制
I WANT TO UNDERSTAND WHERE TH\nERE ARE\nSOME \n NEW RESTAURANTS.      \n

虽然移除由空格包围的换行符、单词中间的换行符或字符串末尾的换行符没有问题,但我不知道如何处理分隔单词的换行符。

我想要的输出如下:

目标句:

代码语言:javascript
复制
I WANT TO UNDERSTAND WHERE THERE ARE SOME NEW RESTAURANTS. 

有什么方法可以让我在代码中指出换行符被两个不同的单词包围着?或者这是典型的垃圾,垃圾外泄?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2020-12-06 15:29:42

经过一番挖掘,我想出了两个解决方案。

1. 文本缠绕 包:虽然看起来文本缠绕包通常用于可视化格式化(即告诉用户界面何时显示“.”)(为了表示长字符串),它成功地识别了我遇到问题的\n模式。尽管仍然有必要删除其他类型的额外空白,但是这个包使我获得了90%的机会。

代码语言:javascript
复制
import textwrap
sample = 'I WANT TO UNDERSTAND WHERE TH\nERE ARE\nSOME \n NEW RESTAURANTS.      \n'
sample_wrap = textwrap.wrap(sample)
print(sample_wrap)
'I WANT TO UNDERSTAND WHERE THERE ARE SOME  NEW RESTAURANTS.      '

2.标识不同外观模式的函数:是我在学习文本缠绕之前想出的‘煮沸海洋’的解决方案,它也不起作用。此函数查找定义为换行符的匹配,该换行符由两个字(字母数字)字符包围。对于所有匹配项,函数在NLTK的words.words()列表中搜索换行符周围的每个字符串。如果这两个字符串中至少有一个是该列表中的一个单词,那么它被认为是两个单独的单词。

这没有考虑到特定于域的单词,这些词必须添加到单词列表中,或者像“约”这样的词,如果换行符出现为"ab\nout“,就会被这个函数错误地分类。出于这个原因,我建议使用短信,但我还是认为我会分享。

代码语言:javascript
复制
carriage = re.compile(r'(\n+)')
wordword = re.compile(r'((\w+)\n+(\w+))')
def carriage_return(sentence):
    if carriage.search(sentence):
        if not wordword.search(sentence):
            sentence = re.sub(carriage, '', sentence)
        else:
            matches = re.findall(wordword, sentence)
            for match in matches:
                word1 = match[1].lower()
                word2 = match[2].lower()
                if word1 in wordlist or word2 in wordlist or word1.isdigit() or word2.isdigit():
                    sentence = sentence.replace(match[0], word1 + ' ' + word2)
                else:
                    sentence = sentence.replace(match[0], word1+word2)
            sentence = re.sub(carriage, '', sentence)
    display(sentence)       
    return sentence
票数 0
EN

Stack Overflow用户

发布于 2020-12-03 21:49:26

代码语言:javascript
复制
df = df[~df['Sentence'].str.contains("\n")]
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/65134631

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档