我试图通过删除非拉丁字符+ [!?., ]来降低在线文本的复杂性。大多数字符都可以毫无问题地删除,但对于其中一些字符,我需要特定的规则:
一对(和),一对" (引号)或一对*,如果它们包含两个以上的单词,应该将其中的任何文本转换为一个句子。通过转换成句子,我只是想在结尾处添加一个句号。例如:
but *after* I came up with it, I searched and...至
but after I came up with it, I searched and...在这里,我只是想删除*,而不是:
*buys airplane ticket* IM COMING FOR YOU至
buys airplane ticket. IM COMING FOR YOU因此,在第一个例子中,作者简单地强调了作为句子一部分的单词,在第二个例子中,作者描述了一个动作,它可能就是一个句子本身。这与引号类似,其中一个词通常是某种强调或讽刺,而多个词则是引号。
有没有办法在正则表达式(Java)中做到这一点?
编辑:所以我的一般方法需要两种模式,每种情况下,段落,引号和*。第一步是通过在\*((\w+ )+\w+)\* to $1.上运行replace来处理多个单词,然后将所有*替换为空。这是可行的,但我需要6个正则表达式调用。有没有更好的方法?
发布于 2016-03-01 20:11:48
标准Java库没有内置的完整英语短语的概念(区分空格和字母或标点符号对您有最大的帮助)。另外,
所以,您不能使用Java或任何其他编程语言(除非您有丰富的资源、NLP经验和训练语料库来构建) --除非您大大放宽了检测“一个字符序列是否可以是一个独立的英语句子”的要求。
发布于 2016-03-01 20:22:46
因此,我目前最好的方法需要2*numCases模式,如下所示:
static Pattern pattern = Pattern.compile("\\*((\\w+ )+\\w+)\\*");
static Pattern remove = Pattern.compile("\\*");
public static String transform(String str) {
String sentences = pattern.matcher(str).replaceAll("$1.");
return remove.matcher(sentences).replaceAll("");
}正在运行
System.out.println(transform("but *after* I came up with it, I searched and..."));
System.out.println(transform("*buys airplane ticket* IM COMING FOR YOU"));给出了预期的
but after I came up with it, I searched and...
buys airplane ticket. IM COMING FOR YOUhttps://stackoverflow.com/questions/35722289
复制相似问题