从Jsoup抓取的文本中删除多个字符10

Question

我有相当多的文件(大约600个)，其中包含我用Jsoup抓取的文本。文本只包含<p>和<br>中的超文本标记语言，以尝试保留文本中某些段落的形式。问题是在某些文件中有一长串新行，Java将它们读作字符10。在某些情况下，大约有30行左右，比如有人按住了Enter键。

我知道，由于<br>标签，换行符出现在那里主要是我的错，但找不到一种方法来只保留一个换行符，并在抓取时丢弃其余的换行符。

这是我正在使用的Jsoup代码的一部分(来自How do I preserve line breaks when using jsoup to convert html to plain text?)

Document document = Jsoup.connect(url).get();
document.outputSettings(new Document.OutputSettings().prettyPrint(false));//preserve html linebreaks
document.select("br").append("\\n");
document.select("p").prepend("\\n\\n");
document.select(":containsOwn(\u00a0)").remove();
String s = document.html().replaceAll("\\\\n", "\n");
String txtOnly = Jsoup.clean(s, "", Whitelist.none(), new Document.OutputSettings().prettyPrint(false));

有没有可能以某种方式清理文件的内容，而不实际重新运行抓取过程？我曾尝试使用HashSet，以便只保留一个字符10，然后当到达行尾时，打印该组中唯一的字符10。但不知何故，它并没有起作用。

对于如何做这件事，有什么好的建议吗？

Answer 1

在HTML中，所有包含1个或更多空格字符(包括换行符，如字符10)的序列都等同于一个空格。您可以使用正则表达式将一连串的空白字符替换为单个空格。然后做你的

替换以在适当的位置插入换行符。

public static void processHtml(String html) {
    html = normalizeHtmlWhitespace(html);
    html = html.replace("<br>", "\n");
    // more robust code would use a real HTML parser to do the <br> replacement
}

public static String normalizeHtmlWhitespace(String html) {
    return html.replaceAll("\\s+", " ");
}