如何在node.js中将HTML页面转换为纯文本？

Question

我知道以前有人问过这个问题，但我找不到node.js的好答案

我需要服务器端来提取纯文本(没有标签、脚本等等)。从获取的HTML页面中获取。

我知道如何在客户机端使用jQuery (获取body标记的.text()内容)，但不知道如何在服务器端这样做。

我尝试过https://npmjs.org/package/html-to-text，但这不能处理脚本。

  var htmlToText = require('html-to-text');
    var request = require('request');
    request.get(url, function (error, result) {
        var text = htmlToText.fromString(result.body, {
            wordwrap: 130
        });
    });

我尝试过phantom.js，但找不到一种方法来获取纯文本。

Answer 1

使用jsdom和jQuery (服务器端).

使用jQuery，您可以删除所有脚本、样式、模板等，然后可以提取文本。

示例

(这不是在jsdom和node上进行的测试，只在Chrome中进行)

jQuery('script').remove()
jQuery('noscript').remove()
jQuery('body').text().replace(/\s{2,9999}/g, ' ')

Answer 2

对于那些寻找正则表达式解决方案的人，这里是我的一个

const HTMLPartToTextPart = (HTMLPart) => (
  HTMLPart
    .replace(/\n/ig, '')
    .replace(/<style[^>]*>[\s\S]*?<\/style[^>]*>/ig, '')
    .replace(/<head[^>]*>[\s\S]*?<\/head[^>]*>/ig, '')
    .replace(/<script[^>]*>[\s\S]*?<\/script[^>]*>/ig, '')
    .replace(/<\/\s*(?:p|div)>/ig, '\n')
    .replace(/<br[^>]*\/?>/ig, '\n')
    .replace(/<[^>]*>/ig, '')
    .replace('&nbsp;', ' ')
    .replace(/[^\S\r\n][^\S\r\n]+/ig, ' ')
);

Answer 3

另一个答案是，使用JSDOM，但不需要jQuery。试试这个：

JSDOM.fragment(sourceHtml).textContent