删除重复的关键字javascript

Question

我抓取了10K个关键字的列表，我想删除包含2个或更多重复关键字的行。

示例关键字：

abc electronics address
abc electronics sales
abc electronics black friday
electronics ps4
electronics ps3

它应该看起来像这样：

abc electronics address
electronics ps4
electronics ps3

我想用javascript来做这件事，但我真的不知道该怎么做，你们能帮我弄明白吗?谢谢！这就是我所想的，我想我可以以某种方式使用remove方法，但这就是我所得到的，我不知道该怎么做。

var saveKeywords;
saveKeywords =  "CODE:";
saveKeywords +=  "TAG POS=1 TYPE=TEXTAREA ATTR=NAME:comment EXTRACT=TXT" + "\n"; 

var saveKeywords = iimGetLastExtract();
var removeDuplicates = saveKeywords.remove(duplicateKeywords);

Answer 1

你必须从列表中获取每一行，拆分字符串，获取数组，过滤它以删除重复的项，并将它们连接回来。

var uniqueList=string.split(' ').filter(function(item,i,allItems){
    return i==allItems.indexOf(item);
}).join(',');

$('#output').append(uniqueList);

对于不支持的浏览器，你可以通过在你的js中添加这个来解决这个问题。

if (!Array.prototype.filter)
{
  Array.prototype.filter = function(fun /*, thisp*/)
  {
    "use strict";

    if (this == null)
      throw new TypeError();

    var t = Object(this);
    var len = t.length >>> 0;
    if (typeof fun != "function")
      throw new TypeError();

    var res = [];
    var thisp = arguments[1];
    for (var i = 0; i < len; i++)
    {
      if (i in t)
      {
        var val = t[i]; // in case fun mutates this
        if (fun.call(thisp, val, i, t))
          res.push(val);
      }
    }

    return res;
  };
}