- 综合排序
- 最热优先
- 最新优先
- 来自专栏问天丶天问
JS 高效去重
function unique(arr) { var result = [], isRepeated; for (var i = 0, len = arr.length; i < len; i++) { isRepeated = false; for (var j = 0, len = result.length; j < len; j++) { if (arr[i] == result[j]) {
3K30发布于 2018-06-13 - 来自专栏全栈程序员必看
oracle数据库去重查询_oracle高效去重
oracle 数据库多字段去重 方法介绍：distinct 关键字、group by 、row_number ()over(partition by 列 order by 列 desc) 我的需求是： 根据某几列去重 查询出去重后的全部信息。 我的想法：我想找出一种更简单的方法去 实现去重查询。越直接越好。 去重 select distinct id，name from test 结果：根据id和name 组合去重（类似于 id || name 这样去重） 2、group by 分组去重 select *,row_number() over(partition by a.id,a.sex order by name) su from test a; 去重例子：根据 id和sex 去重 select
4.1K20编辑于 2022-11-10 分布式爬虫去重：Python + Redis实现高效URL去重
对于单机爬虫，可以使用Python内置的set()或dict进行去重，但在分布式爬虫环境下，多个爬虫节点同时工作时，内存级的去重方式不再适用。 URL去重的常见方法2.1 基于内存的去重（单机适用）Python set()最简单的去重方式，适用于小规模数据，但无法持久化，重启后数据丢失。 Redis 在分布式爬虫去重中的优势Redis 是一个高性能的内存数据库，支持多种数据结构，适用于分布式爬虫去重，主要优势包括：高性能：数据存储在内存中，读写速度极快（10万+ QPS）。 丰富的数据结构：SET（精确去重）、HyperLogLog（近似去重）、Bitmap（位图去重）等。4. 本文提供的Python代码可直接集成到Scrapy或其他爬虫框架中，助力高效数据采集。
47310编辑于 2025-05-07- 来自专栏python进阶学习
分布式爬虫去重：Python + Redis实现高效URL去重
引言 在互联网数据采集（爬虫）过程中，URL去重是一个关键问题。如果不对URL进行去重，爬虫可能会重复抓取相同页面，导致资源浪费、数据冗余，甚至触发目标网站的反爬机制。 ，但在分布式爬虫环境下，多个爬虫节点同时工作时，内存级的去重方式不再适用。 URL去重的常见方法 2.1 基于内存的去重（单机适用） Python **<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236 Redis 在分布式爬虫<em>去</em><em>重</em>中的优势 Redis 是一个高性能的内存数据库，支持多种数据结构，适用于分布式爬虫<em>去</em><em>重</em>，主要优势包括： 高性能：数据存储在内存中，读写速度极快（<em>10</em>万+ QPS）。 本文提供的Python代码可直接集成到Scrapy或其他爬虫框架中，助力<em>高效</em>数据采集。
35410编辑于 2025-05-08 - 来自专栏苏三说技术
10亿QQ号如何去重？
前言 最近在网上看到一个问题：10亿QQ号如何去重？ 我觉得挺有意思的。 今天这篇文章跟大家一起分享一些常见的解决方案，希望对你会有所帮助。 一、技术难点 1.1 数据规模分析 原始数据：10亿×8字节 = 8GB HashSet去重：至少16GB内存（Java对象开销） 理想方案：<1GB内存 1.2 核心挑战 二、单机解决方案：位图法 2.1 iter.foreach(qq => bitmap.add(qq.toInt)) bitmap.iterator.asScala.map(_.toLong) } // 全局去重 架构层 技术栈 处理目标 批处理层 Spark + HDFS 全量数据去重 速度层 Flink + Redis 实时增量去重 服务层 Spring Boot + HBase 统一查询接口 6.3 实时去重实现 亿QQ号去重的本质，是将问题拆解到每个计算单元都能高效处理的粒度。
36010编辑于 2025-07-17 - 来自专栏技术进阶
Golang数组去重&切片去重
合并两个整型切片，返回没有重复元素的切片，有两种去重策略 1. 通过双重循环来过滤重复元素（时间换空间） // 通过两重循环过滤重复元素 func RemoveRepByLoop(slc []int) []int { result := []int{} / 效率第一，如果节省计算时间，则可以采用如下方式 // 元素去重 func RemoveRep(slc []int) []int{ if len(slc) < 1024 { //
4.8K20编辑于 2022-09-21 - 来自专栏五分钟学算法
如何高效对有序数组链表去重？
作者 | labuladong 来源 | labuladong 我们知道对于数组来说，在尾部插入、删除元素是比较高效的，时间复杂度是 O(1)，但是如果在中间或者开头插入、删除元素，就会涉及数据的搬移 这篇文章讲讲如何对一个有序数组去重，先看下题目： ? 再简单扩展一下，如果给你一个有序链表，如何去重呢？其实和数组是一模一样的，唯一的区别是把数组赋值操作变成操作指针而已： ? 对于链表去重，算法执行的过程是这样的： ?
1.8K20发布于 2019-09-26 - 来自专栏刷题笔记
1-10 链表去重 (20 分)
本文链接：https://blog.csdn.net/shiliang97/article/details/100149932 1-10 链表去重 (20 分) 给定一个带整数键值的链表 L，你需要把其中绝对值重复的键值结点删掉 例如给定 L 为 21→-15→-15→-7→15，你需要输出去重后的链表 21→-15→-7，还有被删除的链表 -15→15。 随后 N 行，每行按以下格式描述一个结点： 地址 键值 下一个结点 其中地址是该结点的地址，键值是绝对值不超过104的整数，下一个结点是下个结点的地址。 输出格式： 首先输出去重后的链表，然后输出被删除的链表。每个结点占一行，按输入的格式输出。 题目大意：给一个链表，去重（去掉值或者绝对值相等的），先输出删除后的链表，再输出删除了的链表。 分析：用结构体数组存储这个链表，大小为maxn = 100000，node[i]表示地址为i的结点。
74950发布于 2019-11-08 【去重算法】有序去重和无序去重，C语言版
有序去重 时间复杂度：O(N) 思路： 1.双指针方法，一个用来遍历整体数组，另一个用来维护去重后的空间。 2.如果两个指向的数大小是不同的，则维护空间++,并且把新的数加进去。 = arr[i]) { num++; arr[num] = arr[i];//注意两句的逻辑顺序 } } return 0; } 无序去重 时间复杂度：O(N^2) 思路： 1.和有序去重思路相似，建立双指针。 2.不同的是判断是否重复，每一次判断都需要在已经去重的范围里循环一遍。
13710编辑于 2025-12-16- 来自专栏Ryan Miao
Java中对List去重, Stream去重
问题 当下互联网技术成熟，越来越多的趋向去中心化、分布式、流计算，使得很多以前在数据库侧做的事情放到了Java端。今天有人问道，如果数据库字段没有索引，那么应该如何根据该字段去重？ 你需要知道HashSet如何帮我做到去重了。换个思路，不用HashSet可以去重吗？最简单，最直接的办法不就是每次都拿着和历史数据比较，都不相同则插入队尾。而HashSet只是加速了这个过程而已。 ，那么是如何去重的呢？ 在本题目中，要根据id去重，那么，我们的比较依据就是id了。 回到最初的问题，之所以提这个问题是因为想要将数据库侧去重拿到Java端，那么数据量可能比较大，比如10w条。
9.7K70发布于 2018-04-16 - 来自专栏全栈程序员必看
js数组去重的10种方法
console.log(unique9([1, 1, 2, 3, 5, 3, 1, 5, 6, 7, 4])); // 结果是[1, 2, 3, 5, 6, 7, 4] Methods 10 function unique10(arr) { //Set数据结构，它类似于数组，其成员的值都是唯一的 return Array.from(new Set (arr)); // 利用Array.from将Set结构转换成数组 } console.log(unique10([1, 1, 2, 3, 5, 3, 1, 5, 6,
79520编辑于 2022-09-14 10GB以上TXT去重方法介绍
，实际上操作系统不会让我们这么一直在内存添加数据，而且是会有限制的 （2）32操作系统和64位操作系统去重支持最大数不一样，64位支持更多数据去重，但是不能用32位程序在64操作系统去重，这样就相当于32 位去重。 所以现在根本没有软件可以做到超大文本去重，受限于哈希表的长度和内存限制，根本无法做到软件达到一次去重，超大文本去重目前只可能是一种方法那就是将数据存入数据库用数据库去重。 虽然我们不能做到一次性去重，但是我们还是可以通过其他方法去重，为此笔者想到一种分块去重思想，虽然不能把所有文本去重，但是可以分成块，一块一块去重，这样可以降低文件大小，不失为一种好方法，一旦把文件大小降下来我们就可以降低去重任务数和占用空间 ，分块去重好处就是对内存没有要求，对操作系统也没有要求。
12500编辑于 2025-07-18- 来自专栏全栈程序员必看
array去重 java_java 数组去重
public static void main(String[] args){
3.8K10编辑于 2022-07-02 - 来自专栏Flink实战剖析
Flink去重第三弹：HyperLogLog去重
HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81% www.jianshu.com/p/55defda6dcd2里面做了详细的介绍，其算法实现在开源java流式计算库stream-lib提供了其具体实现代码，由于代码比较长就不贴出来(可以后台回复hll ,获取flink使用hll去重的完整代码 getValue(HyperLogLog accumulator) { return accumulator.cardinality(); } } 定义的返回类型是long 也就是去重的结果
3K20编辑于 2022-04-18 - 来自专栏国产程序员
数组去重
思路：利用两个for循环.遍历数组中的每一项，对每一项又遍历这项后面的每一项。也就是将当前元素与他后面的所有元素作比较，只要碰到与当前元素相等的情况，利用j = ++i重新开始外层大循环。直到其后面没有重复的元素就push进新数组
4K30发布于 2019-07-03 【数据去重】
数据去重的基本思路 数据重复问题通常分为两类：完全重复（所有字段相同）和部分重复（关键字段相同）。解决思路围绕识别、标记或删除重复项展开，需根据业务场景选择保留策略（如保留最新记录或合并数据）。 基于哈希或唯一标识的去重 为每条数据生成唯一标识（如MD5哈希），通过比对标识快速定位重复项。适用于结构化数据表或文件去重。 在大数据场景下，使用布隆过滤器（Bloom Filter）高效判断数据是否存在。 适合实时流水线去重。 业务规则定制 根据业务需求定义去重粒度：时间窗口去重（如1小时内相同数据视为重复）、字段组合去重（如姓名+手机号+地址作为复合主键）。需通过数据建模明确唯一性约束条件。
49610编辑于 2025-08-29- 来自专栏扎心了老铁
hiveQL去重
去重： 以id进行分组，然后取出每组的第一个 select * from (select *,row_number() over (partition by id) num from t_link) t *,row_number() over (partition by id order by create_time desc) num from t_link) t where t.num=1; 将去重后的数据重新存储 ,row_number() over (partition by id order by crt_time desc) num from t_link ) t where t.num=1; 去重之后与其他表
2.5K30发布于 2018-03-05 - 来自专栏python前行者
pybloom去重
1000, error_rate=0.001)# capacity是容量, error_rate 是能容忍的误报率,超过误报率，抛出异常 print([f.add(x) for x in range(10 , False, False, False, False, False, False, False, False, False] print(all([(x in f) for x in range(10 )]))#True print(10 in f)#False print(5 in f)#True f = BloomFilter(capacity=1000, error_rate=0.001) 布隆滤波器是利用很小的错误率代价完美实现了海量数据规模下的去重和判断问题，在平时的大数据研究和开发中，不要总为完美的解决方案而费尽心血，尝试多使用近似的替代方案。
2.6K40发布于 2019-03-25 - 来自专栏solate 杂货铺
slice 去重
break } if k == len(x)-1 { x = append(x, i) } } } } return x } 3.GO语言字符串数组去重 、去空 package main import( "fmt" "sort" ) func RemoveDuplicatesAndEmpty(a []string) (ret []
2.1K20发布于 2019-07-22 - 来自专栏全栈程序员必看
java数组去重_JAVA数组去重常用方法
“Python”, “C++”, “Java”}; test1(arrStr); test2(arrStr); test3(arrStr); test4(arrStr); } //方法1：通过List去重 newArrStr = list.toArray(new String[1]); //System.out.println(Arrays.toString(newArrStr)); } //方法2：通过Map去重 ; for (String str : arrStr) { map.put(str, str); } System.out.println(map.keySet()); } //方法3：通过Set去重 HashSet<>(); for (String str : arrStr) { set.add(str); } System.out.println(set); } //方法4：通过lambda去重
4.1K20编辑于 2022-09-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号