- 综合排序
- 最热优先
- 最新优先
【数据去重】
数据去重的基本思路 数据重复问题通常分为两类：完全重复（所有字段相同）和部分重复（关键字段相同）。解决思路围绕识别、标记或删除重复项展开，需根据业务场景选择保留策略（如保留最新记录或合并数据）。 基于哈希或唯一标识的去重 为每条数据生成唯一标识（如MD5哈希），通过比对标识快速定位重复项。适用于结构化数据表或文件去重。 in row.values()) return hashlib.md5(row_str.encode()).hexdigest() 数据库层面的去重 使用SQL语句直接去重，适用于关系型数据库 适合实时流水线去重。 业务规则定制 根据业务需求定义去重粒度：时间窗口去重（如1小时内相同数据视为重复）、字段组合去重（如姓名+手机号+地址作为复合主键）。需通过数据建模明确唯一性约束条件。
49610编辑于 2025-08-29- 来自专栏全栈程序员必看
postgresal去重_postgresql数据库去重方法
数据库去重有很多方法，下面列出目前理解与使用的方法 第一种 通过group by分组，然后将分组后的数据写入临时表然后再写入另外的表,对于没有出现再group by后面的field可以用函数max,min 提取，效率较高 –适合情况：这种情况适合重复率非常高的情况，一般来说重复率超过5成则可以考虑用这个方法 –优点：对于重复率高的数据集的去重，十分推荐用这种方法 –缺点：uuid不能用max或min提取， 如果需要去重的数据集中包含uuid则十分尴尬 create temp table tmp_data1 as select [field1],[field2]…,max(field_special),min ，效率很低，可以尝试配合临时表(测试发现依旧很慢) –适合情况：由于该种方法效率很低，所以不推荐使用，如果数据量不大的情况下可以用这种方法，数据量只要上了100万就会很慢很慢 delete from [ ，这种方法一次只能删除重复数据的一条，如果有些数据有几百次重复那就会累死，其实也可以使用函数做一个循环，但这样的效率就不高了 delete from [table] where id in (select
3K30编辑于 2022-11-15 - 来自专栏极客生活
mysql 数据去重
从excel中导入了一部分数据到mysql中，有很多数据是重复的，而且没有主键，需要按照其中已经存在某一列对数据进行去重。 去重 添加玩递增的id字段后，就可以对数据根据某个字段进行去重操作，策略就是保存id最小的那条数据。 DELETE FROM `table` WHERE `去重字段名` IN ( SELECT x FROM ( SELECT `去重字段名` AS x FROM `table` GROUP BY `去重字段名` HAVING COUNT(`去重字段名`) > 1 ) tmp0 ) AND `递增主键名` NOT IN ` HAVING COUNT(`去重字段名`) > 1 ) tmp1 )
4.2K20发布于 2018-08-28 - 来自专栏苏三说技术
10亿QQ号如何去重？
前言 最近在网上看到一个问题：10亿QQ号如何去重？ 我觉得挺有意思的。 今天这篇文章跟大家一起分享一些常见的解决方案，希望对你会有所帮助。 一、技术难点 1.1 数据规模分析 原始数据：10亿×8字节 = 8GB HashSet去重：至少16GB内存（Java对象开销） 理想方案：<1GB内存 1.2 核心挑战 二、单机解决方案：位图法 2.1 架构层 技术栈 处理目标 批处理层 Spark + HDFS 全量数据去重 速度层 Flink + Redis 实时增量去重 服务层 Spring Boot + HBase 统一查询接口 6.3 实时去重实现 100% Redis实时去重 增量数据实时处理 O(n) O(1) 100% 分层位图索引 超大规模精准去重 O(n)压缩存储 O(1) 100% 九、实战经验与避坑指南 9.1 数据倾斜解决方案 问题场景 ，实时处理增量数据 10亿QQ号去重的本质，是将问题拆解到每个计算单元都能高效处理的粒度。
36010编辑于 2025-07-17 - 来自专栏全栈程序员必看
oracle数据库去重查询_oracle高效去重
oracle 数据库多字段去重 方法介绍：distinct 关键字、group by 、row_number ()over(partition by 列 order by 列 desc) 我的需求是： 根据某几列去重 查询出去重后的全部信息。 我的想法：我想找出一种更简单的方法去 实现去重查询。越直接越好。 去重 select distinct id，name from test 结果：根据id和name 组合去重（类似于 id || name 这样去重） 2、group by 分组去重 select *,row_number() over(partition by a.id,a.sex order by name) su from test a; 去重例子：根据 id和sex 去重 select
4.1K20编辑于 2022-11-10 - 来自专栏全栈程序员必看
hashset自定义去重规则_sql数据去重
>(); list.add("d"); list.add("d"); list.add("d"); System.out.println(list); /*执行去重方法 */ list = removeSame(list); //打印去重后的list System.out.println(list); } /*去重方法*/ private static ArrayList<>(set); return listSingle; } 打印結果： ————————————————————————————————————————————- 小插曲：写完去重方法才知道 ，数据库可以直接查询出去重后的list，只需要一个 DISTINCT ，哭一会。
1.5K10编辑于 2022-11-10 - 来自专栏全栈程序员必看
大数据去重方案
现在需要对数据按用户分析，但当中有大量的重复数据，仅用数据库的等值去重明显不可行。 至少在现阶段内存和CPU的执行效率在固定时间内是有限的，大量的数据的查重和去重处理不可能同时在内存中进行。就像外部排序算法和内部排序算法差别很大，遇到此类大量数据查重问题对算法进行设计是有必要的。 这种想法是先把所有数据按照相关性进行分组，相关的数据会处于同样或者接近的位置中，再将小文件进行对比。 有1千万条短信，找出重复出现最多的前10条？ 使用数据库建立关键字段（一个或者多个）建立索引进行去重 根据url地址进行去重： 使用场景：url地址对应的数据不会变的情况，url地址能够唯一判别一条数据的情况 思路： url存在Redis中 往对应值的位置把结果设置为1 新来的一个url地址，一样通过加密算法生成多个值 如果对应位置的值全为1，说明这个url地址已经被抓取过了 否则没有被抓取过，就把对应的位置的值设置为1 根据数据本身进行去重
1.3K10编辑于 2022-07-11 - 来自专栏全栈程序员必看
hive表数据去重
根据user name查重 SELECT test_user_name, count(*) c from default.test GROUP BY test_user_name HAVING c> 1; 根据id查重 SELECT id ,count(*) c FROM default.test GROUP BY id HAVING c >1; 去重：注意min用法，取相同数据的最小id，去重的重点 min:使用group by 分组后取分组内最小id，以便去掉其它重复数据 INSERT OVERWRITE table default.test partition(test_data_source
1.9K10发布于 2021-05-19 - 来自专栏素质云笔记
R语言︱数据去重
（谢益辉） 查看重复的方式，有点像分类变量个数一样，unique() 或者 table() 都是很好的方式去检测。 ，R中默认的是fromLast=FALSE,即若样本点重复出现，则取首次出现的； 否则去最后一次出现的。 2、duplicated函数 在数据框中应用较为广泛。 16333633 16342783 9 ENSG00000234381 pseudogene 22 16333633 16342783 10 index,] #选中了非重复的数据 > data.set2 #用法与is.na()对比 x[!is.na(x)] #选中不是缺失值的数据
1.3K20发布于 2019-05-26 - 来自专栏技术进阶
Golang数组去重&切片去重
合并两个整型切片，返回没有重复元素的切片，有两种去重策略 1. 通过双重循环来过滤重复元素（时间换空间） // 通过两重循环过滤重复元素 func RemoveRepByLoop(slc []int) []int { result := []int{} / 效率第一，如果节省计算时间，则可以采用如下方式 // 元素去重 func RemoveRep(slc []int) []int{ if len(slc) < 1024 { //
4.8K20编辑于 2022-09-21 - 来自专栏云端漫步
数据去重算法(一)
在编写代码时，经常会遇到对一组数据过滤去除重复的数据，那么怎么来实现这样的一个功能函数呢？ 例如：给定一个数组[1,2,3,1]，去除重复的数据 我们放眼一看就知道1重复了，但计算机没有这样的水平，它需要将该问题转化为严密的逻辑计算和数值计算，才能得到正确的结果。 在转化为计算机可处理的过程，就需要用到算法和数据结构的知识。我们知道hashtable数据结构，它的keys是不能存在重重的，那么我们就可以将数组转化hashtable来解决。 ，那么怎么能去除重复的数据 如：给定 nums = [0,0,1,1,1,2,2,3,3,4] 去除重复的数据 对于该问题，我们依然可以按照上边的那种方式进行处理，但由于这个数组是有序的，也就是重复的数据都聚集在一起 ，所以可以在循环中进行nums[i]和nums[i+1]的判断，不同时，将数据进行新的存储。
2.7K20发布于 2019-08-21 - 来自专栏刷题笔记
1-10 链表去重 (20 分)
本文链接：https://blog.csdn.net/shiliang97/article/details/100149932 1-10 链表去重 (20 分) 给定一个带整数键值的链表 L，你需要把其中绝对值重复的键值结点删掉 随后 N 行，每行按以下格式描述一个结点： 地址 键值 下一个结点 其中地址是该结点的地址，键值是绝对值不超过104的整数，下一个结点是下个结点的地址。 输出格式： 首先输出去重后的链表，然后输出被删除的链表。每个结点占一行，按输入的格式输出。 ： 00100 21 23854 23854 -15 99999 99999 -7 -1 00000 -15 87654 87654 15 -1 应该有两个测试点故意不按套路出牌， 一个是故意多输入了数据 题目大意：给一个链表，去重（去掉值或者绝对值相等的），先输出删除后的链表，再输出删除了的链表。 分析：用结构体数组存储这个链表，大小为maxn = 100000，node[i]表示地址为i的结点。
74950发布于 2019-11-08 - 来自专栏Web技术学苑
数据去重，笔试题系列
今天分享一道面试手写笔试题，主要考察数据去重问题 原题是这样的，给出一组数据，去掉id相同的数据并进行排序 const arr = [ {id: 0,pid: 1,order: 2,}, cur.push(prev) } return cur.sort((a, b) => a.id - b.id); }, []) } 方法三： 通过Set去重对应的 ，我们利用对象key不重复，先判断对象中是否有key,向数组中添加数据，然后将当前的id作为对象的key,如果有就不向数组中添加数据 我们也可以结合reduce这个计算方法，结合findIndex判断是否有 id相同的 通过reduce与Set,Set过滤相同的id,然后进行计算循环，判断cur中是否有pid 利用Map对原有数据进行去重，将没有的值，以id作为key，将当前项变成值，然后调用Object.values 本文示例源码code example[1] 参考资料 [1]code example： https://github.com/maicFir/lessonNote/blob/master/面试题/02-数据去重
71010编辑于 2022-12-21 【去重算法】有序去重和无序去重，C语言版
有序去重 时间复杂度：O(N) 思路： 1.双指针方法，一个用来遍历整体数组，另一个用来维护去重后的空间。 2.如果两个指向的数大小是不同的，则维护空间++,并且把新的数加进去。 = arr[i]) { num++; arr[num] = arr[i];//注意两句的逻辑顺序 } } return 0; } 无序去重 时间复杂度：O(N^2) 思路： 1.和有序去重思路相似，建立双指针。 2.不同的是判断是否重复，每一次判断都需要在已经去重的范围里循环一遍。
13710编辑于 2025-12-16- 来自专栏云端漫步
使用数组实现数据去重
在上一篇数据去重文中，介绍了使用hashtable这种数据结构实现对一组数据的去重操作，那么这种方式是否存在优化的空间？ 先来看一道题，给定一组整数无序数组，获取重复的数据 如：[1,2,3,1] 在数据去重第一篇文章中，使用的hashtable, hashtable这种数据结构内部实现上也借用了数组，那么我们是否可以直接使用数组呢 import "fmt" func main() { nums := []int{1, 2, 3, 1, 4, 5, 4, 5, 6, 7, 3, 6, 8} filter := [10]bool ，在使用数组去重时，需要注意以下几点： 去重的数据为整数 去重数据的最大值小于整数n 数据的离散性不能过于分散，如果像1， 100 ，1000 这样的范围分散，那么使用数组进行去重空间复杂度会有些高 如果数据量很大的情况下 基于以上的数组去重算法思想，在下篇文章中，将介绍大数据的去重算法。
93620发布于 2019-08-29 - 来自专栏Ryan Miao
Java中对List去重, Stream去重
问题 当下互联网技术成熟，越来越多的趋向去中心化、分布式、流计算，使得很多以前在数据库侧做的事情放到了Java端。今天有人问道，如果数据库字段没有索引，那么应该如何根据该字段去重？ 你需要知道HashSet如何帮我做到去重了。换个思路，不用HashSet可以去重吗？最简单，最直接的办法不就是每次都拿着和历史数据比较，都不相同则插入队尾。而HashSet只是加速了这个过程而已。 ，那么是如何去重的呢？ 在本题目中，要根据id去重，那么，我们的比较依据就是id了。 回到最初的问题，之所以提这个问题是因为想要将数据库侧去重拿到Java端，那么数据量可能比较大，比如10w条。
9.7K70发布于 2018-04-16 - 来自专栏全栈程序员必看
js数组去重的10种方法
console.log(unique9([1, 1, 2, 3, 5, 3, 1, 5, 6, 7, 4])); // 结果是[1, 2, 3, 5, 6, 7, 4] Methods 10 function unique10(arr) { //Set数据结构，它类似于数组，其成员的值都是唯一的 return Array.from(new Set (arr)); // 利用Array.from将Set结构转换成数组 } console.log(unique10([1, 1, 2, 3, 5, 3, 1, 5, 6,
79520编辑于 2022-09-14 10GB以上TXT去重方法介绍
文本去重，网上有很多软件可以实现，但是实际上没有一个软件可以做到2GB以上完全去重，其根本原因在于： （1）现在去重大多数采用哈希表，哈希表不重复元素暂存于内存中，所以随着数据增加，内存不断增加，一直到内存耗尽 ，实际上操作系统不会让我们这么一直在内存添加数据，而且是会有限制的 （2）32操作系统和64位操作系统去重支持最大数不一样，64位支持更多数据去重，但是不能用32位程序在64操作系统去重，这样就相当于32 (3)但是无论怎么做，如果数据量超大，即使是64位操作系统也是不行的，笔者曾经在64位操作系统对380M的txt手机号去重1秒多就完成任务，但是太大也是无法办到 操作系统的哈希表在32位操作系统长度最大是 所以现在根本没有软件可以做到超大文本去重，受限于哈希表的长度和内存限制，根本无法做到软件达到一次去重，超大文本去重目前只可能是一种方法那就是将数据存入数据库用数据库去重。 虽然我们不能做到一次性去重，但是我们还是可以通过其他方法去重，为此笔者想到一种分块去重思想，虽然不能把所有文本去重，但是可以分成块，一块一块去重，这样可以降低文件大小，不失为一种好方法，一旦把文件大小降下来我们就可以降低去重任务数和占用空间
12500编辑于 2025-07-18- 来自专栏全栈程序员必看
array去重 java_java 数组去重
public static void main(String[] args){
3.8K10编辑于 2022-07-02 - 来自专栏Flink实战剖析
Flink去重第三弹：HyperLogLog去重
HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81% 的情况下统计2^64个数据，在这种大数据量情况下能够减少存储空间的消耗，但是前提是允许存在一定的误差。 www.jianshu.com/p/55defda6dcd2里面做了详细的介绍，其算法实现在开源java流式计算库stream-lib提供了其具体实现代码，由于代码比较长就不贴出来(可以后台回复hll ,获取flink使用hll去重的完整代码 当误差值为0.001时；rs为97304 ，需要内存大小int[174763] 误差越小也就越来越接近其真实数据，但是在这个过程中需要的内存也就越来越大，这个取舍可根据实际情况决定。 getValue(HyperLogLog accumulator) { return accumulator.cardinality(); } } 定义的返回类型是long 也就是去重的结果
3K20编辑于 2022-04-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号