搜索 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

来自专栏问天丶天问
JS 高效去重
function unique(arr) { var result = [], isRepeated; for (var i = 0, len = arr.length; i < len; i++) { isRepeated = false; for (var j = 0, len = result.length; j < len; j++) { if (arr[i] == result[j]) {
3K30发布于 2018-06-13
来自专栏全栈程序员必看
oracle数据库去重查询_oracle高效去重
根据某几列去重查询出去重后的全部信息。我的想法：我想找出一种更简单的方法去实现去重查询。越直接越好。去重 select distinct id，name from test 结果：根据id和name 组合去重（类似于 id || name 这样去重） 2、group by 分组去重 select id，name from test group by id，name 结果：根据id，name 组合去重 3、row_number ()over(partition by 列 order by 列 *,row_number() over(partition by a.id,a.sex order by name) su from test a; 去重例子：根据 id和sex 去重 select
4.1K20编辑于 2022-11-10
分布式爬虫去重：Python + Redis实现高效URL去重
对于单机爬虫，可以使用Python内置的set()或dict进行去重，但在分布式爬虫环境下，多个爬虫节点同时工作时，内存级的去重方式不再适用。 URL去重的常见方法2.1 基于内存的去重（单机适用）Python set()最简单的去重方式，适用于小规模数据，但无法持久化，重启后数据丢失。关系型数据库（MySQL, PostgreSQL）通过UNIQUE约束去重，但性能较低，不适合高并发爬虫。分布式键值存储（如Memcached）类似Redis，但功能较少，通常仅用于缓存。3. 丰富的数据结构：SET（精确去重）、HyperLogLog（近似去重）、Bitmap（位图去重）等。4. 本文提供的Python代码可直接集成到Scrapy或其他爬虫框架中，助力高效数据采集。
47310编辑于 2025-05-07
来自专栏python进阶学习
分布式爬虫去重：Python + Redis实现高效URL去重
引言在互联网数据采集（爬虫）过程中，URL去重是一个关键问题。如果不对URL进行去重，爬虫可能会重复抓取相同页面，导致资源浪费、数据冗余，甚至触发目标网站的反爬机制。，但在分布式爬虫环境下，多个爬虫节点同时工作时，内存级的去重方式不再适用。 URL去重的常见方法 2.1 基于内存的去重（单机适用） Python **3. Redis 在分布式爬虫去重中的优势 Redis 是一个高性能的内存数据库，支持多种数据结构，适用于分布式爬虫去重，主要优势包括：高性能：数据存储在内存中，读写速度极快（10万+ QPS）。本文提供的Python代码可直接集成到Scrapy或其他爬虫框架中，助力高效数据采集。
35410编辑于 2025-05-08
来自专栏全栈程序员必看
List去重3种方式
一、背景 1.在实战中list去重是非常频繁的，下面就讲讲它的三种用法。二、第一种（原始代码去重） 1.测试类 public class DemoTest { public static void main(String[] args) { ArrayList <String> list = Lists.newArrayList("02","01","01","02","03"); System.out.println("原始的去重方法"); [02, 01, 03] 三、第二种方法 1.Set去重缺点是，元素是无序的 2.测试类 public class DemoTest { public static void main(String "); Set<String> set = Sets.newHashSet(list); System.out.println(set); } } 3.结果 set
56910编辑于 2022-09-01
来自专栏技术社区
python3数组去重
input_list = [1,1,2,2,3,3,4,5,6,7,33,2,4,6,7,4,2] def functionList1(data): return list(set(data data[i] not in new_data: new_data.append(data[i]) return new_data def functionList3( data).tolist() print(functionList1(input_list)) print(functionList2(input_list)) print(functionList3(
89820编辑于 2022-06-17
来自专栏技术进阶
Golang数组去重&切片去重
合并两个整型切片，返回没有重复元素的切片，有两种去重策略 1. 通过双重循环来过滤重复元素（时间换空间） // 通过两重循环过滤重复元素 func RemoveRepByLoop(slc []int) []int { result := []int{} / 效率第一，如果节省计算时间，则可以采用如下方式 // 元素去重 func RemoveRep(slc []int) []int{ if len(slc) < 1024 { //
4.8K20编辑于 2022-09-21
来自专栏五分钟学算法
如何高效对有序数组链表去重？
作者 | labuladong 来源 | labuladong 我们知道对于数组来说，在尾部插入、删除元素是比较高效的，时间复杂度是 O(1)，但是如果在中间或者开头插入、删除元素，就会涉及数据的搬移这篇文章讲讲如何对一个有序数组去重，先看下题目： ? 再简单扩展一下，如果给你一个有序链表，如何去重呢？其实和数组是一模一样的，唯一的区别是把数组赋值操作变成操作指针而已： ? 对于链表去重，算法执行的过程是这样的： ?
1.8K20发布于 2019-09-26
来自专栏Python绿色通道
Scrapy实战3：URL去重策略
一、前言今天给大家分享的是，Python爬虫里url去重策略及实现。二、url去重及策略简介 1.url去重从字面上理解，url去重即去除重复的url,在爬虫中就是去除已经爬取过的url,避免重复爬取，既影响爬虫效率，又产生冗余数据。 2.url去重策略从表面上看，url去重策略就是消除url重复的方法，常见的url去重策略有五种，如下： # 1.将访问过的ur保存到数据库中 # 2.将访问过的ur保存到set(集合)中,只需要方法,将访问过的ur通过hash函数映射到某一位 # 5. bloomfilter方法对 bitmap进行改进,多重hash函数降低冲突三、看代码，边学边敲边记url去重策略 1.将访问过的ur保存到数据库中 (字节)，计算式：这样一比较，MD5的空间节省率为：（100-16）/100 = 84%（相比于方法二） (Scrapy框架url去重就是采用的类似方法) ''' # 维基百科看MD5算法 '''
2.2K30发布于 2020-02-12
【去重算法】有序去重和无序去重，C语言版
有序去重时间复杂度：O(N) 思路： 1.双指针方法，一个用来遍历整体数组，另一个用来维护去重后的空间。 2.如果两个指向的数大小是不同的，则维护空间++,并且把新的数加进去。 int main() { int arr[] = { 1,2,3,3,5,5,8,8 }; int num = 0; for (int i = 1; i < sizeof(arr) / sizeof = arr[i]) { num++; arr[num] = arr[i];//注意两句的逻辑顺序 } } return 0; } 无序去重时间复杂度：O(N^2) 思路： 1.和有序去重思路相似，建立双指针。 2.不同的是判断是否重复，每一次判断都需要在已经去重的范围里循环一遍。
13710编辑于 2025-12-16
来自专栏Ryan Miao
Java中对List去重, Stream去重
问题当下互联网技术成熟，越来越多的趋向去中心化、分布式、流计算，使得很多以前在数据库侧做的事情放到了Java端。今天有人问道，如果数据库字段没有索引，那么应该如何根据该字段去重？你需要知道HashSet如何帮我做到去重了。换个思路，不用HashSet可以去重吗？最简单，最直接的办法不就是每次都拿着和历史数据比较，都不相同则插入队尾。而HashSet只是加速了这个过程而已。，那么是如何去重的呢？在本题目中，要根据id去重，那么，我们的比较依据就是id了。回到最初的问题，之所以提这个问题是因为想要将数据库侧去重拿到Java端，那么数据量可能比较大，比如10w条。
9.7K70发布于 2018-04-16
来自专栏全栈程序员必看
array去重 java_java 数组去重
ArrayList oList = new ArrayList<>(Arrays.asList(new Obj[]{ new Obj(“1:00”), new Obj(“2:00”), new Obj(“3: 00”), new Obj(“1:00”), new Obj(“2:00”), new Obj(“3:00”) })); // 测试数组，有重复值 ArrayList oUniq = new ArrayList exists){ // 不存在加入 oUniq.add(o); // 修改oUniq数组 } } System.out.println(oUniq); // 只输出 [1:00, 2:00, 3:00] this.time; } } run.sh [jesse@Jesse-iMac:~/project/test/java$] javac uniq.java && java uniq [1:00, 2:00, 3:
3.8K10编辑于 2022-07-02
来自专栏Flink实战剖析
Flink去重第三弹：HyperLogLog去重
HyperLogLog算法也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81% www.jianshu.com/p/55defda6dcd2里面做了详细的介绍，其算法实现在开源java流式计算库stream-lib提供了其具体实现代码，由于代码比较长就不贴出来(可以后台回复hll ,获取flink使用hll去重的完整代码 getValue(HyperLogLog accumulator) { return accumulator.cardinality(); } } 定义的返回类型是long 也就是去重的结果
3K20编辑于 2022-04-18
来自专栏国产程序员
数组去重
]; console.log(distinct(arra)); //返回[3,4,2,1] </script> 利用两个for循环和splice方法思路对数组中的每一项 } } } return arr; }; var a = [1,2,3,4,5,6,5,3,2,4,56,4,1,2,1,1,1,1,1,1 ,]; var b = distinct(a); console.log(b); //1,2,3,4,5,6,56 </script> 利用sort和splice } }) return res; }; var arra = [1,2,4,2,1,24,4,3,4,2,1,3,3 return [... new Set(array)]//用[...A]将A转换为数组 } var arr1 = [2,1,2,2,1,34,3,5,54,221,1,1,2,3,12
4K30发布于 2019-07-03
【数据去重】
数据去重的基本思路数据重复问题通常分为两类：完全重复（所有字段相同）和部分重复（关键字段相同）。解决思路围绕识别、标记或删除重复项展开，需根据业务场景选择保留策略（如保留最新记录或合并数据）。基于哈希或唯一标识的去重为每条数据生成唯一标识（如MD5哈希），通过比对标识快速定位重复项。适用于结构化数据表或文件去重。在大数据场景下，使用布隆过滤器（Bloom Filter）高效判断数据是否存在。适合实时流水线去重。业务规则定制根据业务需求定义去重粒度：时间窗口去重（如1小时内相同数据视为重复）、字段组合去重（如姓名+手机号+地址作为复合主键）。需通过数据建模明确唯一性约束条件。
49610编辑于 2025-08-29
来自专栏扎心了老铁
hiveQL去重
去重：以id进行分组，然后取出每组的第一个 select * from (select *,row_number() over (partition by id) num from t_link) t *,row_number() over (partition by id order by create_time desc) num from t_link) t where t.num=1; 将去重后的数据重新存储 ,row_number() over (partition by id order by crt_time desc) num from t_link ) t where t.num=1; 去重之后与其他表
2.5K30发布于 2018-03-05
来自专栏python前行者
pybloom去重
环境 python3.6 pip3 install bitarray-0.8.1-cp36-cp36m-win_amd64.whl（pybloom_live依赖这个包，需要先安装） pip3 install range(0, count): sbf.add(i) print((1.0 - (len(sbf) / float(count))) <= sbf.error_rate + 2e-18)#True 3. 布隆滤波器是利用很小的错误率代价完美实现了海量数据规模下的去重和判断问题，在平时的大数据研究和开发中，不要总为完美的解决方案而费尽心血，尝试多使用近似的替代方案。
2.6K40发布于 2019-03-25
来自专栏solate 杂货铺
slice 去重
1.Golang 删除 slice 中重复的值 package main import ( "fmt" ) func main() { a := []int{2, 1, 2, 5, 6, 3, 4, 5, 2, 3, 9} UniqueSlice(&a) fmt.Println(a) } func UniqueSlice(slice *[]int) { found := make (*slice)[i] total++ } } *slice = (*slice)[:total] } func UniqueSlice_3( return result } 2.另外一种 package main import ( "fmt" ) func main() { a := []int{2, 1, 2, 5, 6, 3, GO语言字符串数组去重、去空 package main import( "fmt" "sort" ) func RemoveDuplicatesAndEmpty(a []string
2.1K20发布于 2019-07-22
来自专栏全栈程序员必看
java数组去重_JAVA数组去重常用方法
] arrStr = {“Java”, “C++”, “Php”, “C#”, “Python”, “C++”, “Java”}; test1(arrStr); test2(arrStr); test3( arrStr); test4(arrStr); } //方法1：通过List去重 public static void test1(String [] arrStr) { List list = new newArrStr = list.toArray(new String[1]); //System.out.println(Arrays.toString(newArrStr)); } //方法2：通过Map去重通过Set去重 public static void test3(String [] arrStr) { Set set = new HashSet<>(); for (String str : arrStr ) { set.add(str); } System.out.println(set); } //方法4：通过lambda去重(jdk1.8) public static void test4(String
4.1K20编辑于 2022-09-10
来自专栏全栈程序员必看
postgresal去重_postgresql数据库去重方法
数据库去重有很多方法，下面列出目前理解与使用的方法第一种通过group by分组，然后将分组后的数据写入临时表然后再写入另外的表,对于没有出现再group by后面的field可以用函数max,min 提取，效率较高 –适合情况：这种情况适合重复率非常高的情况，一般来说重复率超过5成则可以考虑用这个方法 –优点：对于重复率高的数据集的去重，十分推荐用这种方法 –缺点：uuid不能用max或min提取，如果需要去重的数据集中包含uuid则十分尴尬 create temp table tmp_data1 as select [field1],[field2]…,max(field_special),min
3K30编辑于 2022-11-15

第 2 页第 3 页第 4 页第 5 页第 6 页第 7 页第 8 页第 9 页第 10 页第 11 页

点击加载更多

JS 高效去重

oracle数据库去重查询_oracle高效去重

分布式爬虫去重：Python + Redis实现高效URL去重

分布式爬虫去重：Python + Redis实现高效URL去重

List去重3种方式

python3数组去重

Golang数组去重&切片去重

如何高效对有序数组链表去重？

Scrapy实战3：URL去重策略

【去重算法】有序去重和无序去重，C语言版

Java中对List去重, Stream去重

array去重 java_java 数组去重

Flink去重第三弹：HyperLogLog去重

数组去重

【数据去重】

hiveQL去重

pybloom去重

slice 去重

java数组去重_JAVA数组去重常用方法

postgresal去重_postgresql数据库去重方法

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐