- 综合排序
- 最热优先
- 最新优先
- 来自专栏Java技术栈
List 去除重复数据的 5 种正确姿势！
关注阅读更多优质文章 以下介绍五种不同的方法去除 Java 中ArrayList中的重复数据。 1.使用LinkedHashSet删除arraylist中的重复数据 LinkedHashSet是在一个ArrayList删除重复数据的最佳方法。 LinkedHashSet在内部完成两件事： 删除重复数据 保持添加到其中的数据的顺序 Java示例使用 LinkedHashSet 删除arraylist中的重复项。 在给定的示例中，numbersList是包含整数的arraylist，其中一些是重复的数字。 例如1,3和5.我们将列表添加到LinkedHashSet，然后将内容返回到列表中。 6, 6, 6, 7, 8] [1, 2, 3, 4, 5, 6, 7, 8] 3.利用HashSet不能添加重复数据的特性 由于HashSet不能保证添加顺序，所以只能作为判断条件保证顺序：
2.8K20发布于 2020-11-23 - 来自专栏站长的编程笔记
MySQL 中查找重复数据，删除重复数据
MySQL查找重复数据，删除重复数据 数据库版本 Server version: 5.1.41-community-log MySQL Community Server (GPL) 例1，表中有主键( /* 查找所有重复数据 */SELECT `t1`. | 963 || 21 | wer | 546 || 22 | wer | 546 |+----+------+-----+14 rows in set (0.00 sec) 查找除id最小的数据外的重复数据 /* 查找除id最小的数据外的重复数据 */SELECT `t1`. ，记得删除完数据把id字段也删除了 删除重复数据，只保留一条数据 /* 删除重复数据，只保留一条数据 */DELETE FROM `noid`USING `noid`,(SELECT DISTINCT
9.3K30编辑于 2022-11-27 - 来自专栏天意云&天意科研云&天意生信云
重复率从86%降到了6.3%
然而，随着AI技术的广泛应用，许多学者发现，由AI生成的文本往往存在重复率过高和AI率显著的问题。那么，如何有效降低这些指标，提升文本的质量呢？ 通过替换词汇，能有效避免过度依赖原文表达而导致的重复。 推荐指令： “将以下段落中的词汇替换为近义词或适当的双重否定，使文章保持学术专业性，同时降低重复率。 这种视觉化的表达方式，不仅能够降低文本的重复率，还能提升读者的理解度和兴趣。 推荐指令： “将以下段落转化为简洁易懂的流程图或数据图表，展示步骤、决策点和信息流，确保图表能够清晰表达文本的核心内容，并减少文字描述的重复性。” 5.先缩写再扩写 在文本优化过程中，先对段落进行缩写，提炼出核心观点，再基于核心观点进行扩写，是一种有效降低重复率并提升内容深度的策略。
1.3K10编辑于 2025-03-10 IOT数据重复问题
数据重复问题是物联网（IoT）系统中常见的问题，特别是在设备端和网络传输过程中。 两个场景： 设备本身数据重复 网络异常导致 MQTT 传输重复 下面是针对这两个问题的详细解决方案建议： ✅ 一、设备本身数据重复 原因分析： 设备传感器采样频率过高或逻辑错误，导致短时间内发送相同数据 设置最小上报间隔 即使数据变化，也要控制最低发送频率（例如每30秒最多发一次），避免频繁重复上报。 可以结合时间戳判断。 3. 设置 TTL（生存时间）为合理值（如5分钟），防止缓存无限增长。 使用压缩算法减少带宽 高并发 使用异步处理、批量写入数据库 多设备 增加设备心跳机制，识别非法重复 如果你能提供具体的数据格式、MQTT客户端类型（如ESP32、树莓派等）、使用的语言/框架（如Python
26210编辑于 2025-08-29- 来自专栏Hadoop数据仓库
去除重复数据
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均都重复，二是部分字段重复的记录。 对于第一种重复，比较容易解决，只需在查询语句中使用distinct关键字去重，几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周，通过给表增加主键或唯一索引列即可避免。 select distinct * from t; 对于第二类重复问题，通常要求查询出重复记录中的任一条记录。 假设表t有id,name,address三个字段，id是主键，有重复的字段为name,address，要求得到这两个字段唯一的结果集。
2.4K60发布于 2018-01-03 - 来自专栏一些有趣的Python案例
关于Top-1错误率、Top-1准确率、Top-5错误率、Top-5准确率的实例辨析
and is computed as the proportion of images such that the ground-truth category is outside the top-5 ） 总样本数 错误率 （所有测试图片中正确标签不在模型输出的前 个最佳标记中的样本数） 总样本数 准确率 （所有测试图片中正确标签在模型输出的前 个最佳标记中的样本数 准确率 错误率 准确率 结论 和 错误率（或准确率） 是深度学习中评价模型预测错误率的两个指标。 一般来说， 和 的错误率越低（或准确率越高），模型的性能也就越好。 一般而言， 的错误率在数值上会比 错误率的数值要小，毕竟从 个结果里猜对的几率要比只从 个结果里猜对的几率要大嘛！
1.6K20编辑于 2022-01-10 - 来自专栏开源部署
Oracle数据库查询重复数据及删除重复数据方法
工作中，发现Oracle数据库表中有许多重复的数据，而这个时候老板需要统计表中有多少条数据时（不包含重复数据），只想说一句MMP，库中好几十万数据，肿么办，无奈只能自己在网上找语句，最终成功解救，下面是我一个实验 假设有一张人员信息表cs（姓名，证件号，地址），将表中三个字段数据都重复的数据筛选出来： distinct:这个关键字来过滤掉多余的重复数据只保留一条数据 select * from from cs ------所有字段 select distinct xm,zjh,dz from cs; -----指定字段 在实践中往往只用它来返回不重复数据的条数，因为distinct对于一个数据量非常大的库来说 、删除重复数据的方法如下：↓ ↓ ↓ ↓ ↓ ↓ ↓ ↓ ①rowid用法： oracle带的rowid属性,进行判断是否存在重复数据。 查询重复数据： select a.* from cs a where rowid !
10.3K30编辑于 2022-08-17 - 来自专栏句小芒的学习专栏
利用php脚本+redis，生成CSV测试文件，重复率为20%
* User: 1612953660@qq.com * Date: 2019/2/28 */ // 头部标题 $csv_header = ['数据']; $redis = new redis() PHP_EOL; // 处理内容 $content = ''; $total = 100000;//总条数 $num1 = 0.8*$total;//不重复条数 $num2 = $total-$num1 ;//重复条数 for($i=0;$i<$num1;$i++){ $data = make_password(); $content .= $data . content; // 写入并关闭资源 fwrite($fp, $csv); fclose($fp); //清除redis缓存 $redis->DEL('tempdata'); /* *生成随机64位测试数据 , 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y','Z', '0', '1', '2', '3', '4', '5'
1K10编辑于 2022-12-29 - 来自专栏科研菌
SCI论文重复率一般得控制在多少？
答案是：虽然不同期刊要求不一样，但总重复率在15%以下且单篇不超过1%会比较安全，几乎可以满足所有期刊；重复率超过 30% 或单一引用源超过 6% 的稿件，大多数期刊会直接拒绝。 是目前世界上最权威，应用最广泛的学术期刊查重系统，包括 ELSEVIER，IEEE，Nature，Springer，Wiley、BMJ，Taylor & Francis，牛津 等大多数学术期刊均采用该系统对稿件进行重复率检查 欢迎不服的小伙伴提供更低的靠谱渠道），因为这已经非常接近淘宝等第三方商家的成本价，相当于市场价的1/3-1/5。 查重行业有多复杂，现在你可能会惊讶，原来这个小小的查重这么赚钱，平均竟然都有3-5倍的利润，其实赚不赚钱，只要看下百度里，竞价广告和相关公司页面多少就可以知道，查重有超过10个页面的商家，和满眼的竞价广告 Scihub永久链接上线（首页底部按钮） 5. 简明统计学工具上线，包含6种场景。 6. 智能选刊助手上线。 7. 课题思路助手上线。 8.
2.3K10发布于 2021-10-28 - 来自专栏AI机器学习与深度学习算法
机器学习入门 10-5 精确率和召回率的平衡
此时我们选择0为阈值，那么算法就会把这些score值大于0右边5个样本点分类为1，把score值小于0的左边7个样本点分类为0。在这种情况下精准率和召回率是多少呢？ 精准率为4 / 5 = 0.8。 使用手写数字识别制作有偏的二分类数据集的过程和前几个小节一样，选择样本标签是否为9作为二分类是否为1的标准，接下来使用train_test_split将数据集划分为训练集和测试集，之后在训练集上训练逻辑回归算法 前面介绍过对于非常有偏的数据集来说F1 Score指标比直接调用score函数计算准确率更能够评估分类算法，因此有了预测值就可以计算出F1 Score的值。 ? 简单回顾一下，当threshold阈值为-5、0和5的时候，精准率和召回率的变化： 当阈值为-5的时候精准率为0.72，召回率为0.88； 当阈值为0的时候精准率为0.94，召回率为0.8； 当阈值为5 的时候精准率为0.96，召回率为0.53； 当阈值从-5到0再到5的过程中，精准率逐渐的提升，而召回率逐渐的下降，这里通过使用程序的方式再次展示了精准率和召回率这两组指标它们之间是相互制约、相互矛盾的。
4.5K51发布于 2020-04-26 - 来自专栏往期博文
【目标检测】YOLOv5：添加漏检率和虚检率输出
object_detection_confusion_matrix def __init__(self, nc, conf=0.25, iou_thres=0.45): """ params nc: 数据集类别个数 object_detection_confusion_matrix def __init__(self, nc, conf=0.25, iou_thres=0.45): """ params nc: 数据集类别个数 confusion_matrix.total) ---- 2022.8.10更 训练拓展 突然想到一个问题：其实YOLOv5本身输出指标包含了准确率§和召回率®。 在一些博文中提到：漏检率=1-召回率，在YOLOv5中也可以这样理解吗？ 回顾一下召回率的计算公式：R = TP / (TP+FN)，通俗的说，召回率就是来衡量真实样本中，被检测正确的比例。 换句话说，YOLOv5的召回率分子的TP只有斜对角线上的值，检测出来但分类错误依然被视作FN，因此，自己计算的漏检率和召回率并不是严格互补的关系。
6.1K51编辑于 2022-09-21 - 来自专栏点点GIS
免费高分辨率遥感卫星数据（5m）下载
大家好，我是南南 相信大家都下载过遥感卫星数据吧，不知道大家常常用的是那些卫星数据呢。 系列和 Sentinel系列好像是30米的空间分辨率，Landsat8最高可以达到15m的空间分辨率。 而中巴04星（CB04）可以达到5m的空间分辨率，这应该算是免费遥感数据的天花板了。 这是我昨天下载的长春市数据（局部），可以明显看出这分辨率和其他免费数据不是一个档次的 下面是下载方法 打开网站http://36.112.130.153:7777/#/home 按照要求注册账号 ，难用的一批，还不如地理空间数据云 按照要求输入查找条件，中间空格隔开 选择合适的数据，加入购物车 选择数据，提交订单，半小时以内应该就能通过，获取下载链接 一般选择http下载即可，如果网速不太好可以复制下载链接到迅雷
6.7K20发布于 2021-11-19 - 来自专栏论文降AIGC率
重复率飘红、AI率爆表？一款人性化修改辅助工具！
毕业论文写完，最糟心的就是重复率高，AI率还爆了......瞬间感觉，什么都不香了！别慌！论文本就是一个循序渐进的修改过程，先把心态放好，有问题就会有方法。 一款亲测有效的早降重辅助工具，一站式降低AIGC率+降查重率！ 注：局部降AI率时，系统看不到上下文，降重后需检查修改内容与前后是否衔接通顺。 支持上传报告类型：3、语义修改逐句解析文本逻辑与上下文关联，仅针对重复或高AI嫌疑片段改写，不干扰正常内容，保障整体连贯性。4、降重结果降重完成后，系统会提供检测报告、降重结果、结果对照版和批注版。 5、同屏对比审核点击修改的后句子，原文会同步匹配该原句，方便人工审核。
14800编辑于 2026-03-04 - 来自专栏SQL实现
如何删除重复数据
当表设计不规范或者应用程序的校验不够严谨时，就容易导致业务表产生重复数据。因此，学会高效地删除重复就显得尤为重要。 今天我们就来说怎么删除有主键的重复数据。 操作步骤如下： 找出有重复的数据； 在重复的数据中标记需要保留的数据； 删除重复数据里面没有被标记的数据。 由于主键的存在，可以将重复数据中的对应的主键的最大或最小的那条记录标记为保留数据。 （标红的是重复数据）： ? 字段 ename 作为判断重复数据的依据，即两条或者两条以上的数据的 ename 字段的值相同，说明它们都是重复数据。 当存在重复数据时，只需要保留重复数据中 empno 最大的那条记录 方法一： 先通过 group by ... having 找到重复数据中要保留的数据，再通过关联操作删掉未选中的数据。
2.7K21发布于 2020-07-18 - 来自专栏布尔
游标清除重复数据
有时候导数据会把数据导重，需要根据某些信息清除掉重复数据，同学做信息机业务的，不小心把用户信息导重复了，造成不能发短信。我帮他写了个游标来清理重复数据。
1.2K100发布于 2018-01-19 - 来自专栏华创信息技术
Mysql删除重复数据
文章时间：2020年3月8日 19:27:36 解决问题：删除表中的重复数据 基于数据库：Mysql 5.7 version 查询重复数据 SELECT openid,COUNT(openid ) FROM 表名 GROUP BY openid HAVING COUNT(openid) > 1 Select * From 表 Where 重复字段 In (Select 重复字段 From 删除重复数据 删除全部的重复数据（注意! 注意! 注意! GROUP BY 字段名 HAVING count(1) > 1 ) t ) 只保留一条，去掉重复的数据 参考文献 mysql删除重复记录并且只保留一条：https://blog.csdn.net/n950814abc/article/details/82284838 PostgreSQL中删除重复行（保留一行
18.9K20发布于 2020-03-09 【判断插入数据是否重复】
在Java中，可以使用以下代码来判断插入数据是否重复： public class DaoImpl { private Connection connection; // ... catch (SQLException e) { e.printStackTrace(); } } } 在业务层中，首先调用isDataExist()方法判断数据是否已存在 如果数据已存在，则直接返回，并不执行插入操作。如果数据不存在，则调用insertData()方法进行插入操作。
21810编辑于 2025-08-29- 来自专栏运维技巧分享
MariaDB 管理重复表数据
在某些情况下，重复确实会导致问题，并且它们常常由于隐式动作或MariaDB命令的宽松策略而出现。 有多种方法可以控制此问题，查找重复项，删除重复项，并防止重复创建。 策略和工具 有四个关键方法来管理重复 - 使用JOIN关联，并用临时表删除他们。 使用INSERT ... ON DUPLICATE KEY UPDATE在发现重复时更新。 使用DISTINCT修剪SELECT语句的结果并删除重复的。 使用INSERT IGNORE停止插入重复项。 使用连接临时表 只需像内部联接那样执行半连接，然后删除使用临时表找到的重复。 使用DISTINCT DISTINCT子句从结果中删除重复项。 某些表基于表数据的性质需要重复。 满足您在管理重复记录的策略中的需要。
1.6K10发布于 2021-09-29 MySQL——删除重复数据
前言 数据导入的时候,导入了重复的数据 内容 结果 delete from <table.name> where id in (select id from (select * from <table.name ) >1) and id not in (select min(id) from <table.name> group by wxid having count(wxid)>1)) a); 步骤 查询重复数据的字段 我这里是wxid select wxid from <table.name> group by wxid having count(wxid) >1; 查询出重复数据字段中最小的自增ID select min(id) from <table.name> group by wxid having count(wxid)>1; 筛选出将被删除的重复数据 select * from <table.name ) >1) and id not in (select min(id) from <table.name> group by wxid having count(wxid)>1)) a; 根据ID删除重复数据
1.8K10编辑于 2024-08-16- 来自专栏有关SQL
如何防止数据重复插入？
目录 为啥要解决数据重复插入？ 解决方案实战 可落地小总结 一、为啥要解决数据重复插入？ 问题起源，微信小程序抽风 wx.request() 重复请求服务器提交数据。 public void saveSignLog(SignLogDO log) { // 简单插入做记录 SignLogDAO.insert(log); } } 发现数据库会存在重复数据行 问题是，重复请求导致的数据重复插入。这问题造成的后果很明显： 数据冗余，可能不单单多一条 有些业务需求不能有多余数据，造成服务问题 问题如图所示： ? 数据库层采取唯一索引的形式，保证数据记录唯一性。即 UNIQUE 约束，UNIQUE 约束唯一标识数据库表中的每条记录。另外，userid,signid,sign_time 三个组合适唯一字段。 重复写问题，这样处理即可。那大流量、高并发场景咋搞 2.分库分表解决方案 流量大了后，单库单表会演变成分库分表。
3.7K20发布于 2019-12-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号