把几次导出的订单明细合并到一张 Excel 表里,很容易碰到重复记录。有的是同一条记录导入了两遍,有的是同一件商品上午还是「待发货」,下午再导出时已经变成「已发货」。同一个订单号下还可能有多件商品,这些明细都得留着。
所以,动手删之前,先弄清楚哪些列能判断两行是不是同一条记录。下面用同一张订单明细表,演示如何在 Java 中按整行、按订单号,以及按订单号和商品编码去重,再对比三种结果。
将下面的仓库和依赖配置加入项目的 pom.xml 文件中。
<repositories>
<repository>
<id>com.e-iceblue</id>
<url>https://repo.e-iceblue.cn/repository/maven-public/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>e-iceblue</groupId>
<artifactId>spire.xls</artifactId>
<version>16.10.1</version>
</dependency>
</dependencies>在 订单明细.xlsx 的第一张工作表中录入下面的数据。第 1 行是表头,数据区域为 A1:E7。示例会删除工作表中的整行,测试时把这张明细表单独放在一张工作表里。将文件保存到程序的工作目录。下面三个示例各自读取这份原表,并将结果另存为新文件。
订单号 | 客户 | 商品编码 | 金额 | 状态 |
|---|---|---|---|---|
DD1001 | 张三 | SKU-A | 199 | 待发货 |
DD1001 | 张三 | SKU-A | 199 | 待发货 |
DD1001 | 张三 | SKU-A | 199 | 已发货 |
DD1001 | 张三 | SKU-B | 59 | 已发货 |
DD1002 | 李四 | SKU-C | 88 | 已发货 |
DD1002 | 李四 | SKU-C | 88 | 已发货 |
如果是同一份数据被重复导入,可以直接调用 sheet.removeDuplicates()。这个方法会比较工作表已用区域内的所有列。示例表有 A 到 E 五列,五列的值都相同,两行才算重复。
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;
public class RemoveDuplicateRows {
public static void main(String[] args) {
Workbook workbook = new Workbook();
try {
workbook.loadFromFile("订单明细.xlsx");
Worksheet sheet = workbook.getWorksheets().get(0);
// 按工作表已用区域中的所有列比较整行
sheet.removeDuplicates();
workbook.saveToFile("订单明细_整行去重.xlsx", ExcelVersion.Version2016);
} finally {
workbook.dispose();
}
}
}该方法会把第一行也纳入比较。示例中的表头单独占一行,与其他记录的值不同,所以会保留。如果需要明确排除表头,可以使用带范围的重载,从第 2 行开始比较。
运行后,订单 DD1001 的两条「待发货」记录只留一条。「已发货」的那条因为状态不同,也会保留。
如果只是想得到一份一单一行的订单清单,可以只比较 A 列的订单号。订单号相同的多行会保留第一行。
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;
public class RemoveDuplicatesByOrderId {
public static void main(String[] args) {
Workbook workbook = new Workbook();
try {
workbook.loadFromFile("订单明细.xlsx");
Worksheet sheet = workbook.getWorksheets().get(0);
int lastRow = sheet.getLastRow();
if (lastRow > 1) {
// 跳过表头,只比较 A 列订单号
sheet.removeDuplicates(1, 1, lastRow, 5, true, new int[]{0});
}
workbook.saveToFile("订单明细_按订单号去重.xlsx", ExcelVersion.Version2016);
} finally {
workbook.dispose();
}
}
}前四个参数指定从 A1 到 E 列最后一行的区域,行号和列号从 1 开始。第五个参数 true 表示第一行是表头。最后一个参数 new int[]{0} 表示只比较所选区域的第一列,也就是 A 列。这个列偏移从 0 开始计算。
这个示例中,`DD1001` 最终只留下 SKU-A 的第一条记录。输出中的金额也来自这条商品明细。需要保留同一订单下的不同商品时,可以用下一种写法。
如果同一笔订单中,每个商品编码只应有一条明细,就同时比较 A 列的订单号和 C 列的商品编码。只有这两列的值都相同,才会将后面出现的行视为重复。
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;
public class RemoveDuplicatesByOrderAndSku {
public static void main(String[] args) {
Workbook workbook = new Workbook();
try {
workbook.loadFromFile("订单明细.xlsx");
Worksheet sheet = workbook.getWorksheets().get(0);
int lastRow = sheet.getLastRow();
if (lastRow > 1) {
// 跳过表头,同时比较 A 列订单号和 C 列商品编码
sheet.removeDuplicates(1, 1, lastRow, 5, true, new int[]{0, 2});
}
workbook.saveToFile("订单明细_按订单号和商品编码去重.xlsx", ExcelVersion.Version2016);
} finally {
workbook.dispose();
}
}
}new int[]{0, 2} 指定所选区域的第 1 列和第 3 列。执行后,`DD1001` 的 SKU-A 和 SKU-B 各保留一条。同一商品允许在一笔订单中分成多条明细时,可以用订单号和明细行号作为比较列。
三种写法都在同一份包含 6 条数据的订单表上运行,得到以下结果。条数均不含表头。
去重规则 | 保留条数 | 输出文件 |
|---|---|---|
比较 A 到 E 列 | 4 | 订单明细_整行去重.xlsx |
只比较订单号 | 2 | 订单明细_按订单号去重.xlsx |
比较订单号和商品编码 | 3 | 订单明细_按订单号和商品编码去重.xlsx |
怎样保留最新记录?
去重会保留先出现的记录。在示例中,按订单号和商品编码去重后,`DD1001` 的 SKU-A 保留的是「待发货」。如果原表有更新时间列,可以先按更新时间从新到旧排序,再执行去重,让最新一条排在同组数据的前面。
试着检查一下订单号前后有没有空格。`DD1001` 和 DD1001 会被视为不同的值。遇到这种导入数据,可以先清理用于比较的列,再运行去重。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。