首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Java 删除 Excel 重复行:整行去重、按单列和多列去重

Java 删除 Excel 重复行:整行去重、按单列和多列去重

原创
作者头像
用户12416476
发布于 2026-11-20 15:10:06
发布于 2026-11-20 15:10:06
110
举报

把几次导出的订单明细合并到一张 Excel 表里,很容易碰到重复记录。有的是同一条记录导入了两遍,有的是同一件商品上午还是「待发货」,下午再导出时已经变成「已发货」。同一个订单号下还可能有多件商品,这些明细都得留着。

所以,动手删之前,先弄清楚哪些列能判断两行是不是同一条记录。下面用同一张订单明细表,演示如何在 Java 中按整行、按订单号,以及按订单号和商品编码去重,再对比三种结果。

一、添加 Maven 依赖

将下面的仓库和依赖配置加入项目的 ​​pom.xml​​ 文件中。

代码语言:javascript
复制
<repositories>
    <repository>
        <id>com.e-iceblue</id>
        <url>https://repo.e-iceblue.cn/repository/maven-public/</url>
    </repository>
</repositories>

<dependencies>
    <dependency>
        <groupId>e-iceblue</groupId>
        <artifactId>spire.xls</artifactId>
        <version>16.10.1</version>
    </dependency>
</dependencies>

二、准备订单明细表

在 ​​订单明细.xlsx​​ 的第一张工作表中录入下面的数据。第 1 行是表头,数据区域为 A1:E7。示例会删除工作表中的整行,测试时把这张明细表单独放在一张工作表里。将文件保存到程序的工作目录。下面三个示例各自读取这份原表,并将结果另存为新文件。

订单号

客户

商品编码

金额

状态

DD1001

张三

SKU-A

199

待发货

DD1001

张三

SKU-A

199

待发货

DD1001

张三

SKU-A

199

已发货

DD1001

张三

SKU-B

59

已发货

DD1002

李四

SKU-C

88

已发货

DD1002

李四

SKU-C

88

已发货

三、整行去重

如果是同一份数据被重复导入,可以直接调用 ​​sheet.removeDuplicates()​​。这个方法会比较工作表已用区域内的所有列。示例表有 A 到 E 五列,五列的值都相同,两行才算重复。

代码语言:javascript
复制
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;

public class RemoveDuplicateRows {

    public static void main(String[] args) {
        Workbook workbook = new Workbook();
        try {
            workbook.loadFromFile("订单明细.xlsx");
            Worksheet sheet = workbook.getWorksheets().get(0);
            // 按工作表已用区域中的所有列比较整行
            sheet.removeDuplicates();

            workbook.saveToFile("订单明细_整行去重.xlsx", ExcelVersion.Version2016);
        } finally {
            workbook.dispose();
        }
    }
}

该方法会把第一行也纳入比较。示例中的表头单独占一行,与其他记录的值不同,所以会保留。如果需要明确排除表头,可以使用带范围的重载,从第 2 行开始比较。

运行后,订单 ​​DD1001​​ 的两条「待发货」记录只留一条。「已发货」的那条因为状态不同,也会保留。

四、按单列去重

如果只是想得到一份一单一行的订单清单,可以只比较 A 列的订单号。订单号相同的多行会保留第一行。

代码语言:javascript
复制
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;

public class RemoveDuplicatesByOrderId {

    public static void main(String[] args) {
        Workbook workbook = new Workbook();
        try {
            workbook.loadFromFile("订单明细.xlsx");
            Worksheet sheet = workbook.getWorksheets().get(0);
            int lastRow = sheet.getLastRow();
            if (lastRow > 1) {
                // 跳过表头,只比较 A 列订单号
                sheet.removeDuplicates(1, 1, lastRow, 5, true, new int[]{0});
            }

            workbook.saveToFile("订单明细_按订单号去重.xlsx", ExcelVersion.Version2016);
        } finally {
            workbook.dispose();
        }
    }
}

前四个参数指定从 A1 到 E 列最后一行的区域,行号和列号从 1 开始。第五个参数 ​​true​​ 表示第一行是表头。最后一个参数 ​​new int[]{0}​​ 表示只比较所选区域的第一列,也就是 A 列。这个列偏移从 0 开始计算。

这个示例中,`DD1001` 最终只留下 ​​SKU-A​​ 的第一条记录。输出中的金额也来自这条商品明细。需要保留同一订单下的不同商品时,可以用下一种写法。

五、按多列去重

如果同一笔订单中,每个商品编码只应有一条明细,就同时比较 A 列的订单号和 C 列的商品编码。只有这两列的值都相同,才会将后面出现的行视为重复。

代码语言:javascript
复制
import com.spire.xls.ExcelVersion;
import com.spire.xls.Workbook;
import com.spire.xls.Worksheet;

public class RemoveDuplicatesByOrderAndSku {

    public static void main(String[] args) {
        Workbook workbook = new Workbook();
        try {
            workbook.loadFromFile("订单明细.xlsx");
            Worksheet sheet = workbook.getWorksheets().get(0);
            int lastRow = sheet.getLastRow();
            if (lastRow > 1) {
                // 跳过表头,同时比较 A 列订单号和 C 列商品编码
                sheet.removeDuplicates(1, 1, lastRow, 5, true, new int[]{0, 2});
            }

            workbook.saveToFile("订单明细_按订单号和商品编码去重.xlsx", ExcelVersion.Version2016);
        } finally {
            workbook.dispose();
        }
    }
}

​​new int[]{0, 2}​​ 指定所选区域的第 1 列和第 3 列。执行后,`DD1001` 的 ​​SKU-A​​ 和 ​​SKU-B​​ 各保留一条。同一商品允许在一笔订单中分成多条明细时,可以用订单号和明细行号作为比较列。

六、运行结果对比

三种写法都在同一份包含 6 条数据的订单表上运行,得到以下结果。条数均不含表头。

去重规则

保留条数

输出文件

比较 A 到 E 列

4

​​订单明细_整行去重.xlsx​​

只比较订单号

2

​​订单明细_按订单号去重.xlsx​​

比较订单号和商品编码

3

​​订单明细_按订单号和商品编码去重.xlsx​​

怎样保留最新记录?

去重会保留先出现的记录。在示例中,按订单号和商品编码去重后,`DD1001` 的 ​​SKU-A​​ 保留的是「待发货」。如果原表有更新时间列,可以先按更新时间从新到旧排序,再执行去重,让最新一条排在同组数据的前面。

为什么看起来相同的订单号没有合并?

试着检查一下订单号前后有没有空格。`DD1001` 和 ​​DD1001​​ 会被视为不同的值。遇到这种导入数据,可以先清理用于比较的列,再运行去重。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、添加 Maven 依赖
  • 二、准备订单明细表
  • 三、整行去重
  • 四、按单列去重
  • 五、按多列去重
  • 六、运行结果对比
    • 为什么看起来相同的订单号没有合并?
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档