奇葩的业务设计，奇葩的MongoDB删除清理程序

AustinDatabases

发布于 2026-03-12 19:19:57

140

最近活多，这不来事了，MongoDB之前提到过的，线下单机的开发自己装的，记录日志的。后来迁移到云上了，程序不能动只能继续使用MongoDB4.4.

现在抛给我一个新的问题，里面有一个库，库里面有

 [direct: primary] lo> db.getCollectionNames().length;
19521

接近2万个collections，千万不要谴责我，这个库比我来这个单位早，那都是可爱的 programer,你看我都没有叫他developer。一群无知的人，mognodb单库存多少collections合适。

MongoDB 的存储引擎 WiredTiger 会为每个打开的集合和索引分配内存，每一个 Collection 和每一个 Index 都是一个文件，打开 2 万个集合意味着系统需要维护海量的文件句柄和元数据，数据库需要频繁地换入/换出这些集合的元数据，导致缓存命中率下降，直接拖慢整体读写速度。

同时每个collection都建立了2-3个索引的话，那一个数据库要有4-6万个索引，mongodb处理数据的方法是将索引驻入内存，才能保存高性能。所以这样的设计会导致消耗非常多的内存，然后启动数据库的时间时mongodb 要验证和扫描所有的元数据，开机会非常的慢，后面我说不下去了，读者你来帮我说说，就这群开发人员是都有有意思。

MongoDB是开发者数据库，不是开玩笑数据库。

我先说一下这个库的设计，这里每一个collecion都是一个客户的操作信息，在这样的设计中，会造成MongoDB非常不愿意看到的，一个逻辑库有大量的collecions。

有多少

 [direct: primary] log> db.getCollectionInfos().length
19544
 [direct: primary] log>

在一个MongoDB 的库里将近有20000个collections，我们现在需要针对每个collections 里面的日期数据超过最近3个月的数据进行清理。

同时在看我的简易清理程序中，你应该会问我，为什么没有索引，这里说过他的设计是来一个客户，会增加一个collection，所以这个逻辑库会一直增加collection。

同时还有一个问题，非常的奇葩，不能加主键以外的索引，这一个个表只有一个objectID,写到这里一定有人问，为什么不加索引。

1 这些表有的可能只有几行数据，有的会有很多行数据几万，十几万不等，当然也有的有几百万。

2 磁盘空间的问题，如果每个都加索引那么磁盘空间必然要暴涨。

基于这个问题，所以写程序删除我这边也只能如此

node.js 22.04 写的一个简易，但针对这个场景比较万能的清理数据的程序，只要opedate是三个月之前的数据，就直接删除。

const { MongoClient } = require('mongodb');

const uri = "mongodb://地址";
const client = new MongoClient(uri); 

async functiondeleteOldLogs() {
    try {
        await client.connect();
        console.log("Connected to the database");

        const database = client.db('logs');
        const collections = await database.listCollections().toArray();
        const deleteBeforeDate = new Date();
        deleteBeforeDate.setMonth(deleteBeforeDate.getMonth() - 3);

        const logFile = "deleteLogs.txt";
        const logFileStream = require('fs').createWriteStream(logFile, { flags: 'a' }); 

        for (const collection of collections) {
            const cursor = database.collection(collection.name).find();
            await cursor.forEach(async (doc) => {
                const opedate = new Date(doc.opedate);
                if (opedate < deleteBeforeDate) {
                    const deletionCommand = await database.collection(collection.name).deleteOne({ _id: doc._id });
                    const logMessage = `Deleting document from collection ${collection.name} with opedate: ${doc.opedate}\n`;
                    console.log(logMessage);
                    logFileStream.write(logMessage);
                    console.log(deletionCommand);
                }
            });
        }

        logFileStream.close();
    } catch (error) {
        console.error("Failed to delete old logs:", error);
    } finally {
        await client.close();
        console.log("Connection closed");
    }
}

目前这个程序已经运行了1年，除了运行的时候，CPU和内存会上升以外，其他均没有太大的问题。

写到这里，有人会问，为什么不加索引的，看上面已经写了为什么，另外还有一个问题不加索引是，每个collections因为是基于客户进行划分，最大的表的量也不是太多，否则如果一个表几个亿的情况，那就完全不可以了。

另外还有一个问题，为什么不设置成,deleteMany，这里需要提醒，因为我并不知道业务的发展的变化，如果是deleteMany 会导致某些表一次删除大量的数据，导致大事务的问题，给MongoDB的日志oplog日志传输导致问题，

奇葩的业务设计，奇葩的MongoDB删除清理程序

奇葩的业务设计，奇葩的MongoDB删除清理程序

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐