Mongodb 删除集合数据后释放磁盘空间的操作步骤

删除集合

在Mongodb当集合数据占用比较多，对其进行清理后，集合存储空间下降，但磁盘空间并没释放，对于具有活动更新的集合来说，有一些可重用的空间是正常的。过多的可重用空间通常是删除大量数据的结果。

如果您有许多大量集合需要压缩（或者想要尽可能的释放磁盘空间），请重新同步副本集的次要成员

如果compact最终没有释放足够的空间，通过初始同步将通过复制另一个成员的数据来重建所有数据文件。

compact 如果您确实决定在生产环境中运行，可以考虑将通过以下方式最大限度地减少影响：

副本集部署（理想情况下至少三个数据承载成员，没有仲裁者）
compact 一次在一台辅助设备上运行操作。
配置 secondary 为 hidden 在操作期间，竞争流量将是基本复制。
重新分配主节点。
压缩旧的主数据库。

集合数据如下：

local_rs1:PRIMARY> db.version()
4.4.15
# Primary
local_rs1:PRIMARY> db.myCompact.count()
500000
local_rs1:PRIMARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
20520960
# 11747328 + 8773632 = 20520960
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607
-rw——- 1 mongodb mongodb 11747328 11月 17 10:53 collection-8–3518756157035530607.wt
-rw——- 1 mongodb mongodb 8773632 11月 17 10:53 index-9–3518756157035530607.wt
# ————————————-
# SECONDARY 1
local_rs1:SECONDARY> db.myCompact.count()
500000
local_rs1:SECONDARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
20492288
# 11661312 + 8830976 = 20492288
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw——- 1 mongodb mongodb 11661312 11月 17 10:53 collection-8-7679634562768091767.wt
-rw——- 1 mongodb mongodb 8830976 11月 17 10:53 index-9-7679634562768091767.wt
# ————————————-
# SECONDARY 2
local_rs1:SECONDARY> db.myCompact.count()
500000
local_rs1:SECONDARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
20533248
# 11702272 + 8830976 = 20533248
root@ubuntu-x64_01:/data/mongodb27019/data/test# ls -lt | grep 265063963681791421
-rw——- 1 mongodb mongodb 11702272 11月 17 10:53 collection-8-265063963681791421.wt
-rw——- 1 mongodb mongodb 8830976 11月 17 10:53 index-9-265063963681791421.wt

删除集合所有数据，执行 db.collection.deleteMany() 方法。 Compact 操作阻塞行为是特定于版本的。

版本阻止行为4.4 之前compact 阻止所有读写活动。4.4compact 阻止这些操作：db.collection.drop()db.collection.createIndex()db.collection.createIndexes()db.collection.dropIndex()db.collection.dropIndexes()collMod所有其他操作都是允许的。4.4.17后compact 阻止这些操作：db.collection.drop()db.collection.createIndex()db.collection.createIndexes()db.collection.dropIndex()db.collection.dropIndexes()collMod所有其他操作都是允许的。锁定顺序发生变化。

compact 尝试减少集合中数据和索引所需的存储空间，向操作系统释放不需要的磁盘空间。此操作的有效性取决于工作负载，并且无法恢复任何磁盘空间。如果您已从集合中删除大量数据并且不打算替换它，则此命令非常有用。

测试删除 60% （300000/500000）集合数据，如下：

# PRIMARY
local_rs1:PRIMARY> db.myCompact.find().limit(2)
{ \”_id\” : ObjectId(\”6556d1a2ff3d41b00910281b\”), \”uid\” : 0, \”username\” : \”compact0\”, \”create_at\” : ISODate(\”2023-11-17T02:36:18.883Z\”) }
{ \”_id\” : ObjectId(\”6556d1a2ff3d41b00910281c\”), \”uid\” : 1, \”username\” : \”compact1\”, \”create_at\” : ISODate(\”2023-11-17T02:36:18.894Z\”) }
local_rs1:PRIMARY> db.myCompact.deleteMany({ \”uid\” : { $lt: 300000 } })
{ \”acknowledged\” : true, \”deletedCount\” : 300000 }
local_rs1:PRIMARY> db.myCompact.count()
200000

以上清理数据后，磁盘空间和集合存储大小并没有减小。如下

# PRIMARY
local_rs1:PRIMARY> db.myCompact.count()
200000
local_rs1:PRIMARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
28233728
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607
-rw——- 1 mongodb mongodb 15519744 11月 17 11:47 collection-8–3518756157035530607.wt
-rw——- 1 mongodb mongodb 12713984 11月 17 11:47 index-9–3518756157035530607.wt
# —————————-
# SECONDARY 1
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
30523392
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw——- 1 mongodb mongodb 16674816 11月 17 13:09 collection-8-7679634562768091767.wt
-rw——- 1 mongodb mongodb 13848576 11月 17 13:09 index-9-7679634562768091767.wt
# —————————-
# SECONDARY 2
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
20516864
root@ubuntu-x64_01:/data/mongodb27019/data/test# ls -tl | grep 265063963681791421
-rw——- 1 mongodb mongodb 11702272 11月 17 13:14 collection-8-265063963681791421.wt
-rw——- 1 mongodb mongodb 8814592 11月 17 13:14 index-9-265063963681791421.wt

Compact 集合

对于副本集，您可以在存储副本集中的集合和索引上使用 compact ，但是有一些重要的注意事项：

主节点不会将compact命令复制到辅助节点。
您应该尽可能在辅助节点上运行compact。如果您无法在辅助节点上运行compact，请使用 force 选项。
从 MongoDB 4.4.17 开始：
- compact 运行时辅助节点可以进行复制。
- 允许读取。

压缩辅助节点。compact 在辅助节点之一上运行。完成后 compact ，依次在剩余的每个辅助节点上重复该操作。

# SECONDARY 1
local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
30523392
# 释放空间 23064576 = 22 MB 左右
local_rs1:SECONDARY> db.runCommand( { compact: \”myCompact\” } )
{
\”bytesFreed\” : 23064576,
\”ok\” : 1,
\”$clusterTime\” : {
\”clusterTime\” : Timestamp(1700198786, 1),
\”signature\” : {
\”hash\” : BinData(0,\”o2RnaYFH8J1pgLaIx2T+iLCkPdY=\”),
\”keyId\” : NumberLong(\”7236938018798436354\”)
}
},
\”operationTime\” : Timestamp(1700198786, 1)
}
local_rs1:SECONDARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
7458816
# 4382720 + 3076096 = 7458816
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw——- 1 mongodb mongodb 4382720 11月 17 13:26 collection-8-7679634562768091767.wt
-rw——- 1 mongodb mongodb 3076096 11月 17 13:26 index-9-7679634562768091767.wt

重新分配主节点。要让当前的初选下台并触发选举，请使用该 rs.stepDown()方法。要提名特定辅助节点，请调整成员优先级。

local_rs1:PRIMARY> rs.status()
{
\”set\” : \”local_rs1\”,
\”date\” : ISODate(\”2023-11-17T05:41:07.931Z\”),
……..
\”members\” : [
{
\”_id\” : 1,
\”name\” : \”192.168.88.11:27018\”,
\”health\” : 1,
\”state\” : 2,
\”stateStr\” : \”SECONDARY\”,
……
},
{
\”_id\” : 3,
\”name\” : \”192.168.88.11:27017\”,
\”health\” : 1,
\”state\” : 1,
\”stateStr\” : \”PRIMARY\”,
……
},
{
\”_id\” : 4,
\”name\” : \”192.168.88.11:27019\”,
\”health\” : 1,
\”state\” : 2,
\”stateStr\” : \”SECONDARY\”,
……
}
],
\”ok\” : 1,
\”$clusterTime\” : {
\”clusterTime\” : Timestamp(1700199666, 1),
\”signature\” : {
\”hash\” : BinData(0,\”a5utef8Cjsp20W8DWtvzsmMn9Wo=\”),
\”keyId\” : NumberLong(\”7236938018798436354\”)
}
},
\”operationTime\” : Timestamp(1700199666, 1)
}
local_rs1:PRIMARY> rs.stepDown()
{
\”ok\” : 1,
\”$clusterTime\” : {
\”clusterTime\” : Timestamp(1700199726, 1),
\”signature\” : {
\”hash\” : BinData(0,\”qpsh46gaM9GKg8RMV799tA/o8uw=\”),
\”keyId\” : NumberLong(\”7236938018798436354\”)
}
},
\”operationTime\” : Timestamp(1700199726, 1)
}

压缩旧的主数据库。下台后，旧的主节点将成为辅助节点。compact 在旧主节点上运行。

local_rs1:SECONDARY> db.myCompact.count()
200000
local_rs1:SECONDARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
28233728
local_rs1:SECONDARY> db.runCommand( { compact: \”myCompact\” } )
{
\”bytesFreed\” : 18976768,
\”ok\” : 1,
\”$clusterTime\” : {
\”clusterTime\” : Timestamp(1700199986, 1),
\”signature\” : {
\”hash\” : BinData(0,\”D1zMSrcV9n2Deh/2u1Edw4s2pDk=\”),
\”keyId\” : NumberLong(\”7236938018798436354\”)
}
},
\”operationTime\” : Timestamp(1700199986, 1)
}
local_rs1:SECONDARY> db.runCommand( { collStats: \”myCompact\” } ).totalSize
9256960
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607
-rw——- 1 mongodb mongodb 5341184 11月 17 13:46 collection-8–3518756157035530607.wt
-rw——- 1 mongodb mongodb 3915776 11月 17 13:46 index-9–3518756157035530607.wt