我是MemSQL的新手。我已经在集群上创建了一个包含5个叶节点和2个聚合器节点的MemSQL数据库和表。星星之火运行在同一个集群上。一切都处于默认模式。插入的数据和删除的相同。选择*不返回任何内容。但是当我看到web clusterUI时,每个叶节点仍在消耗大约6TB的磁盘空间。


磁盘容量描述说:“这是MemSQL相对于可用磁盘空间所使用的磁盘空间的数量。当磁盘空间满时,就不能创建快照、事务日志或列存储数据”。
有了这个描述,我假设以上的6TB磁盘空间是由于MemSQL的使用。
请澄清一下
发布于 2015-09-18 16:18:59
6TB的使用可能是由于MemSQL,也可能是因为Spark或其他一些进程。MemSQL操作系统报告磁盘的总使用量,而不是MemSQL使用的磁盘(工具提示有点误导)。
1) Rowstore表(没有CLUSTERD COLUMNSTORE索引的表)每次写入都会将日志写入磁盘。当日志变大时,日志被组合成快照,默认情况下,我们保留最后两个快照文件。因此,这两个快照中较旧的快照可能包含您删除的数据。您可以使用SNAPSHOT <dbName>触发一个新的快照,这将使GC能够清除旧的(可能是大的)快照。
2)快照和日志是每个数据库,而不是每个表。删除表不会触发快照/日志清理,但删除数据库或触发新快照将触发。
3)您可能不应该手工删除数据目录。DROP DATABASE <db_name>将删除与该数据库相关的所有数据。
对于列存储表,情况略有不同,但我认为“一切都是默认的”意味着没有列存储表。
发布于 2015-09-19 19:58:28
您是删除数据库(如DROP DATABASE db)还是删除所有数据(如DELETE FROM t或TRUNCATE TABLE t)?
如果是前者,那么磁盘的使用应该会立即减少,如果没有,我可以帮助您调查使用它的是什么。
如果是后者,那就完全有道理了。MemSQL使用事务性日志和快照来保持持久性。在这种情况下,当您插入X数据量,然后删除X数据量时,事务日志将在磁盘上长时间保持2X,以便在恢复时可以重播所有插入和所有删除。为了缩小它,MemSQL偶尔会获取快照(其他一些数据库引擎称它们为检查点)。当日志达到一定的大小时,它通常会这样做,而在您的情况下,显然还没有到达。如果您想要释放磁盘空间,可以手动触发快照,在聚合器上运行SNAPSHOT db (db是数据库的名称),它应该会有所帮助。
发布于 2016-04-28 09:14:42
在触发GC之前,占用的内存将无法释放。Memsql将所有数据保存在内存中。即使我们删除表、数据库、行等,如果GC没有发生,内存也将不可用。从命令提示符强制GC,它将释放内存:
memsql>触发完全gc刷新;
比较空闲-m触发命令前后的情况。您将看到不同之处:)
https://stackoverflow.com/questions/32655822
复制相似问题