调试CPython内存碎片

Question

我有一个长期运行的CPython 3.8进程.过了一会儿，它使用了大量的RAM。我试过了

1. 运行gc.collect()
2. 使用pympler发现所有已知的Python对象

import gc
import psutil
from pympler import muppy, summarize

gc.collect()
total_ram = psutil.Process().memory_info().rss
all_objects = muppy.get_objects(include_frames=True)
s = summary.summarize(all_objects)
python_objects_size = sum(row[2] for row in s)

输出:102个MiB Python对象，824 MiB RSS内存！

使用tracemalloc编辑3.它还返回~100 EDIT值的python对象

编辑2 export PYTHONMALLOC=malloc不能解决问题。

是否有方法查询CPython内存管理器以找出

• 它保存了多少内存，这样我就可以从RSS中减去它，并找出是否有任何C库不使用PyMem_Malloc并且正在泄漏。
• 存储内存的原因(例如，发现它保存了一个64 it的页面，因为一个20字节的PyObject仍在被引用)
• 标识调用PyMem_Malloc之后从未释放内存的C模块
• 跟踪OS级malloc()和free()，并将它们与pymalloc执行的比较，以确定是否有一个C库分配内存，而不是使用PyMem_Malloc。

相关

• 用Python计算内存碎片 (2012年；同样的问题，但从未回答)
• CPython的垃圾收集会进行压缩吗？ (回答:否)

Answer 1

也许可以尝试另一个内存调试器。与python一起使用缬磨是可能的。