python内存管理_Python内存管理机制

什么是内存管理器

Python作为一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言&＃xff0c;与大多数编程语言不同&＃xff0c;Python中的变量无需事先申明&＃xff0c;变量无需指定类型&＃xff0c;程序员无需关心内存管理&＃xff0c;Python解释器给你自动回收。开发人员不用过多的关心内存管理机制&＃xff0c;这一切全部由python内存管理器承担了复杂的内存管理工作。
内存不外乎创建和销毁两部分&＃xff0c;本文将围绕python的内存池和垃圾回收两部分进行分析。

Python内存池

为什么要引入内存池

当创建大量消耗小内存的对象时&＃xff0c;频繁调用new/malloc会导致大量的内存碎片&＃xff0c;致使效率降低。内存池的作用就是预先在内存中申请一定数量的&＃xff0c;大小相等的内存块留作备用&＃xff0c;当有新的内存需求时&＃xff0c;就先从内存池中分配内存给这个需求&＃xff0c;不够之后再申请新的内存。这样做最显著的优势就是能够减少内存碎片&＃xff0c;提升效率。

python中的内存管理机制为Pymalloc

内存池是如果工作的

首先&＃xff0c;我们看一张CPython(python解释器)的内存架构图&＃xff1a;

1. python的对象管理主要位于Level&＃43;1~Level&＃43;3层
2. Level&＃43;3层&＃xff1a;对于python内置的对象&＃xff08;比如int,dict等&＃xff09;都有独立的私有内存池&＃xff0c;对象之间的内存池不共享&＃xff0c;即int释放的内存&＃xff0c;不会被分配给float使用
3. Level&＃43;2层&＃xff1a;当申请的内存大小小于256KB时&＃xff0c;内存分配主要由 Python 对象分配器&＃xff08;Python’s object allocator&＃xff09;实施
4. Level&＃43;1层&＃xff1a;当申请的内存大小大于256KB时&＃xff0c;由Python原生的内存分配器进行分配&＃xff0c;本质上是调用C标准库中的malloc/realloc等函数

关于释放内存方面&＃xff0c;当一个对象的引用计数变为0时&＃xff0c;Python就会调用它的析构函数。调用析构函数并不意味着最终一定会调用free来释放内存空间&＃xff0c;如果真是这样的话&＃xff0c;那频繁地申请、释放内存空间会使Python的执行效率大打折扣。因此在析构时也采用了内存池机制&＃xff0c;从内存池申请到的内存会被归还到内存池中&＃xff0c;以避免频繁地申请和释放动作。

垃圾回收机制

Python的垃圾回收机制采用引用计数机制为主&＃xff0c;标记-清除和分代回收机制为辅的策略。其中&＃xff0c;标记-清除机制用来解决计数引用带来的循环引用而无法释放内存的问题&＃xff0c;分代回收机制是为提升垃圾回收的效率。

引用计数

Python通过引用计数来保存内存中的变量追踪&＃xff0c;即记录该对象被其他使用的对象引用的次数。

Python中有个内部跟踪变量叫做引用计数器&＃xff0c;每个变量有多少个引用&＃xff0c;简称引用计数。当某个对象的引用计数为0时&＃xff0c;就列入了垃圾回收队列。

注意&＃xff1a;当把a作为参数传递给getrefcount时&＃xff0c;会产生一个临时的引用&＃xff0c;因此得出来的结果比真实情况&＃43;1

• 引用计数增加的情况&＃xff1a;

1. 一个对象被分配给一个新的名字&＃xff08;例如&＃xff1a;a&＃61;[1,2]&＃xff09;
2. 将其放入一个容器中&＃xff08;如列表、元组或字典&＃xff09;&＃xff08;例如&＃xff1a;c.append(a)&＃xff09;

• 引用计数减少的情况&＃xff1a;

1. 使用del语句对对象别名显式的销毁(例如&＃xff1a;del b)
2. 对象所在的容器被销毁或从容器中删除对象&＃xff08;例如&＃xff1a;del c &＃xff09;
3. 引用超出作用域或被重新赋值&＃xff08;例如&＃xff1a;a&＃61;[3,4]&＃xff09;

引用计数能够解决大多数垃圾回收的问题&＃xff0c;但是遇到两个对象相互引用的情况&＃xff0c;del语句可以减少引用次数&＃xff0c;但是引用计数不会归0&＃xff0c;对象也就不会被销毁&＃xff0c;从而造成了内存泄漏问题。针对该情况&＃xff0c;Python引入了标记-清除机制。

标记-清除

标记-清除用来解决引用计数机制产生的循环引用&＃xff0c;进而导致内存泄漏的问题 。 循环引用只有在容器对象才会产生&＃xff0c;比如字典&＃xff0c;元组&＃xff0c;列表等。
顾名思义&＃xff0c;该机制在进行垃圾回收时分成了两步&＃xff0c;分别是&＃xff1a;

• 标记阶段&＃xff0c;遍历所有的对象&＃xff0c;如果是可达的&＃xff08;reachable&＃xff09;&＃xff0c;也就是还有对象引用它&＃xff0c;那么就标记该对象为可达

1. 清除阶段&＃xff0c;再次遍历对象&＃xff0c;如果发现某个对象没有标记为可达&＃xff08;即为Unreachable&＃xff09;&＃xff0c;则就将其回收

a引用b,b引用a,此时两个对象各自被引用了2次&＃xff08;去除getrefcout()的临时引用&＃xff09;

执行del之后&＃xff0c;对象a,b的引用次数都-1&＃xff0c;此时各自的引用计数器都为1&＃xff0c;陷入循环引用

标记&＃xff1a;找到其中的一端a,因为它有一个对b的引用&＃xff0c;则将b的引用计数-1

标记&＃xff1a;再沿着引用到b,b有一个a的引用,将a的引用计数-1&＃xff0c;此时对象a和b的引用次数全部为0&＃xff0c;被标记为不可达&＃xff08;Unreachable&＃xff09;

清除: 被标记为不可达的对象就是真正需要被释放的对象

上面描述的垃圾回收的阶段&＃xff0c;会暂停整个应用程序&＃xff0c;等待标记清除结束后才会恢复应用程序的运行。为了减少应用程序暂停的时间&＃xff0c;Python 通过“分代回收”(Generational Collection)以空间换时间的方法提高垃圾回收效率。

分代回收

分代回收是基于这样的一个统计事实&＃xff0c;对于程序&＃xff0c;存在一定比例的内存块的生存周期比较短&＃xff1b;而剩下的内存块&＃xff0c;生存周期会比较长&＃xff0c;甚至会从程序开始一直持续到程序结束。生存期较短对象的比例通常在 80%&＃xff5e;90%之间。 因此&＃xff0c;简单地认为&＃xff1a;对象存在时间越长&＃xff0c;越可能不是垃圾&＃xff0c;应该越少去收集。这样在执行标记-清除算法时可以有效减小遍历的对象数&＃xff0c;从而提高垃圾回收的速度&＃xff0c;是一种以空间换时间的方法策略。
Python将所有的对象分为年轻代&＃xff08;第0代&＃xff09;、中年代&＃xff08;第1代&＃xff09;、老年代&＃xff08;第2代&＃xff09;三代。所有的新建对象默认是 第0代对象。当在第0代的gc扫描中存活下来的对象将被移至第1代&＃xff0c;在第1代的gc扫描中存活下来的对象将被移至第2代。

gc扫描次数&＃xff08;第0代>第1代>第2代&＃xff09;

当某一代中被分配的对象与被释放的对象之差达到某一阈值时&＃xff0c;就会触发当前一代的gc扫描。当某一代被扫描时&＃xff0c;比它年轻的一代也会被扫描&＃xff0c;因此&＃xff0c;第2代的gc扫描发生时&＃xff0c;第0&＃xff0c;1代的gc扫描也会发生&＃xff0c;即为全代扫描。

• 700&＃61;新分配的对象数量-释放的对象数量&＃xff0c;第0代gc扫描被触发
• 第一个10&＃xff1a;第0代gc扫描发生10次&＃xff0c;则第1代的gc扫描被触发
• 第二个10&＃xff1a;第1代的gc扫描发生10次&＃xff0c;则第2代的gc扫描被触发

思考

在标记-清除中&＃xff0c;如果对象c也引用a,执行del操作后&＃xff0c;会发生什么&＃xff1f;

对象a,b,c的引用关系如下图所示&＃xff1a;

• ref_count表示引用计数
• 对象a,b,c全部为reachable
• 执行del之后&＃xff0c;引用关系如下图所示&＃xff1a;

a,b,c的ref_count减1

执行gc扫描

标记: a引用b,将b的ref_count减1到0&＃xff0c;b引用a,将a的ref_count减1到1&＃xff0c;将b放在unreachable下

再循环:因为a是可达的&＃xff0c;所以会递归地将从a节点出发可以达到的所有节点标记为reachable下&＃xff0c;即为&＃xff1a;

清除:unreachable下没有可清除的对象&＃xff0c;因此a,b,c对象不会被清除

总结

总体而言&＃xff0c;python通过内存池来减少内存碎片化&＃xff0c;提高执行效率。主要通过引用计数来完成垃圾回收&＃xff0c;通过标记-清除解决容器对象循环引用造成的问题&＃xff0c;通过分代回收提高垃圾回收的效率。