pythongc模块_python|gc模块有哪几种

2、Python中的GC

Python中的GC&＃xff0c;以引用计数为主&＃xff0c;标记-清除和分代回收为辅。

2.1、引用计数(reference counting)

引用计数&＃xff0c;是George E. Collins在1960年发明的&＃xff0c;算是最早期的垃圾回收实现方法。

在Python中&＃xff0c;每一个对象的核心就是一个结构体PyObject&＃xff0c;它的内部有一个引用计数器ob_refcnt&＃xff1a;

typedef struct_object {

int ob_refcnt;

struct_typeobject*ob_type;

} PyObject;

当一个对象有新的引用时&＃xff0c;对象的引用计数&＃43;1&＃xff1b;当一个对象的引用被销毁时&＃xff0c;对象的引用计数-1&＃xff1b;当对象的引用计数减少为0时&＃xff0c;就意味着对象已经没有被任何人使用了&＃xff0c;可以将其所占用的内存释放。

导致引用计数&＃43;1的情况&＃xff1a;1).对象被创建&＃xff1b;2).对象被复制&＃xff1b;3).对象作为函数参数被传入(引用计数&＃43;2)&＃xff1b;4).对象作为一个元素被存储在容器中.

导致引用计数-1的情况&＃xff1a;1).对象的别名被显式销毁&＃xff1b;2).对象的别名被赋予新的对象&＃xff1b;3).一个对象离开它的作用域&＃xff0c;例如函数执行完毕后&＃xff0c;其中的局部变量&＃xff1b;4).对象所在的容器被销毁&＃xff0c;或从容器中删除对象。

引用计数机制的优缺点是显而易见的&＃xff1a;

优点&＃xff1a;

1. 简单&＃xff1b;

2. 实时性&＃xff1a;一旦引用计数为0&＃xff0c;立即被回收&＃xff1b;内存回收的时间分摊到平时&＃xff1b;

缺点&＃xff1a;

1. 需要额外的空间来维护引用计数&＃xff1b;

2. 执行效率低&＃xff1a;引用计数机制所带来的维护引用计数的额外操作&＃xff0c;与程序运行过程中所进行的内存分配、释放和引用赋值的次数成正比

除了上面提到的&＃xff0c;引用计数机制还有一个致命缺点&＃xff0c;即无法解决循环引用的问题。我们用一段代码来做进一步的解释&＃xff1a;

a &＃61; [1, 2] #对象[1, 2]的引用计数为1

b &＃61; [3, 4] #对象[3, 4]的引用计数为1

a.append(b) #对象[3, 4]的引用计数为2

b.append(a) #对象[1, 2]的引用计数为2

del a #对象[1, 2]的引用计数为1

del b #对象[3, 4]的引用计数为1

上面的代码中&＃xff0c;对象[1, 2]和[3, 4]已经没有了来自外界的引用&＃xff0c;这意味着不会再有人使用它们(无法通过其它变量来引用这两个对象)&＃xff0c;但是它们彼此之间依然有相互的引用&＃xff0c;因此引用计数均为1&＃xff0c;也就导致它们的内存永远不能被回收。

这一点是致命的&＃xff0c;它与手动进行内存管理所产生的内存泄漏无异(因此&＃xff0c;也有很多语言比如Java并没有采用引用计数来实现GC)。为了弥补引用计数的缺陷&＃xff0c;Python中引入了其它的GC机制。

2.2、标记-清除(mark and sweep)

可以包含其它对象引用的容器对象&＃xff0c;如list、set、dict、class、instance&＃xff0c;都可能产生循环引用&＃xff0c;标记-清除可以解决这个问题。

标记-清除是一种基于追踪(Tracing)回收技术实现的垃圾回收算法。它分为两个阶段&＃xff1a;第一阶段是标记&＃xff0c;把所有的『活动对象』打上标记&＃xff0c;第二阶段是回收&＃xff0c;对那些没有标记的『非活动对象』进行回收。那么&＃xff0c;如何区分活动对象和非活动对象呢&＃xff1f;

对象之间会通过引用(指针)连在一起&＃xff0c;构成一个有向图&＃xff0c;对象构成这个有向图的节点&＃xff0c;而引用关系构成这个有向图的边。从root object出发&＃xff0c;沿着有向边遍历对象&＃xff0c;可达的(reachable)对象标记为活动对象&＃xff0c;不可达(unreachable)的对象就是要被清除的非活动对象。所谓root object&＃xff0c;就是一些全局变量、调用栈、寄存器&＃xff0c;这些对象是不可被删除的。

在上图中&＃xff0c;我们把小黑圈视为root object&＃xff0c;从小黑圈出发&＃xff0c;对象1可达&＃xff0c;那么它将被标记&＃xff0c;对象2、3可间接可达也会被标记&＃xff0c;而4和5不可达&＃xff0c;那么1、2、3就是活动对象&＃xff0c;4和5是非活动对象会被GC回收。

标记-清除的过程实际比上面说的还要复杂一下&＃xff0c;具体来讲&＃xff0c;首先找到root object集合&＃xff0c;然后在内存中建立两条链表&＃xff0c;一条链表中维护root object集合&＃xff0c;称为root链表&＃xff0c;而另外一条链表中维护剩下的对象&＃xff0c;称为unreachable链表。在标记的过程中&＃xff0c;如果发现unreachable链表中存在被root链表中的对象&＃xff0c;直接或间接引用的对象&＃xff0c;就将其从unreachable链表中移到root链表中&＃xff1b;当完成标记后&＃xff0c;unreachable链表中剩下的所有对象就是名副其实的垃圾对象了&＃xff0c;接下来的垃圾回收只需限制在unreachable链表中即可。

2.3、分代回收(generation collection)

分代回收&＃xff0c;是一种以空间换时间的回收方式&＃xff0c;可以提升GC的效率。

分代回收思想将对象分在不同的集合中&＃xff0c;每个集合称为一个“代”(generation)&＃xff0c;Python中分为3代&＃xff0c;分别为年轻代(第0代)、中年代(第1代)、老年代(第2代)&＃xff0c;他们对应的是3个链表。每一代的GC频率是不同的&＃xff0c;第0代最高&＃xff0c;第1代次之&＃xff0c;第2代最低。

根据弱代假说(即越年轻的对象越容易死掉&＃xff0c;而老的对象通常会存活更久)&＃xff0c;新生的对象被放入第0代&＃xff0c;如果该对象在第0代的一次GC中活了下来&＃xff0c;那么它就被移动到第1代&＃xff0c;类似地&＃xff0c;如果某第1代对象在第1代的一次GC中活了下来&＃xff0c;它就被移动到第2代。

那么&＃xff0c;什么情况下会触发GC呢&＃xff1f;具体地&＃xff0c;在Python中&＃xff0c;gc.set_threshold(threshold0[,threshold1[,threshold2]])可以设置每一代GC被触发的阈值&＃xff1a;从上一次第0代GC后&＃xff0c;如果分配对象的个数减去释放对象的个数大于threshold0&＃xff0c;那么就会对第0代中的对象进行GC&＃xff1b; 从上一次第1代GC后&＃xff0c;如果第0代被GC的次数大于threshold1&＃xff0c;那么就会对第1代中的对象进行GC&＃xff1b;同样&＃xff0c;从上一次第2代GC后&＃xff0c;如果第1代被GC的次数大于threshold2&＃xff0c;那么就会对第2代中的对象进行GC。除此之外&＃xff0c;还有两种情况会触发GC&＃xff0c;第一种是手动调用gc.collect()&＃xff0c;第二种便是程序退出。

从上面的叙述可以看出&＃xff0c;老年代中的对象是存活时间最久的对象&＃xff0c;甚至是存活于整个系统的生命周期内。

2.4、其它

a).

Python中的gc模块提供了一些接口给开发者设置GC相关的选项&＃xff0c;具体使用可参考1和2。

b).

如果循环引用中&＃xff0c;两个对象都定义了__del__方法&＃xff0c;gc模块不会销毁这两个不可达对象&＃xff0c;因为gc模块不知道应该先调用哪个对象的__del__方法(例如&＃xff0c;两个对象a和b&＃xff0c;如果先销毁a&＃xff0c;则在销毁b时&＃xff0c;会调用b的__del__方法&＃xff0c;该方法中很可能使用了a&＃xff0c;这时会造成异常)&＃xff0c;所以为了安全起见&＃xff0c;gc模块会把对象放到gc.garbage中&＃xff0c;并把它们称为uncollectable。很明显&＃xff0c;这种情况会造成内存泄漏&＃xff0c;要解决的话&＃xff0c;只能显式调用其中某个对象的__del__方法来打破僵局。

c).

还有一种情况会造成Python中的内存泄漏&＃xff0c;即对象一直被全局变量所引用&＃xff0c;而我们知道&＃xff0c;全局变量的生命周期是非常长的。

2.5、小结

写到这里&＃xff0c;我们尝试着来小结一下Python中的GC机制&＃xff1a;Python中&＃xff0c;对于所有对象&＃xff0c;引用计数都在起作用&＃xff0c;一旦某对象的引用计数为0&＃xff0c;它所占用的内存就会被释放&＃xff1b;而对于容器对象&＃xff0c;由于它们会产生循环引用&＃xff0c;这是引用计数所无法解决的&＃xff0c;于是Python引入了标记-清除的方式来对它们做GC&＃xff1b;最后&＃xff0c;为了提升标记-清除的GC效率&＃xff0c;Python引入了分代回收的机制&＃xff0c;以空间换时间。