Python内存管理与垃圾回收

Python内存管理与垃圾回收一、Python内存管理概述Python使用自动内存管理开发者无需手动分配和释放内存。1.1 内存管理的层次- 操作系统层管理物理内存- Python内存管理器管理Python对象的内存- 对象特定分配器为特定类型对象优化- 垃圾回收器回收不再使用的内存二、对象的内存结构2.1 PyObject结构每个Python对象都包含- 引用计数ob_refcnt- 类型指针ob_type- 对象的实际数据import sysa []print(sys.getsizeof(a)) # 对象占用的字节数# 查看引用计数import sysa [1, 2, 3]print(sys.getrefcount(a)) # 注意getrefcount本身会增加一次引用2.2 对象的内存开销import sys# 不同类型的内存占用print(sys.getsizeof(1)) # int: 28字节print(sys.getsizeof(1.0)) # float: 24字节print(sys.getsizeof()) # str: 49字节print(sys.getsizeof([])) # list: 56字节print(sys.getsizeof({})) # dict: 232字节print(sys.getsizeof(set())) # set: 216字节三、引用计数3.1 引用计数机制Python使用引用计数来跟踪对象的使用情况。import sysa [1, 2, 3]print(sys.getrefcount(a)) # 2实际是1getrefcount增加了1b a # 增加引用print(sys.getrefcount(a)) # 3del b # 减少引用print(sys.getrefcount(a)) # 23.2 引用计数的增加和减少# 增加引用计数的情况a [1, 2, 3]b a # 赋值c [a] # 作为容器元素d {key: a} # 作为字典值def func(x): # 作为函数参数pass# 减少引用计数的情况del b # 删除引用c None # 重新赋值# 函数返回后局部变量的引用被删除3.3 引用计数的优缺点优点- 简单直观- 实时回收引用计数为0立即回收- 无需暂停程序缺点- 无法处理循环引用- 每次引用变化都要更新计数开销- 多线程需要加锁GIL四、循环引用问题4.1 循环引用示例# 简单循环引用a []b []a.append(b)b.append(a)# a和b互相引用引用计数永远不会为0# 自引用a []a.append(a)# 类实例的循环引用class Node:def __init__(self):self.ref Nonea Node()b Node()a.ref bb.ref a4.2 检测循环引用import gc# 创建循环引用a []b []a.append(b)b.append(a)# 删除引用del adel b# 手动触发垃圾回收collected gc.collect()print(f回收了 {collected} 个对象)五、垃圾回收机制5.1 分代回收Python使用分代回收算法将对象分为三代- 第0代新创建的对象- 第1代经历过一次垃圾回收的对象- 第2代经历过多次垃圾回收的对象import gc# 查看垃圾回收阈值print(gc.get_threshold()) # (700, 10, 10)# 第0代700个对象后触发# 第1代10次第0代回收后触发# 第2代10次第1代回收后触发# 查看各代的对象数量print(gc.get_count())5.2 垃圾回收的控制import gc# 禁用自动垃圾回收gc.disable()# 启用自动垃圾回收gc.enable()# 手动触发垃圾回收gc.collect()# 设置回收阈值gc.set_threshold(700, 10, 10)# 查看垃圾回收统计print(gc.get_stats())六、弱引用弱引用不会增加对象的引用计数可以避免循环引用。6.1 使用weakrefimport weakrefclass MyClass:passobj MyClass()print(sys.getrefcount(obj)) # 2# 创建弱引用weak_ref weakref.ref(obj)print(sys.getrefcount(obj)) # 仍然是2# 通过弱引用访问对象print(weak_ref()) # __main__.MyClass object# 删除强引用del objprint(weak_ref()) # None对象已被回收6.2 WeakValueDictionaryimport weakrefclass MyClass:def __init__(self, name):self.name name# 普通字典会保持对象存活cache {}obj MyClass(test)cache[key] objdel objprint(cache[key]) # 对象仍然存在# WeakValueDictionary不会阻止对象被回收weak_cache weakref.WeakValueDictionary()obj MyClass(test)weak_cache[key] objdel objprint(weak_cache.get(key)) # None对象已被回收七、内存泄漏7.1 常见的内存泄漏原因# 1. 全局变量global_list []def add_data():global_list.append([0] * 1000000) # 持续增长# 2. 闭包引用def create_closure():large_data [0] * 1000000def inner():return large_data[0] # 闭包保持对large_data的引用return inner# 3. 循环引用class Node:def __init__(self):self.children []self.parent None# 4. 缓存未清理cache {}def get_data(key):if key not in cache:cache[key] expensive_operation() # 缓存持续增长return cache[key]7.2 检测内存泄漏import tracemalloc# 开始跟踪内存分配tracemalloc.start()# 执行可能泄漏的代码data []for i in range(1000):data.append([0] * 1000)# 获取当前内存快照snapshot tracemalloc.take_snapshot()# 显示前10个内存占用最多的位置top_stats snapshot.statistics(lineno)for stat in top_stats[:10]:print(stat)# 停止跟踪tracemalloc.stop()7.3 使用objgraph分析# 安装: pip install objgraphimport objgraph# 显示最常见的对象类型objgraph.show_most_common_types()# 显示对象增长objgraph.show_growth()# 查找对象的引用import sysa [1, 2, 3]objgraph.show_refs([a], filenamerefs.png)八、内存优化技巧8.1 使用__slots__# 不使用__slots__class Point:def __init__(self, x, y):self.x xself.y y# 使用__slots__节省内存class Point:__slots__ [x, y]def __init__(self, x, y):self.x xself.y y# 内存对比import sysp1 Point(1, 2)print(sys.getsizeof(p1)) # 使用__slots__更小8.2 使用生成器# 占用大量内存def get_numbers():return [i for i in range(1000000)]# 内存高效def get_numbers():return (i for i in range(1000000))8.3 及时删除不需要的对象# 不好的做法def process_large_data():data load_large_file()result process(data)# data仍然占用内存return result# 好的做法def process_large_data():data load_large_file()result process(data)del data # 显式删除return result8.4 使用array代替listfrom array import array# list占用更多内存numbers_list [i for i in range(1000000)]# array更节省内存但只能存储同类型数据numbers_array array(i, (i for i in range(1000000)))九、内存分析工具9.1 memory_profiler# 安装: pip install memory_profilerfrom memory_profiler import profileprofiledef my_func():a [1] * (10 ** 6)b [2] * (2 * 10 ** 7)del breturn a# 运行: python -m memory_profiler script.py9.2 guppy3# 安装: pip install guppy3from guppy import hpyh hpy()print(h.heap()) # 显示堆内存使用情况9.3 pympler# 安装: pip install pymplerfrom pympler import asizeofdata [1, 2, 3, 4, 5]print(asizeof.asizeof(data)) # 递归计算对象大小from pympler import trackertr tracker.SummaryTracker()# 执行代码tr.print_diff() # 显示内存变化十、垃圾回收的性能影响10.1 测量垃圾回收时间import gcimport timegc.disable()start time.time()# 执行代码data [[0] * 1000 for _ in range(1000)]end time.time()print(f不回收: {end - start:.4f}秒)gc.enable()start time.time()data [[0] * 1000 for _ in range(1000)]gc.collect()end time.time()print(f回收: {end - start:.4f}秒)十一、最佳实践1. 避免创建不必要的对象2. 及时删除大对象的引用3. 使用生成器处理大数据集4. 使用__slots__优化类5. 避免循环引用6. 使用弱引用管理缓存7. 定期分析内存使用8. 在性能关键代码中考虑禁用GC9. 使用上下文管理器确保资源释放10. 监控生产环境的内存使用十二、总结Python的内存管理和垃圾回收机制大大简化了开发工作但理解其工作原理对于编写高性能、内存高效的代码至关重要。通过合理使用引用计数、垃圾回收、弱引用等机制以及使用适当的分析工具可以有效地管理内存避免内存泄漏提高程序性能。