Python多进程间默认不共享内存,需用Value/Array( ctypes类型、高效)、Manager(支持复杂类型、较慢)、Queue/Pipe(传副本、推荐)实现通信;注意Windows入口保护、资源重初始化及Manager性能瓶颈。

Python多进程环境下,进程间默认不共享内存,每个进程拥有独立的地址空间。要实现数据通信与共享,需借助标准库提供的特定机制,不能直接通过全局变量或普通对象传递。
共享内存类型:Value 和 Array
适用于简单、固定结构的数据(如数字、字符数组),底层基于系统共享内存(如 POSIX shm 或 Windows 共享内存)。
- Value:封装单个值(如 int、float、char),支持锁保护,适合计数器、状态标志等场景
- Array:封装一维同类型数组(如 c_int、c_double),比 list 更高效,但不支持嵌套或动态扩容
- 注意:Value/Array 中的元素只能是 ctypes 类型(如 c_int、c_char_p),不能直接存 Python 对象(如 dict、list)
高级共享:Manager 对象
通过 multiprocessing.Manager() 创建代理对象,支持 list、dict、Namespace、Lock、Event 等常见类型,底层通过服务器进程+序列化(pickle)实现跨进程访问。
- 写法简洁,语义接近单进程编程,适合中等复杂度共享需求
- 性能低于 Value/Array(涉及网络通信和序列化开销),不适合高频读写或大数据量
- Manager 启动后会派生一个独立服务进程,主进程退出时需显式调用 manager.shutdown() 避免僵尸进程
消息传递:Queue 和 Pipe
不共享数据本身,而是传递数据副本,更安全、更灵活,是推荐的默认通信方式。
立即学习“Python免费学习笔记(深入)”;
- Queue:线程/进程安全,支持多生产者-多消费者,内部自带锁和条件变量,适合任务分发、日志收集等场景
- Pipe:双向或单向字节流通道,性能略高于 Queue,但只支持两个端点(常用于父子进程),需自行处理同步与边界
- 所有通过 Queue/Pipe 传输的对象必须可被 pickle 序列化;不可传 lambda、嵌套函数、未导入模块中的类实例等
注意事项与避坑提示
实际使用中容易忽略的关键细节:
- Windows 下 multiprocessing 必须将进程启动代码放在 if __name__ == '__main__': 块中,否则会递归创建子进程
- 子进程无法继承主进程中已打开的文件句柄、数据库连接、GUI 句柄等资源,需在子进程中重新初始化
- 共享对象(尤其是 Manager 代理)不是线程安全的,多个线程同时操作同一代理时仍需额外加锁
- 避免在大量循环中频繁通过 Manager 访问共享 dict/list —— 每次访问都是一次 IPC 调用,性能损耗明显










