Python推荐用concurrent.futures.ThreadPoolExecutor管理线程池,适用于I/O密集型任务;需用with管理资源,submit返回Future,map批量提交,注意异常处理与超时控制。

Python 中推荐使用 concurrent.futures 模块管理线程池,它封装了底层 threading 的复杂逻辑,提供统一、简洁的接口。核心是 ThreadPoolExecutor 类,适合 I/O 密集型任务(如网络请求、文件读写),不适用于 CPU 密集型场景(此时应选 ProcessPoolExecutor)。
创建与基本使用
通过 with 语句自动管理资源,避免忘记调用 shutdown():
- 指定
max_workers控制最大并发线程数(默认为min(32, os.cpu_count() + 4)) -
submit()提交单个任务,返回Future对象,可调用result()阻塞获取结果 - 多个任务可用
map()批量提交,行为类似内置map,自动按序返回结果
获取执行结果的两种方式
方式一:逐个处理 Future
适用于需要立即响应、或对每个任务做独立错误处理的场景:
- 用
executor.submit(func, *args)得到future - 调用
future.result(timeout=5)获取结果,超时抛出TimeoutError - 用
future.exception()检查是否发生异常(非阻塞)
方式二:批量处理 map 结果
适合参数结构一致、结果顺序敏感的任务:
-
executor.map(func, iterables)返回迭代器,按输入顺序产出结果 - 若某次调用出错,异常会在对应位置被
next()或遍历时抛出 - 不支持传入多个参数列表(需用
functools.partial或 lambda 封装)
异常处理与超时控制
线程中异常不会自动传播到主线程,必须显式检查:
-
submit后立即调用future.exception()可判断是否失败(返回None表示无异常) -
result(timeout=...)是最常用的等待+取值+捕获异常方式 - 建议总配合
try/except使用,尤其在循环提交多个任务时
例如:不要忽略 timeout 参数,否则一个卡死的请求可能拖垮整个池。
立即学习“Python免费学习笔记(深入)”;
进阶技巧:控制生命周期与复用
线程池不是“即用即弃”的工具,合理复用能显著提升性能:
- 避免在循环内反复创建/销毁
ThreadPoolExecutor实例 - 长期运行的服务中,可将 executor 作为模块级变量或类属性持久化
- 调用
shutdown(wait=True)等待所有任务完成;wait=False则立即返回,后台继续执行 - 注意:已 shutdown 的 executor 不可再 submit 新任务










