Python 中 ProcessPoolExecutor 适合什么场景？使用时有哪些坑？

简化版

ProcessPoolExecutor 用进程池执行任务，适合 CPU 密集型计算，可以绕开单进程 GIL 限制利用多核。使用时要注意任务函数和参数需要可序列化，进程启动和数据传输成本较高，Windows 上通常要放在 if __name__ == "__main__": 保护下。

详细版

基本用法：

from concurrent.futures import ProcessPoolExecutor

def compute(n):
    return sum(i * i for i in range(n))

if __name__ == "__main__":
    with ProcessPoolExecutor(max_workers=4) as pool:
        results = list(pool.map(compute, [10_000_000] * 8))

适合：

纯 Python CPU 密集计算；
图片处理、压缩、解析大数据；
希望隔离任务崩溃；
任务相对粗粒度，计算时间明显大于进程通信成本。

常见坑：

函数、参数、返回值通常要能被 pickle；
lambda、局部函数、不可序列化对象容易失败；
大对象传来传去会很慢；
进程池不适合大量极小任务；
Windows/macOS spawn 模式下要注意主模块保护。

面试重点：进程池不是“线程池换个名字”，它靠进程隔离和多核并行换性能，但代价是序列化和进程管理成本。

完整版教学

一、为什么 CPU 密集任务更适合进程池

在 CPython 里，同一进程内执行 Python 字节码会受到 GIL 影响。多个线程执行纯 Python CPU 密集循环时，很难真正跑满多个 CPU 核。

进程池创建多个独立进程，每个进程有自己的解释器和 GIL。这样多个进程可以在多个 CPU 核上并行运行。

with ProcessPoolExecutor(max_workers=4) as pool:
    results = list(pool.map(compute, tasks))

这就是它适合 CPU 密集任务的根本原因。

二、进程池的成本在哪里

进程比线程重：

创建进程更慢；
每个进程有独立内存空间；
任务参数和返回值要跨进程传输；
跨进程传输通常需要序列化；
大对象复制会带来明显内存和时间成本。

所以不要把几微秒的小函数拆成成千上万个进程池任务。进程池适合相对粗粒度任务，比如每个任务处理一张大图、一个大文件、一段复杂计算。

三、为什么需要可序列化

父进程要把任务函数和参数交给子进程，子进程执行后再把结果传回来。这通常依赖 pickle 序列化。

容易出问题的写法：

def main():
    def inner(x):
        return x * x

    with ProcessPoolExecutor() as pool:
        list(pool.map(inner, range(10)))

局部函数可能无法被正常 pickle。更稳妥的是把任务函数定义在模块顶层：

def square(x):
    return x * x

同样，数据库连接、打开的文件对象、线程锁等资源也不适合作为参数直接传给子进程。

四、为什么 Windows 要写 main 保护

在 Windows 和部分平台上，多进程默认使用 spawn 方式启动子进程。子进程会重新导入主模块。如果创建进程池的代码不放在：

if __name__ == "__main__":
    ...

下面，可能导致子进程导入主模块时又创建新的进程池，形成递归启动或报错。

这是 Python 多进程面试的高频细节，也是写跨平台代码的基本习惯。

五、进程池异常怎么处理

和线程池类似，任务异常会在 future.result() 时抛出：

future = pool.submit(compute, n)
try:
    result = future.result()
except Exception as exc:
    print("task failed", exc)

如果子进程异常退出，进程池可能变成不可用状态。生产代码应该记录输入、异常和重试策略，而不是只写一个 map() 就结束。

六、常见误区与追问

关注点	线程池	进程池
CPU 密集任务	常受 GIL 限制	可利用多核并行
参数传递	共享进程内对象引用	需要序列化跨进程传递
启动成本	较低	较高，尤其 Windows spawn
故障隔离	同进程内影响更直接	子进程崩溃可被主进程感知

误区：ProcessPoolExecutor 一定比 ThreadPoolExecutor 快。 进程池适合足够重的 CPU 任务；小任务可能被启动、序列化和 IPC 成本抵消。
误区：进程池可以提交任意函数和对象。 任务函数、参数、返回值通常需要可 pickle，lambda、局部函数、打开的连接对象常会失败。
误区：Windows 下不写 main 保护也没关系。 Windows 默认 spawn 新进程，会重新导入主模块；缺少 if __name__ == "__main__": 可能递归创建进程。
追问：进程池异常在哪里暴露？ 子进程任务异常会保存在 Future 中，调用 future.result() 时重新抛出给主进程。
追问：为什么不要频繁提交极小任务？ 每个任务都有调度、序列化和进程间传输成本，过小任务会让管理开销超过计算收益。
追问：进程池适合共享数据库连接吗？ 不适合直接把连接对象传入进程池；通常在子进程内初始化独立连接或改为主进程统一 I/O。

记忆钩子：进程池换来多核 CPU 并行，代价是序列化、进程启动和跨进程通信。

七、加强记忆

ProcessPoolExecutor 是给 CPU 密集任务用的多核工具：优点是绕开单进程 GIL、隔离性更好；代价是进程重、传参要序列化、大对象通信慢。任务函数放模块顶层，跨平台代码写 if __name__ == "__main__":，任务要足够粗粒度才划算。

简化版

详细版