Python 中 ThreadPoolExecutor 怎么用？相比手动创建线程有什么优势？

简化版

ThreadPoolExecutor 是标准库提供的线程池，适合管理大量 I/O 密集任务。相比手动创建线程，它能复用线程、限制并发数、统一获取结果和异常，并通过 Future 表示异步执行结果。

详细版

基本用法：

from concurrent.futures import ThreadPoolExecutor, as_completed

def fetch(url):
    return request_url(url)

with ThreadPoolExecutor(max_workers=10) as pool:
    futures = [pool.submit(fetch, url) for url in urls]
    for future in as_completed(futures):
        try:
            print(future.result())
        except Exception as exc:
            print("failed:", exc)

常见 API：

submit(fn, *args)：提交一个任务，返回 Future；
map(fn, iterable)：批量提交，按输入顺序返回结果；
future.result()：获取结果，如果任务异常，会在这里重新抛出；
as_completed(futures)：按完成顺序迭代；
shutdown()：关闭线程池，with 会自动调用。

优势：

避免无限制创建线程；
自动复用 worker；
方便收集结果和异常；
可控制并发度；
代码比手动 Thread 更清晰。

面试里要提醒：线程池适合 I/O 密集任务，不要在池内任务互相等待导致死锁。

完整版教学

一、为什么需要线程池

如果每来一个任务就创建一个线程：

threading.Thread(target=work).start()

任务很多时会有几个问题：

线程数量失控；
创建和销毁线程有成本；
异常不好收集；
结果不好汇总；
程序退出时不好管理。

线程池的思路是提前维护一组 worker，任务来了放进队列，空闲 worker 取任务执行。

二、submit 和 Future

submit() 返回 Future：

future = pool.submit(fetch, "https://example.com")

Future 表示“未来会完成的结果”。可以调用：

result = future.result()

如果任务内部抛异常，异常不会在 submit() 时抛出，而会在 result() 时重新抛出。这比手动线程更容易处理错误。

try:
    result = future.result()
except Exception as exc:
    log_error(exc)

三、map 和 as_completed 的区别

map() 简洁，结果顺序和输入顺序一致：

with ThreadPoolExecutor(max_workers=10) as pool:
    for result in pool.map(fetch, urls):
        print(result)

如果第一个任务很慢，后面的任务即使先完成，也要等前面的结果位置。

as_completed() 按完成顺序返回，更适合谁先完成先处理：

futures = [pool.submit(fetch, url) for url in urls]
for future in as_completed(futures):
    print(future.result())

爬虫、批量请求、并发下载里经常用这种方式。

四、max_workers 不是越大越好

线程池大小要结合任务类型：

I/O 等待多，可以适当大一些；
CPU 计算多，线程池未必有效；
远程服务有限流，线程太多会打爆对方；
本机文件和数据库连接数也有限制。

max_workers 是并发控制阀门，不是性能越大越好旋钮。真正项目里要根据超时、吞吐、错误率、资源占用压测。

五、线程池死锁的典型坑

如果线程池任务内部等待同一个线程池的新任务，可能死锁：

def outer():
    future = pool.submit(inner)
    return future.result()

with ThreadPoolExecutor(max_workers=1) as pool:
    pool.submit(outer).result()

唯一 worker 正在执行 outer，而 outer 等待 inner；inner 没有 worker 可用，于是卡住。

避免方式：

不在同一个小线程池内互相等待；
调大 worker 只能缓解，不能从设计上消除；
拆分线程池或改成任务编排；
尽量让任务独立，不互相阻塞等待。

六、常见误区与追问

API	适合用法	典型风险
`submit`	单个任务提交，拿 `Future`	忘记检查异常
`map`	批量任务按输入顺序取结果	前面慢任务会阻塞后面结果产出
`as_completed`	谁先完成先处理	结果顺序不等于输入顺序
`shutdown`	收尾释放线程池	过早关闭会拒绝新任务

误区：线程池越大吞吐越高。 I/O 密集任务可适当多开线程，但过多线程会增加调度、内存和外部服务压力。
误区：Future.result() 只是取返回值，不会阻塞。 如果任务还没完成，result() 会等待；在工作线程里等待同池任务可能造成死锁。
误区：map 会按完成顺序返回。 ThreadPoolExecutor.map 按输入顺序产出结果，前面任务慢会挡住后面已完成的结果。
追问：submit 和 map 怎么选？ 需要逐个控制、取消、超时、异常处理时用 submit；简单批处理且关心输入顺序时可用 map。
追问：线程池适合 CPU 密集任务吗？ CPython 中 CPU 密集任务通常受 GIL 限制，优先考虑进程池；线程池更适合 I/O 等待多的任务。
追问：如何优雅关闭线程池？ 使用 with ThreadPoolExecutor(...) as executor 或显式 shutdown(wait=True)，确保任务完成和资源回收。

记忆钩子：线程池解决“复用线程和管理任务”，不解决“所有任务都自动并行变快”。

七、加强记忆

ThreadPoolExecutor 是“可控的多线程”：用固定数量 worker 执行很多 I/O 任务，用 Future 管结果和异常。submit 更灵活，map 更简洁，as_completed 适合先完成先处理；别把线程数开太大，也别在池内任务互相等待。

简化版

详细版