asyncio.to_thread 和 run_in_executor 有什么用？如何在异步代码中处理阻塞任务？

简化版

asyncio.to_thread() 和 loop.run_in_executor() 都可以把同步阻塞函数放到线程池或 executor 中执行，避免阻塞事件循环。to_thread 更简单，适合把普通阻塞 I/O 函数临时包装成 awaitable；run_in_executor 更底层，可以指定线程池或进程池。

详细版

to_thread 示例：

def read_file(path):
    with open(path, "r", encoding="utf-8") as f:
        return f.read()

async def main():
    content = await asyncio.to_thread(read_file, "data.txt")

run_in_executor 示例：

async def main():
    loop = asyncio.get_running_loop()
    result = await loop.run_in_executor(None, blocking_func, arg)

区别：

工具	特点
`asyncio.to_thread`	简洁，默认在线程中运行同步函数
`run_in_executor`	更灵活，可指定 executor，例如线程池或进程池

适合：

临时兼容同步文件 I/O；
调用同步第三方 SDK；
调用阻塞网络库；
把少量无法异步化的逻辑隔离出事件循环。

注意：线程适合阻塞 I/O；CPU 密集任务如果要利用多核，考虑进程池或专门计算服务。

完整版教学

一、为什么需要把阻塞任务丢出去

事件循环怕阻塞。如果某个 async 函数必须调用同步库：

async def handler():
    data = blocking_sdk_call()
    return data

这个调用期间，事件循环不能处理其他协程。短时间偶尔发生可能影响不大，但高并发服务里会明显拖慢请求。

把阻塞函数放到线程里，至少可以让事件循环继续调度其他任务。

二、to_thread 的使用方式

to_thread 把普通函数变成可等待调用：

result = await asyncio.to_thread(blocking_func, arg1, arg2)

它的可读性很好：我知道这个函数是阻塞的，所以把它放到线程里执行。

适合包装：

同步文件读写；
同步压缩库的小任务；
同步 SDK；
没有 async 版本的遗留函数。

三、run_in_executor 更灵活

run_in_executor 可以指定 executor：

loop = asyncio.get_running_loop()
result = await loop.run_in_executor(None, blocking_func)

None 表示使用默认线程池。也可以传自定义线程池或进程池：

with ProcessPoolExecutor() as pool:
    result = await loop.run_in_executor(pool, cpu_heavy_func)

如果你需要控制 worker 数量、复用 executor、区分 I/O 池和 CPU 池，run_in_executor 更适合。

四、线程池不是无限垃圾桶

把阻塞调用丢给线程池，不代表成本消失。线程池也有容量：

任务太多会排队；
阻塞太久会耗尽线程；
同步库内部也可能有连接池限制；
CPU 密集任务在线程里仍可能受 GIL 影响。

所以这是一种隔离手段，不是性能魔法。

五、什么时候应该换成真正异步库

如果某个阻塞调用是核心高频路径，例如每个请求都要访问数据库或 HTTP 服务，长期靠 to_thread 包装不是最佳方案。

更好的做法通常是：

使用异步数据库驱动；
使用异步 HTTP 客户端；
使用支持 async 的 SDK；
重构调用链，让 I/O 真正非阻塞。

to_thread 更像过渡桥梁，帮助 async 项目兼容同步世界。

六、常见误区与追问

方式	适合场景	主要差异
`asyncio.to_thread`	临时把同步 I/O 函数放线程跑	简洁，使用默认线程池
`run_in_executor(None, ...)`	使用默认 executor	更老也更底层
`run_in_executor(pool, ...)`	指定线程池或进程池	可控并发和资源
真正异步库	高频核心 I/O 链路	避免线程池补丁式扩展

误区：to_thread 会让 CPU 密集任务突破 GIL。 它只是把函数放到线程里，CPU 密集 Python 代码仍可能受 GIL 限制。
误区：run_in_executor 可以无限提交阻塞任务。 executor 线程数量有限，提交过多会排队，占用内存并增加延迟。
误区：用了 to_thread 就不需要异步库。 它适合兼容少量同步 I/O；核心高频路径应优先使用真正异步客户端。
追问：to_thread 和 run_in_executor 怎么选？ 简单把同步函数丢到默认线程池用 to_thread；需要指定 executor 或进程池时用 run_in_executor。
追问：异常怎么传回异步调用方？ 在线程或 executor 中抛出的异常会在 await 对应 awaitable 时重新抛出。
追问：什么时候该用进程池而不是线程池？ CPU 密集计算、压缩、纯 Python 大量计算等场景，进程池更可能利用多核。

记忆钩子：to_thread 是异步代码里的“同步 I/O 临时隔离舱”，不是长期替代异步驱动的架构方案。

七、加强记忆

to_thread 和 run_in_executor 的目的都是保护事件循环：阻塞函数不要直接在 loop 里跑。to_thread 简洁，适合普通阻塞 I/O；run_in_executor 灵活，能指定线程池或进程池。高频核心 I/O 最终还是应优先使用真正异步库。

简化版

详细版