分布式任务为什么要分片？任务分片如何设计？
简化版
任务分片是把一个大任务拆成多个小片段，由多个执行节点并行处理，提升吞吐并缩短执行时间。设计时要保证分片规则稳定、数据不重不漏、每个分片可独立重试，并且任务逻辑要幂等。
详细版
任务分片常用于大批量数据处理，例如对账、清算、报表、数据同步、过期订单关闭。常见分片方式有：
- 按 ID 取模：
user_id % shard_total == shard_index。 - 按时间区间：每个分片处理一个时间段。
- 按业务维度：按商户、租户、地区拆分。
- 按数据范围：每个分片处理一段主键范围。
设计要点：
| 要点 | 说明 |
|---|---|
| 不重不漏 | 每条数据只能归属一个分片 |
| 负载均衡 | 避免某个分片数据特别多 |
| 可重试 | 单个分片失败能单独重跑 |
| 幂等 | 重复执行不会产生错误结果 |
| 可扩展 | 分片数设置要考虑未来扩容 |
面试回答时要补充：分片不是只为了快，也是为了故障隔离和可恢复。
完整版教学
一、为什么需要任务分片
很多后台任务处理的数据量很大。比如每天凌晨要处理 5000 万条订单，如果单节点串行执行，可能跑几个小时还没结束，影响第二天业务。
任务分片把一个大任务拆成多个互不重叠的小任务：
总任务：处理所有订单
分片 0：处理 order_id % 4 == 0
分片 1：处理 order_id % 4 == 1
分片 2：处理 order_id % 4 == 2
分片 3：处理 order_id % 4 == 3这样 4 个分片可以并行跑，执行时间理论上接近缩短到原来的四分之一。当然实际效果还受数据库、下游接口、网络和锁竞争影响。
二、常见分片规则怎么选
按 ID 取模最常见，规则简单，容易做到不重不漏。适合数据 ID 分布比较均匀的场景。
按时间区间适合日志归档、订单统计这类天然按时间处理的任务。例如分片 0 处理 00:00-06:00，分片 1 处理 06:00-12:00。
按业务维度适合多租户或多商户系统。例如每个分片处理一批商户。这种方式方便按业务隔离，但要注意大商户数据倾斜。
按主键范围适合离线批处理，例如每个分片处理一段 ID 范围。但如果 ID 不连续或数据分布不均，可能出现负载不均。
三、如何保证不重不漏
分片规则必须是确定性的。同一条数据在同一次任务中只能算到一个分片里。
例如取模分片：
shardIndex = userId % shardTotal执行器拿到自己的 shardIndex 和 shardTotal 后，只处理满足条件的数据。只要所有分片编号覆盖 0..shardTotal-1，就不会漏；只要每条数据只能算出一个编号，就不会重。
如果按时间分片，要特别注意边界：
[00:00, 01:00)
[01:00, 02:00)用左闭右开区间，能避免 01:00 这条数据被两个分片同时处理。
四、分片失败如何处理
分片任务的好处之一是失败可局部恢复。假设 16 个分片中只有分片 7 失败，不应该重跑全部数据，而应该只重跑分片 7。
为了做到这一点，需要记录每个分片的执行状态：
task_date + task_name + shard_index + status失败后可以针对特定分片重试。任务内部也要保存处理进度，例如最后处理到的 ID，避免每次重试都从头扫全量数据。
五、分片和数据库压力的关系
分片并行不是越多越好。如果 100 个分片同时扫数据库，可能把数据库打满，导致线上业务受影响。
所以分片数、并发数和批大小要分开控制。可以有 64 个逻辑分片，但同一时间只允许 8 个并发执行；每批查 500 或 1000 条，处理完再查下一批。
大任务最好避开业务高峰，并对下游接口设置限速。
六、常见误区与追问
这道题要紧扣「任务分片」本身回答，不能把它混成泛泛的分布式任务调度套话。面试官通常会沿着“为什么需要、流程怎么走、失败怎么兜、代价是什么”继续追问，所以回答要覆盖调度触发、分片分配、抢占锁、失败重试、超时控制、幂等和高可用。
| 回答层次 | 要讲清的内容 | 容易漏掉的边界 |
|---|---|---|
| 核心结论 | 任务分片把一个大任务拆成多个分片并行处理，每个执行器只处理自己负责的数据范围 | 不要停在名词解释 |
| 流程机制 | 设置分片总数 -> 执行器注册上线 -> 调度器分配分片 -> 执行器处理本分片数据 -> 上报执行结果 -> 失败分片重试或转移 | 要说清触发点、状态变化、确认点和失败兜底 |
| 工程取舍 | 1000 万用户扫描可拆成 100 个分片，每个分片处理 user_id % 100 = shardItem 的数据 | 任务调度提升自动化和吞吐，但必须处理重复执行、漏执行、积压、超时和故障恢复 |
任务分片 面试拆解：
1. 设置分片总数
2. 执行器注册上线
3. 调度器分配分片
4. 执行器处理本分片数据
5. 上报执行结果
6. 失败分片重试或转移记忆钩子：先给结论，再拆流程，再讲数字例子和失败边界；回答「任务分片」时要围绕题目问法收束，不要把相邻概念堆成一段没有重点的名词清单。
- 误区：分片就是多开几个线程。 分片有明确数据范围和执行器归属，多线程只是单机并发手段。
- 误区：分片数等于机器数。 分片数通常大于机器数，便于扩容和负载均衡。
- 误区：分片后就不会重复。 重分片、超时和重试仍可能重复处理，业务要幂等。
- 追问：分片键怎么选？ 选择稳定、分布均匀且能覆盖全部数据的数据维度。
- 追问：某个分片特别慢怎么办？ 拆小热点分片、优化查询、迁移执行器或单独处理大客户。
- 追问：扩容后如何变化？ 执行器增加会触发重新分片，更多机器分担分片项。
七、加强记忆
任务分片的本质是把“大而慢、难恢复”的任务拆成“小而快、可并行、可重试”的片段。设计时盯住四件事：规则稳定、不重不漏、失败可重跑、业务要幂等。