有个活儿看起来不大，做起来却特别磨人：给一套基于 MapReduce 模型实现的 M/R 计算框架做全量核对，看它对 exclusive 特性的支持到底到了哪一步。这里说的 exclusive，是指"排他性"——队列独占、资源独占、任务独占执行这些边界行为。我接到这个任务时，第一反应是查文档、搜配置项，以为半天就能出结论。真上手才发现，文档上的"支持"不等于实际运行时的"支持"，不同版本、不同调度器、不同资源维度下，exclusive 的表现完全可能两样。
所以这篇东西，我打算把这次"核对 exclusive 支持情况"的完整过程拆开讲：包括怎么定义核对范围、怎么设计测试用例、怎么逐项验证、遇到哪些坑。顺便说一句，最近团队里讨论方案时总爱提 mutually exclusive, collectively exhaustive 这个原则——互斥且穷尽。这次核对，我就是全程用它来约束用例设计的。它不该只出现在方案评审的 PPT 里，在技术验证这种需要"不留死角"的活儿里，它才是真正值得用的工具。
不管你是做分布式计算、任务调度，还是单纯维护一个带"锁"和"独占"语义的业务系统，这套"用 MECE 方法做能力核对"的思路都值得参考。尤其是当你需要对外输出一份"某个特性在什么条件下支持、在什么条件下不支持"的结论时，下面的过程能帮你少走很多弯路。
1. 背景拆解：exclusive 在 M/R 里到底指什么
1.1 从资源调度说起
大多数 M/R 框架的运行时，可以抽象成两层：调度层和执行层。调度层负责决定任务分配到哪台机器、占多少资源；执行层负责真正把 map/reduce 任务跑起来。而 exclusive 这个属性，在这两层里都有体现。
调度层面的 exclusive，最常见的是"排他队列"和"排他节点"。排他队列意味着这个队列里的任务只能使用专门划分出来的资源池，其他队列的任务不能进来抢占。排他节点就更狠，直接规定某些任务只能落在指定节点上，就算别的节点有空闲资源也不行。执行层面的 exclusive，通常表现为一个任务独占一个执行器（executor/container），不允许其他任务共享这个进程。再往下钻，还有数据层面的 exclusive——比如两个任务同时往同一个输出路径写数据，系统是否保证只有一个任务成功。
我这个项目里，M/R 用的是自研调度器加标准 MapReduce 语义，exclusive 的需求背景是：有一批数据加工任务，对时延和资源稳定性要求很高，不希望和其他团队的任务混跑。于是我们想弄清楚——这套框架到底能不能做到"我的队列别人进不来、我的节点别人抢不走、我的任务独占执行"。
1.2 三个需要核对的 exclusive 层级
我把这次核对的范围收敛成了三层，避免一把抓：
- 调度层排他：队列级别的隔离、节点级别的锁定、标签调度是否支持独占。
- 执行层排他：单个任务是否能独占执行器，任务并发度是否可以限制为 1，以及是否存在"禁止重入"的保护（防止同一个任务被重复拉起）。
- 数据层排他：中间结果临时目录的写入是否互斥，最终输出路径是否带排他锁，任务失败后锁能否自动释放。
这三层互不重叠，但合起来覆盖了 exclusive 在 M/R 里的几乎所有表现。我后来发现，团队里对 exclusive 预期不一致，就是因为这三层被混在一起聊。有人说"支持"，指的是调度层；有人说"不支持"，指的是数据层。先把层级切清楚，后面的核对才有意义。
1.3 用 MECE 原则收紧边界
Mutually exclusive, collectively exhaustive，这个词组翻译过来就是"互斥且穷尽"。用在这次核对上，意味着两件事：
- 互斥：所有核对项之间不能有交叉。比如"排他队列"和"排他节点"虽然都属于调度层，但它们在配置入口、运行表现上是完全独立的，必须拆成两个核对项，不能合在一起说"调度层支持排他"。
- 穷尽：所有核对项合起来，要覆盖 exclusive 的全部支持场景。不能只看正常配置路径，还要看异常路径——独占资源耗尽怎么办、任务被 kill 后锁是否还在、节点宕机后排他资源是否回收。
举个生活化的类比：整理一个衣柜，如果按"上衣/裤子/外套/配饰"分类，每件衣服都能归到一个类，类与类不重叠，这就是 MECE。如果按"夏天的衣服/深色的衣服/CD 唱片"分类，一件黑色 T 恤可以同时属于多个类，那就失败了。做能力核对也是一样，测试用例之间互相重叠，最后得出来的结论一定是糊涂账。
2. 核对方案设计：把"支持情况"变成可验证的矩阵
2.1 拆出核对项
我按上面说的三个层级，把核对项拆成了这么一张表。这张表在设计的时候，我就要求自己每个子项读起来都独立，不产生歧义。
| 层级 | 核对项 | 配置/触发方式 | 判定重点 |
|---|---|---|---|
| 调度层 | 排他队列隔离 | 队列 A 配置 exclusive=true，队列 B 提交任务 | 队列 B 的任务是否完全无法使用队列 A 的资源 |
| 调度层 | 节点排他锁定 | 任务配置 node_exclusive=true，指定节点组 | 任务是否只落在指定节点上，其他节点即使空闲也不使用 |
| 调度层 | 资源分时共享 | 多个任务同时提交到非 exclusive 队列 | 确认默认行为是共享，用于对照 |
| 执行层 | 任务独占执行器 | task.exclusive.executor=true | 同一 executor 上是否只有这一个 task |
| 执行层 | 并发度限制为 1 | task.parallelism=1 | 同一输入分片是否只起一个处理实例 |
| 执行层 | 禁止重入 | 同一任务参数连续提交两次 | 第二次是否被拒绝或排队 |
| 数据层 | 中间目录排他写 | 两个任务共享中间路径 tmp/mr-shared | 是否只有一个任务写入成功，另一个失败或等待 |
| 数据层 | 输出路径排他锁 | 两个任务同时写同一输出目录 | 锁是否存在、是否可重入、是否自动释放 |
| 数据层 | 失败释放锁 | 模拟任务运行中 kill | 锁是否在超时后释放，后续任务能否继续 |
这里"资源分时共享"这个核对项，是一个典型的分组。它不属于"支持 exclusive"的范畴，但必须放进矩阵里。因为只有验证了非 exclusive 场景下系统是共享的，才能反衬出 exclusive 配置真正生效。这也是 MECE 里"穷尽"的体现——核对能力的正反两面都覆盖。
2.2 判定标准
只有核对项还不够，还得有统一的判定口径。我不喜欢用"好像支持"这种模糊说法。这次我用了四种状态：
- Y（支持）：配置生效，运行行为与预期完全一致。
- N（不支持）：配置被忽略，或者直接报错，且没有任何替代方案。
- P（部分支持）：仅在特定条件下生效，例如需要额外配置配合、只对特定资源类型生效。
- U（无法确认）：环境限制或文档缺失，暂时不能下结论。
判定流程我也是固定死的：先按文档设置配置，再观察运行表现，然后和预期行为对比。三者都匹配才判 Y。观察运行表现这一步，不能只看任务最终成功没有，要看调度日志、资源监控、锁状态这些细节。我就吃过这个亏：任务整体是成功的，但 exclusive 根本没生效，只是运气好没发生资源竞争而已。
2.3 测试用例的互斥与穷尽
矩阵里的每一项，我都至少设计了正例、反例和边界三条用例。正例验证"应该支持时确实支持"，反例验证"不应该出现的行为确实没出现"，边界验证"资源临界状态下行为是否稳定"。
举个例子，核对"排他队列隔离"时：
- 正例：队列 A 开启 exclusive，向队列 A 提交任务，确认任务使用队列 A 的资源，队列 B 有任务在跑，但队列 B 的任务完全不占用队列 A 的资源池。
- 反例：把普通任务强行提交到队列 A，确认被拒绝。
- 边界：队列 A 的资源池被占满，再提交一个任务，确认这个任务排队等待而不是去其他队列抢资源。
这三个用例之间没有重叠，而且合起来覆盖了"正常、非法、极端"三种情况，就是一套小型 MECE 测试集。整个核对下来，我大约设计了 30 多条用例，基本每个核对项都有这样一组正反边界。
3. 实操过程：逐项验证并记录
3.1 环境准备
核对 exclusive 这种和资源调度强相关的特性，最怕环境不干净。我准备了独立的测试集群，两套环境：
- 环境一：单机伪分布式模式，用来快速验证配置项是否能被识别、是否会报错。这个环境跑得快，适合做初筛。
- 环境二：三节点标准集群，用来验证真正的资源隔离、节点排他、并发冲突这类行为。exclusive 在单机模式下很多现象根本复现不出来。
配置上，我在调度器和任务提交两个入口都做了改动。调度器层面主要调队列和节点的排他配置，任务提交层面主要调任务的执行器独占参数。配置长这样，是个示意，但结构和我们线上用的基本一致：
queues: - name: exclusive-queue exclusive: true max-cores: 16 max-mem-mb: 32768 - name: normal-queue exclusive: false tasks: - name: check-executor-exclusive executor: exclusive: true slots: 1这里稍微解释一下为什么这样配置。exclusive-queue 的 max-cores 和 max-mem-mb 设成一个固定值，是为了后续验证"资源占满后会怎样"这个边界用例。如果我不限制资源上限，边界用例就没法做——任务会无限拿资源，队列永远不会满，你就看不出排他队列在资源耗尽时的表现。
3.2 核心数据流与验证操作
核对不可能逐项手工敲命令，我用脚本把矩阵里的大部分验证串成了自动化流程。核心数据流是这样的：
- 提交任务到指定队列，携带 exclusive 相关参数；
- 轮询任务状态和调度器日志，等待任务进入 running 状态；
- 抓取当前节点资源使用快照和 executor 列表；
- 根据核对项类型，做并发提交或故障注入（比如 kill 任务）；
- 收集日志和监控数据，和预期比对。
拿"节点排他锁定"来说，我提交了一个带 node_exclusive=true 的任务，指定它只能落在 node-2 和 node-3 上。执行后我抓了调度日志，能看到类似这样的记录：
# 提交命令示意 mrsub --queue exclusive-queue \ --tags exclusive-node \ --node-list node-2,node-3 \ --input /data/user_events \ --output /data/user_events_result # 调度日志关键片段 INFO scheduler: task_20240510_001 assigned to node-2 (node_exclusive match) INFO scheduler: task_20240510_002 assigned to node-3 (node_exclusive match)核心是验证有没有出现任务跑到 node-1 的情况。我从监控面板上拉了完整的时间线，确认在整个运行周期里，该任务的所有 map 和 reduce 阶段都只出现在 node-2 和 node-3 上。这个用例结论就是 Y。
再举一个数据层排他的例子。我让两个任务同时写同一个输出目录 /data/final_result，观察锁行为。正常支持排他的系统，应该只有一个任务拿到锁，另一个任务要么等待、要么失败。实测下来，第二个任务在等待了约 30 秒后报错退出，错误信息里明确说了"目标目录已锁定"。这说明排他锁存在，但等待策略偏保守——没有一直无限等，而是直接放弃了。这个地方我就判成了 P，而不是 Y。因为文档上写着"支持排他锁"，但没提"获取不到锁时的默认行为是失败而非等待"。对于某些调用方来说，"失败"和"等待"的差别非常大，必须把这个细节写进结论里。
3.3 记录模板与结论输出
逐项核对过程中，我把每一个结果都按照固定模板记录下来。模板长这样：
- 核对项编号、名称
- 所属层级
- 测试环境与版本
- 操作步骤摘要
- 预期行为摘要
- 实际行为摘要
- 判定结果（Y/N/P/U）
- 备注（依赖条件、复现链接、日志位置）
所有记录汇总完之后，我按照层级输出了一张总表。总表不是简单堆数据，而是要把"什么条件下可用、什么条件下不可用"讲清楚。比如：
| 核对项 | 版本 A | 版本 B | 条件说明 |
|---|---|---|---|
| 排他队列隔离 | Y | P | 版本 B 需配合 enable-queue-isolation=true 才生效 |
| 节点排他锁定 | P | Y | 版本 A 仅支持节点标签，不支持节点列表 |
| 任务独占执行器 | Y | Y | 无特殊条件 |
| 并发度限制为 1 | N | Y | 版本 A 不支持参数，忽略不报错 |
| 中间目录排他写 | P | P | 依赖文件系统开启 flock 支持 |
| 失败释放锁 | Y | U | 版本 B 存在锁泄漏场景，需加 watchdog |
这张表做完，我才真正敢对外说"这个版本对 exclusive 的支持情况是什么"。没有这张表之前，所有讨论都是各自猜。
4. 常见问题与排查实录
4.1 排他队列被普通任务"钻空子"
我遇到的第一个奇怪现象是：排他队列明明开了 exclusive，但队列 B 的任务在资源紧张时，依然可以占用部分本该属于排他队列的资源。查了半天才发现，调度器的资源分配策略是"软隔离"——如果普通队列资源空闲，排他队列也不会阻止它借用；只有两边都紧张时，排他队列才优先。
这算不算"支持排他"？严格说算部分支持。你要的是完全隔离，系统给的是优先调度。这种问题，排查的关键是看调度日志里资源分配那一行的策略名称。如果日志里出现 borrow，基本可以断定走的是借用逻辑，而不是强隔离。
4.2 文档说支持，配置后不生效
这可能是最让人恼火的一种情况。文档写明了参数，配置也写进去了，结果任务的行为和没有配置之前一模一样。我排查时做了三件事：
- 确认配置加载时机：部分参数只在调度器启动时加载，改完配置必须重启才生效；也有部分参数是热加载的，每 30 秒扫描一次。我一开始改完配置直接提任务，根本没重启，自然不生效。
- 确认版本分支：同一个参数在不同版本里的默认值不同。后来我们切到了新版本分支，某个 exclusive 参数默认从 true 改成了 false，配置里没显式写，导致行为完全反转。
- 确认参数拼写：这种纯手打参数名的工作，最容易犯的错是少一个字母或者大小写不对。系统对不识别的参数多数情况下不报错，只是静默忽略。所以配置完成后，第一步应该是检查"系统是否识别了这个参数"，而不是直接看业务结果。
4.3 表面支持、实际降级的隐式行为
另一类坑是"从功能结果看，exclusive 生效了，但从资源视角看，根本不是那么回事"。比如"任务独占执行器"这个核对项，任务执行是成功了，但用监控一查，executor 里同时跑了两个 task。后来看源码才明白，框架对独占执行器的实现方式是"延迟调度"——它会等其他任务结束再启动新任务，而不是真正预留一个空 executor。如果其他任务一直不退，新任务会一直排队。
这种"伪独占"比"直接不支持"更危险。因为你在低并发下测得顺顺当当，一到高并发就出各种超时。怎么识别？关键是要看资源的时间线。任务运行期间，抽几个时间点执行ps或者看容器列表，确认同一 executor 进程里没有其他任务。只看任务最终是否成功，完全不够。
4.4 常见问题速查表
我把这次核对以及之前维护 M/R 平台过程中遇到的相关问题整理成了下面的速查表，拿去排查时可以直接查：
| 现象 | 可能原因 | 排查方向 | 处理建议 |
|---|---|---|---|
| 排他队列仍被借用 | 调度器为软隔离策略 | 查调度日志策略名是否含 borrow | 配置强隔离或调大排除队列优先级 |
| exclusive 参数不生效 | 参数需重启调度器 | 查启动时间与配置变更时间 | 重启后复测 |
| 独占执行器上出现多个 task | 伪独占，延迟调度 | 拉资源时间线，查看 executor 进程列表 | 升级版本或改用其他隔离方式 |
| 中间目录锁获取失败直接报错 | 等待策略为 fail-fast | 查锁等待参数 lock.timeout | 调大超时时间 |
| 版本升级后 exclusive 失效 | 默认值变化 | git diff 配置默认值 | 显式写入配置 |
| 任务 kill 后锁未释放 | 资源泄漏 | 查锁持有人和 TTL | 配置 watchdog 定期清理 |
| 节点排他偶发失效 | 节点列表标签不匹配 | 查节点元数据是否包含指定标签 | 统一节点标签规范 |
5. 一点收尾的心里话
这次核对做完，我最大的体会是：exclusive 这种听起来很简单的特性，真正验证起来远比想象中复杂。它牵扯调度、执行、存储三层行为，每层都有自己的支持边界。如果当初我直接看文档就写结论，估计后面线上出了资源抢占问题，我们还在那儿怀疑是网络延迟。
所以最后分享一个小实操习惯：任何能力核对类的任务，我都会先用 mutually exclusive, collectively exhaustive 的原则把核对矩阵画出来。画矩阵这个动作本身就是一种"思考压力测试"——当你试图把每个核对项整理得互不重叠时，你会发现之前很多认知其实是含糊的。等矩阵和判定标准都定下来，剩下的逐项执行，就只是体力活和时间问题了。
另外，"U（无法确认）"这个状态并不可耻。遇到环境复现不了、文档缺失的情况，我宁可写"待确认"，也不想写"应该支持"。这类结论以后是要背锅的。留一个明明白白的 TBD，比留一个模糊的"大概可以"要踏实得多。
