私有规则任务上小模型 SFT 的真实上限 (The Real Ceiling of Small-Model SFT on Private-Rule Tasks)
核心结论
"把私有规则烧进小模型权重，从而超过前沿模型"这条路，成立条件比想象中苛刻得多。 在一个被精心选中的有利任务（电商客服工单 7 类路由，闭集输出 + 硬验证 + 规则私有）上，实测结果是：
| 条件 | 准确率 | 是否公平条件 |
|---|---|---|
| 0.6B 原版 | 41.0% | — |
| 0.6B + SFT（最好一次，权重插值） | 82.0% | ✅ |
| Gemini 3.7 Flash + 预注册策略文档 + 14 示例 | 83.0% | ✅ 公平基线 |
| Gemini 3.7 Flash + 补全版策略文档 + 14 示例 | 92.0% | ❌ 事后补全，上界 |
没有超过：82.0% vs 83.0%，McNemar 精确检验 p = 1.00（净胜 9 / 净负 10），统计上打平。
真正的杠杆是规则文档的完整度，不是模型大小：只把策略文档从"归纳版"换成"补全版"，同一个 Gemini 3.7 Flash 从 83.0% 涨到 92.0%（净胜 12 / 净负 3，p = 0.035，显著）。
这个结果推翻了立项时的一个隐含假设——不是"规则私有 → 前沿模型学不会 → 小模型有机会"，而是 "规则写不全 → 前沿模型猜不准 → 小模型才有机会"。前者是任务的属性，后者是文档的缺陷。文档缺陷可以被补上；一旦补上，SFT 的空间就消失了。
机制解释：为什么规则私有不够
前沿模型的目标不是"记住规则"，而是"从上下文里读规则并执行"。它缺的从来不是能力，而是规则文本。所以：
- 规则私有：前沿模型无法从预训练语料学到 → 小模型有机会。但这只说明它没被写进权重。
- 规则可写：业务方随时可以把它写进 prompt → 前沿模型立刻补齐 → 小模型优势归零。
- 规则不可写：规则只存在于老员工的直觉里，没人能完整表述 → 这才是 SFT 唯一真正不可替代的场景。
换句话说，能写出来的规则不该用 SFT，写不出来的规则才需要 SFT。而"能写出来"这件事，业务方通常比自己以为的更容易做到。
决策判据：做 SFT 之前先问三个问题
- 这套规则业务方能写出一份完整文档吗？ 能 → 别做 SFT，去写文档、做 few-shot；不能 → 继续。
- 规则文档的完整度足够验证吗？ 做法：用"自洽性校验器"当探针（见下），它会自动指出文档的空白条款。
- 训练数据能覆盖规则被触发时的表面形态分布吗？ 不能 → 先补数据，别调参。
方法论副产品（可迁移）
1. 自洽性校验器 = 规则文档的缺口探测器
用「给策略文档 + 指定标签，只问按这份文档判成这个标签是否成立」做批量校验，它判 drop 的位置，恰好就是文档缺条款的位置。
实测：184 条定向数据，在归纳版文档下 keep 148 / drop 36；补全文档条款后 keep 178 / drop 6。被 drop 最多的是「换货 → 退款退货」（13/42），理由是"策略里没写换货"——但训练侧的标注数据里本来就有 22 条换货样本标为退款退货。这不是数据噪声，是文档缺口。
这条经验的价值在于：当你发现"模型表现不如预期"，先别调参，先问规则文档是不是没写全。
2. 增量微调 + 类别倾斜 = 灾难性遗忘
增量修正某个类别边界时，如果训练集里 82% 的样本属于两个类别，1 轮之后：
- 目标类别边界确实学好了（退款退货召回 56% → 83%）
- 但售前咨询从 87% 掉到 60%，技术咨询从 92% 掉到 79%
- 总体从 81% 掉到 77%
修法是复述抽样 (rehearsal)：按类别把训练集补到均衡（每类 ~105 条）。缓解有效，但没能超过不做增量之前的最好成绩——增量修正的收益常常小于它造成的遗忘损失。
3. 权重插值 (Model Soup)：零训练成本的免费提升，但有平台区
对两个同源 LoRA adapter 的 A/B 矩阵做凸组合：
soup(v3, v4, w=0.30)= 82%，高于两个父代（81% / 77%）——两个父代错误不重合，插值取到了交集- 但
w=0.50与w=0.70的结果只差 1 条题（平台区，不是线性插值） soup(soup(v3,v4), v5)反而掉回 79%——插值只在两个模型处于同一损失盆地时有效
4. 并集上限：判断"还能不能救"的最快手段
把同一个模型的所有变体（不同数据/不同插值系数）的错误集合求并集，得到理论上限。实测四个 SFT 变体的并集上限是 88%，存在 12 道所有变体都错的题，且这 12 题全是"必须显式知道某条规则"的类型。
如果并集上限已经低于目标，说明瓶颈是数据覆盖或模型容量，继续调参是浪费——这个判断几分钟就能做完，比再跑一次训练便宜两个数量级。
适用边界
- 单任务、100 条测试集，统计功效有限（22 对不一致题只能分辨约 15 个百分点的差距）。要下强结论需要 ≥300 条且不能由教师模型标注。
- 训练数据由 Gemini 生成、比较对象也是 Gemini：它的策略理解被蒸馏进了小模型，所以即便打平也不能说成"通用能力超越"。
- 92.0% 那个数字里，有 7 条条款是为解释测试错误而补写的，属于上界。要变成合法基线，必须请业务方独立写一份完整规则文档再重跑。
相关笔记
- 小模型监督微调的数据构造策略 (Data Construction Strategy for Small-Model SFT) —— 那篇讲的是"怎么把数据造对"，本笔记补的是它的前置判据：先判断这个任务值不值得做
- LoRA Adapter 的加载与合并 (Loading and Merging LoRA Adapters) —— adapter 插值的加载侧实现
本文归档于个人知识库 · 领域：CS & AI · 模块：04 Project_CS_AI/LLM