模型离确定性的人类经验判断还很远 (Models Are Still Far from Deterministic Human Experiential Judgment)

核心判断

大语言模型 (Large Language Model, LLM) 的知识面很广，能够快速调用大量语言模式、概念和解决方案，但这不等于它已经拥有了资深从业者的经验性判断 (Experiential Judgment)。

模型本质上是概率模型 (Probabilistic Model)：在给定输入、上下文、系统约束和采样设置下，计算并生成更可能出现的后续 token。它可以生成一段非常像资深专家的解释，却不因此获得一个稳定、可重复、对现实后果负责的判断系统。

因此，"知识面广"和"资深"不能绑定理解。前者是模型的显著优势，后者还包括长期经验形成的边界感、优先级、风险意识、情境识别和对例外的处理能力。

一次本地分类实验

为了测试轻量模型能否处理并不简单的分类任务，构造了 100 道客服工单主意图分类题。题目不是积极/消极二分类，而是 7 类路由：

• 退款退货
• 催单物流
• 技术咨询
• 投诉升级
• 账户安全
• 售前咨询
• 闲聊无关

每题故意加入多个信号，要求区分主意图与次要信号。例如，用户可能一边要求退款，一边威胁投诉；也可能在物流问题中说"再不处理我就不要了"。真正的判断不是寻找一个关键词，而是判断在真实业务中应该把工单交给哪个处理链路。

同一题库的结果如下：

这不是对所有任务的普遍排名，而是一个具体任务上的能力剖面。实验同时暴露出三件事：

1. 小模型可能连闭集 (Closed-set) 约束都不能稳定遵守，给定 7 个类别后仍会创造"物流"、"临期商品"、"品控问题"等新类别。
2. 更大的模型即使达到 81%，仍然会在投诉、退款、物流的灰色边界上犯错。
3. 部分错误来自题目标签本身的优先级没有定义清楚。比如"疑似假货，要求赔偿并退货"既像投诉又像退款；如果没有业务规则，模型不是唯一的不确定来源。

为什么简单问题也会错

"简单"通常是站在人类经验上的判断，而不是从表面文字计算出来的难度。

一个网购者看到"官网、产品线、兼职"，可能很快判断：这不是一个明确的购物售前问题，而是混合的品牌与招聘询问。模型则可能抓住"产品线"，把整条消息路由为售前咨询。这个答案在语言上并不荒谬，却不一定符合实际客服分流规则。

经验会自动完成以下工作：

• 判断用户真正要解决的事情；
• 判断哪一个诉求应该优先处理；
• 识别哪些句子只是施压、背景或附带问题；
• 根据业务后果而不是关键词决定路由；
• 在多个合理解释中选择最合适的那个。

模型可以模拟这些步骤，但模拟结果是概率性的。即使请求参数是 temperature=0，上游路由、服务端实现、隐藏的推理过程或其他系统因素仍可能造成输出变化。一次答对不能证明能力已经稳定，连续答错也不能单独证明模型完全不理解。

传统 NLP 并没有死掉

传统自然语言处理 (Traditional Natural Language Processing, NLP) 并没有因为 LLM 出现而失去价值。对于边界清晰、标签稳定、吞吐量大、成本敏感的业务，任务专用方法往往更可靠：

• 关键词、规则和有限状态机：可解释、可控、延迟低；
• TF-IDF、线性分类器、梯度提升树：训练和部署便宜；
• 小型编码器或领域微调模型：在固定标签和固定语言场景下可以稳定工作；
• 传统实体识别、意图识别和级联分类器：适合构造明确的业务流水线。

与"全能模型"相比，任务专用模型 (Task-specific Model) 的优势不是知识更多，而是目标更窄、行为更容易测量和约束。微调 (Fine-tuning) 在通用模型讨论中可能降温，但在具体业务里仍然有工程价值：当标签体系、语言风格和错误代价明确时，针对性训练可能比不断追加提示词更有效。

一个合理的架构并不一定是"所有请求都交给最大模型"，而可以是：

规则/传统分类器
    ↓ 高置信度样本直接处理
小型领域模型
    ↓ 边界样本或低置信度
LLM
    ↓ 高风险或争议样本
人工复核 / 业务规则

LLM 更适合处理开放性、长尾和需要语言归纳的部分；传统 NLP 和微调模型更适合稳定、重复、可定义的部分。两者不是简单的替代关系，而是不同控制面上的工具。

工程上应该测什么

不要只测模型"会不会回答"，而要测它能否稳定完成任务：

1. 闭集遵循：是否只输出允许的类别或字段。
2. 重复稳定性：同一输入多次调用是否保持一致。
3. 边界案例：类别之间是否存在可解释的混淆。
4. 校准与拒答：不确定时能否交给人工，而不是自信地猜。
5. 错误代价：不同类别的误分是否会造成不同程度的业务损害。
6. 总成本：不仅是 token 费用，还包括延迟、人工复核、线上故障和维护成本。

尤其要把"题目标签有歧义"和"模型能力不足"分开。一个好的评测集不仅要有答案，还要有标签定义、优先级规则、反例和争议说明。

结论

大模型的强大是真实的，但它主要表现为知识覆盖、语言生成和模式迁移能力。它并没有因此变成一个拥有稳定生活经验、业务责任感和现实判断力的人类专家。

在 2026 年，顶级模型仍然可能在简单但依赖情境的问题上表现得不如一个熟悉业务的人；一个领域微调模型或一组朴素规则，也可能在固定任务上把通用大模型甩开。使用 LLM 时，最危险的误判不是"它什么都不会"，而是"它什么都知道，所以它已经资深"。

相关：“能力对齐性退化” (Alignment Tax) 或 “泛化平庸化、模型能力边界的不可预测性、OpenAI 兼容反代的协议兼容与语义保真 (Protocol Compatibility and Semantic Fidelity)、不要把知识广误认为经验深：AI 使用中的经验错觉 (Do Not Confuse Broad Knowledge with Deep Experience)

本文归档于个人知识库 · 领域：CS & AI · 模块：04 Project_CS_AI/LLM