TypeSafe Jev (非自回归决策引擎与 Harness 架构)

2026-09-19 暂无评论

1. 概念定义与核心架构

TypeSafe Jev 是由前 OpenAI 研究员 Diogo Almeida 创立的 TypeSafe AI 于 2026 年 9 月发布的 "System One"（系统一）非自回归决策引擎。

与传统的自回归大语言模型（逐 Token 预测文本生成）根本不同，Jev 不用于开放式闲聊或文章生成，而是专为软件工程中的离散决策（Discrete Choice）、状态判断与智能条件分支（Smart If-Statement）设计的概率计算引擎。

                    传统自回归 LLM (System 2)
[上下文] ──────────────────────────────────────────→ 逐 Token 漫长生成 (1~5s, 易幻觉, JSON易错)
                                                        
                    TypeSafe Jev (System 1)
[结构化状态 State] ───→ [离散动作空间 Action Space] ────→ 非自回归并行裁决 (~100ms, 严格概率分布, 零语法错误)

2. 核心查询类型 (Query Primitives)

Jev 原生支持三类结构化裁决协议，调用直接走 https://api.typesafe.ai/v1/systemone：

类型	说明	典型场景	输出形式
`choice`	从预定义的有限候选项列表中做最佳单选	工具调用路由（Tool Routing）、页面交互元素选择	`choice: "tool_id"`, `probabilities: {...}`, `confidence`
`noul`	连续概率值（0.0 ~ 1.0）的是/否判定	安全护栏（Guardrail）、卡死检测（Stuck Gate）、目标完成度（Goal Done）	`noul: 0.92` (0~1 浮点概率)
`score`	基于指定评分标准的连续标定打分	答案质量评估、步骤相关度评级	连续标定分值

3. 在 Agent 工作流与 Harness 中的落地模式

在 Agent 运行时（Harness / Runtime）中，Jev 通常与小模型配合，形成分层协同架构：

模式 A：工具调用快速预测与路由 (Tool Selection & Routing)

传统缺陷：将 50 个工具的 JSON Schema 塞入上下文，由大模型自回归输出，延迟高、易幻觉出错误工具名或坏 JSON。
Jev 方案：
1. 将所有候选工具作为 choice 问题提供给 Jev；
2. Jev 在 100~180ms 内直接从 Logits 层输出选中的工具 ID 及全量概率分布；
3. 候选 ID 硬编码绑定，数学上不可能出现工具名幻觉。
4. 选定工具后，仅当需要复杂文本参数时，才由极小 LLM（如 0.5B-7B）做单点填空。

模式 B：前置确定性安全护栏 (Pre-execution Safety Guardrail)

在执行高风险操作（如终端命令、数据库写操作、文件覆盖）前，提问 noul 问题：
"Is this shell command destructive to user files or infrastructure?"

Harness 根据置信度设定硬阻断门限：

if jev_result["answers"]["is_destructive"]["noul"] > 0.80:
    raise SecurityException("Command blocked by Jev safety guardrail")

模式 C：循环状态自省与防卡死熔断 (Stuck Gate & Goal Done)

卡死规避：每次工具执行后评估 stuck 概率，一旦连续两步无进展且 stuck > 0.85，Harness 主动熔断退出，消除 Agent 自恋式死循环。
目标达成判定：评估 goal_done 概率，当目标满足时（如 goal_done > 0.75），系统直接截断并返回最终结果。

4. 关键性能指标对比

维度	Frontier LLM (如 GPT-4o / Claude 3.5 Sonnet)	TypeSafe Jev (jev-1.13)
决策延迟	1,000 ms ~ 4,000 ms	100 ms ~ 200 ms (40x~200x 更快)
输入成本	$2.50 ~ $5.00 / MTok	$0.042 / MTok (40x~100x 更便宜)
输出格式稳定性	需 JSON mode / schema 约束，偶有解析失败	由接口协议保证，零类型错误与解析失败
架构定位	复杂常识推理、代码编写、自然语言生成 (System 2)	控制流分支、工具路由、状态拦截 (System 1)