Chrome 内置 Gemini Nano (Chrome Built-in AI)
Chrome 内置 AI（Chrome Built-in AI） 是 Chrome 把谷歌自家的小号端侧模型 Gemini Nano（Gemini 家族最小成员，为端侧/移动端优化）直接集成进浏览器底层，普通用户能用"帮我写/整理标签页"，Web 开发者能用原生 JS API（Prompt API）调用，全程本地推理、不联网、无 API Key、免费。
一句话：谷歌版"端侧 AI"，一个能用的迷你 Gemini 就装在你电脑里。
核心原理 / 架构（自顶向下）
- Web API 层 —
window.ai/LanguageModel（Prompt API），无需 API Key；另有 Task APIs：Summarizer/Writer/Rewriter等（部分配专用 LoRA 权重）。 - 渲染进程（Blink & V8） — 处理 JS 调用与流式输出（
promptStreaming()），通过 Mojo IPC 把推理任务交给主进程。 - 模型管理层（Optimization Guide + Component Updater） — Optimization Guide 是端侧 AI 调度中枢：
availability()可用性检查、会话生命周期、安全策略过滤；Component Updater 负责静默按需下载 / 增量更新模型。 - 推理执行层（Model Execution Service） — 跑在独立沙箱 utility 进程（安全隔离，不拖垮主进程/渲染进程），管模型加载、Prompt 模板、Tokenization、KV Cache、推理生成。
- 硬件加速层 — 底层走系统驱动：DirectML（Windows）/ Metal / Vulkan / GPU shader，GPU 不可用自动降级多线程 CPU。
工作流程
LanguageModel.availability() // 查本地模型，无则后台按性能基准下载适配版本
LanguageModel.create({systemPrompt}) // 初始化会话
session.prompt() / promptStreaming() // 沙箱进程推理 → token 流式回传本机实测情况（2026-09）
模型组件已下载：
AppData\Local\Google\Chrome\User Data\OptGuideOnDeviceModel\2025.8.8.1141\weights.bin（约 4 GB，权重本体）+encoder_cache.bin+adapter_cache.binmanifest.json显示BaseModelSpec: v3Nano
Local State里optimization_guide.model_execution.nano_v3_gpu_component.available = true- 控制台验证：
await LanguageModel.availability()→ 需指定输出语言（[de,en,es,fr,ja]），返回'available' - 功能入口：
chrome://settings/ai（实验性 AI：Help me write / Tab organizer / AI 主题） - 手动启用 Flags（可选）：
#optimization-guide-on-device-model（Enabled BypassPerfRequirement）、#prompt-api-for-gemini-nano - 组件检查/更新：
chrome://components→ Optimization Guide On Device Model
地区限制
官方支持地区不含中国大陆。需要代理 + 成年、非托管的 Google 账号，否则返回 unavailable。首次下载模型也依赖能连上 Google 的网络；下载完成后端侧 API 可离线运行。
与普通 GGUF 模型（llama.cpp 生态）的区别
| 维度 | Chrome 内置 Gemini Nano | 普通 GGUF 模型 |
|---|---|---|
| 分发方式 | 浏览器组件更新器统一管理，一次下载、全站共享 | 独立单文件，自己从 HF / Ollama 下载分发 |
| 文件格式 | 私有：weights.bin + adapter/encoder_cache.bin，浏览器内部管理 | 开源开放标准 GGUF，单文件打包全部超参 + 分词器 + 权重 |
| 运行环境 | 只能用 Chrome 沙箱 Model Execution Service | llama.cpp / Ollama / LM Studio 等任意 llama.cpp 系运行时 |
| 模型选择 | 只能用内置的 Gemini Nano，不能换 | 任何模型（Llama / Qwen / Phi…）任意量化档 |
| 量化控制 | 谷歌预先量化好，用户不可选 | 显式量化档位 Q4_K_M / Q8_0 等可自选 |
| 开放 API | Prompt API（浏览器专用） | OpenAI 兼容 server 或原生 bindings |
| 地区限制 | 中国大陆被锁（需代理） | 无地区限制 |
| 清理方式 | 删 OptGuide 文件夹即可，Chrome 可重下 | 删 .gguf 文件即可 |
与 Web LLM（WebGPU/Wasm 方案）的关系
都是"浏览器端跑模型"，但路线不同：
- Web LLM（MLC WebLLM / Transformers.js）：权重在网站 CDN 分发，跑在渲染进程的 Wasm + WebGPU 上，每站各自下载，容易 OOM。见 Web LLM 纯前端运行大语言模型 (Running LLMs entirely in the Browser)。
- Chrome Built-in AI：浏览器级统一管理 + 原生 C++ 沙箱进程 + 系统驱动加速，跨站共享，内存调度更优。
双 link
本文归档于个人知识库 · 领域：CS & AI · 模块：04 Project_CS_AI/LLM