1. 核心原理 (Core Principles)

传统的 AI 应用依赖后端 API（如 OpenAI），而 Web LLM 技术允许在浏览器端直接运行模型，无需服务器参与计算。
Traditional AI apps rely on backend APIs (like OpenAI), whereas Web LLM technology allows models to run directly in the browser without server-side computation.

技术栈 (The Tech Stack)

这一过程并非魔法，而是依赖于现代浏览器的底层能力：
This is not magic, but relies on the 现代浏览器底层能力 (Low-Level Capabilities of Modern Browsers):

  1. 模型编译 (Model Compilation): 使用机器学习编译技术（如 MLC-LLM, TVM），将 Python/PyTorch 训练好的模型编译成浏览器能理解的二进制格式。

    • Machine learning compilation techniques (like MLC-LLM, TVM) are used to compile Python/PyTorch models into binary formats that browsers can understand.

  2. WebAssembly (Wasm):

    • 作为“指挥官”，负责逻辑控制，以接近原生的速度在浏览器运行 C++ 核心代码。
    • Acts as the "commander" for logic control, running C++ core code in the browser at near-native speeds.

  3. WebGPU:

    • 核心算力 (The Powerhouse): 允许 JavaScript 直接调用设备的显卡 (GPU) 进行大规模并行计算（矩阵乘法）。这是 Web 端能跑 LLM 的关键。
    • Allows JavaScript to directly access the device's GPU for massive parallel computing (matrix multiplication). This is the key to running LLMs on the web.

[INFO] 关键区别 (Key Difference)

  • API Mode: JS 发送文本 -> 服务器计算 -> 返回文本。
  • WebLLM Mode: JS 指挥本地 GPU 计算 -> 直接生成文本。

2. 架构与部署 (Architecture & Deployment)

"无后端" 的本质 (The Essence of "Serverless")

Web LLM 应用本质上是一个静态网页。它不需要 Python 后端，只需要一个文件服务器（CDN）。
A Web LLM app is essentially a static webpage. It requires no Python backend, just a file server (CDN).

  • 模型分发 (Model Distribution): 模型权重文件（Weights）被切分成多个碎片（Shards），存储在 CDN 上（类似 Hugging Face）。

  • 加载流程 (Loading Process):

    1. 用户访问网页。
    2. 浏览器从 CDN 下载模型文件（通常 1GB+）。
    3. Cache Storage: 下载后的模型会被存入浏览器的缓存数据库。
    4. 二次访问 (Second Visit): 零流量，直接从本地缓存读取，支持离线运行。

3. 模型能力分级 (Model Capabilities Tier List)

在浏览器端运行模型，参数量 (Parameter Size) 是决定体验的核心因素。
Running models in the browser, parameter size is the core factor determining the experience.

规模 (Size)典型代表 (Examples)特点 (Characteristics)适用场景 (Use Cases)
0.5B - 0.6BQwen2-0.5B, TinyLlama"人工智障" (The "Toy" Tier)
缺乏逻辑，指令遵循差，甚至无法进行基本算术。		文本分类、极低功耗设备测试、关键词提取。
1B - 3BLlama-3.2-1B, Qwen2.5-1.5B"甜点区" (The Sweet Spot)
具备基本逻辑，能对话、翻译、写简单代码。速度快，显存占用低。		实时对话助手、浏览器插件、即时翻译。
3B - 7BPhi-3.5, Llama-3-8B"桌面级" (Desktop Class)
能力强，但这需要较大的显存 (4GB+) 和较长的下载时间。		复杂的逻辑推理、创意写作、本地知识库问答。

4. 应用前景：端侧 AI (Future: Edge AI)

Web LLM 是 Edge AI (边缘计算/端侧智能) 的重要组成部分。
Web LLM is a crucial part of Edge AI.

核心优势 (Key Advantages)

  1. 隐私安全 (Privacy): 数据完全不出本地，不经过任何服务器。适合处理敏感文档。

    • Data never leaves the local device; perfect for sensitive documents.

  2. 零延迟 (Zero Latency): 模型加载完毕后，推理不需要网络请求，响应极快。

    • Once loaded, inference requires no network requests.

  3. 离线可用 (Offline Capable): 飞机上、无网环境下依然可用。

    • Works on airplanes or in no-network environments.

最佳落地形态 (Best Form Factors)

  • PWA (渐进式 Web 应用): 手机/电脑可以直接安装网页为 App。
  • Desktop Apps (Electron/Tauri): 将模型文件打包进安装包 (.exe/.dmg)，用户下载即用，无需等待模型下载。
[SUMMARY] 总结 (Summary)
Web LLM 并不是黑魔法，而是利用 WebGPU 将浏览器变成了推理引擎。虽然 0.5B 模型能力有限，但 1B-3B 模型已具备实用价值。它是未来 Privacy-First (隐私优先) 和 Local-First (本地优先) 应用的基石。

本文归档于个人知识库 · 领域：CS & AI · 模块：04 Project_CS_AI/Web