BERT (Bidirectional Encoder Representations from Transformers) 是一种基于 Transformer Encoder 的语言模型，擅长理解文本语义。

BERT 的特点

BERT 通过双向上下文理解一句话中的词。它不像传统从左到右生成文本的模型，而是更适合做分类、匹配、问答抽取和语义表示。

常见任务：

  • 文本分类。
  • 情感分析。
  • 命名实体识别。
  • 句子相似度。
  • 抽取式问答。

DistilBERT

DistilBERT 是 BERT 的轻量化版本，通过知识蒸馏 (Knowledge Distillation) 压缩模型体积和推理成本，同时尽量保留 BERT 的语义理解能力。

一句话区分

BERT 更完整，DistilBERT 更轻量。前者适合追求效果，后者适合资源受限或需要更快推理的场景。

本文归档于个人知识库 · 领域：CS & AI · 模块：04 Project_CS_AI/LLM