大模型数学速成（08）：ViT 层 vs LLM 层——概念对照总表
前 7 篇我们分别讲了张量约定、矩阵乘、Q/K/V、Norm 与残差、Attention、FFN、RoPE—— pieces 齐了，但读 ViT 或 LLM 代码时仍容易混：patch 和 token 是一回事吗？为什么 ViT 双向、LLM 因果？RMS Norm 和 LayerNorm 谁在哪？
这一篇不引入新公式，用 一张骨架图 + 对照大表 把视觉 Transformer 与语言模型在同一套数学语言下对齐，并给出后续阅读路径。
这是「大模型数学速成」系列的第 8 篇。建议已读 第 00–07 篇。下一篇 多头注意力。
一、共同的 Transformer 骨架
无论 ViT 还是 LLM，一层 block 的核心结构相同（Pre-LN 写法）：
1 | 输入 X [d, S] S = 序列长度（patch 数或 token 数） |
差异在：X 从哪来、S 代表什么、Attention 是否掩码、Norm/FFN/RoPE 用哪种变体。
本系列约定：行 = 特征维，列 = 序列位置（第 01 篇）。
二、ViT vs LLM：逐项对照
| 维度 | ViT（视觉 Transformer） | LLM（因果语言模型） |
|---|---|---|
| 输入单元 | 图像 patch（如 16×16 像素块） | 文本 token（BPE/SentencePiece 等） |
| 序列长度 S | patch 个数（如 224²/16² = 196） | token 数（上下文长度，如 4K–128K） |
| 嵌入 | Patch Embedding：每个 patch 展平 → 线性投影到 $d$ | Token Embedding：查表 + 可选位置 |
| 额外 token | 常有 [CLS] 列用于分类 | 无 CLS；整段序列同等对待 |
| Self-Attention | 双向（每个 patch 看全部 patch） | 因果（只能看当前及之前 token） |
| Attention 掩码 | 通常无（或 padding 掩码） | 下三角因果掩码（第 05 篇） |
| 位置编码 | 可学习绝对位置 或 正弦；部分 ViT 无显式 RoPE | 现代 LLM 多用 RoPE（第 07 篇），只作用于 Q/K |
| Norm | 常见 LayerNorm（$\gamma, \beta$） | 常见 RMS Norm（仅 $\gamma$）（第 04 篇） |
| FFN 激活 | 常 GELU，单路上投影 | 常 SwiGLU 门控 FFN（第 06 篇） |
| FFN 中间维 | 常 $4d$ | SwiGLU 时常 $\approx \frac{8}{3}d$ 等 |
| 输出头 | 分类头接 [CLS]；或 patch 级任务 | LM Head：最后一层 hidden → 词表 logits |
| 训练目标 | 分类 / 检测 / 对比学习等 | 下一 token 预测（交叉熵） |
| 推理特点 | 整图一次前向（S 固定为 patch 数） | Prefill + Decode；KV Cache（第 11 篇） |
一句话：同一套 Q/K/V + Attention + FFN + 残差数学；差别主要在「序列是什么、能不能看未来、Norm/FFN/RoPE 选型、输出头」。
三、数据流并排（形状视角）
ViT 编码器（推理一张图）
1 | 图像 [H×W×3] |
LLM 解码一步（简化）
1 | 已有 prompt + 新 token |
| 步骤 | ViT | LLM |
|---|---|---|
| Q/K/V 投影 | 同 第 03 篇 | 同 |
| $Q^\top K/\sqrt{d}$ + Softmax | 全连接（无因果） | 掩码后 Softmax |
| 残差 + Norm | 同 第 04 篇 | 同 |
| FFN | 同 第 06 篇 | 同（激活常不同） |
四、读代码时的命名对照
不同框架张量名不同，语义大致对应：
| 概念 | ViT / 视觉常见名 | LLM 常见名 |
|---|---|---|
| 层输入 | hidden_states, [B,S,H] |
hidden, x, [B,S,H] |
| Q 投影 | attn.q, q_proj |
attn_q, wq |
| Norm | ln_1, layer_norm |
attn_norm, rms_norm |
| FFN 上投影 | fc1, mlp.fc1 |
ffn_up, w3 |
| FFN 门控 | （单路时无） | ffn_gate, w1 |
| FFN 下投影 | fc2 |
ffn_down, w2 |
| 位置 | pos_embed |
RoPE（无单独可学习表） |
读 ggml / ONNX / PyTorch 时，先找 Q/K/V 与 Norm 的位置（Pre-LN），再对号入座上表。
五、多模态模型（延伸）
VLM（视觉-语言模型）常把 ViT 编码器输出 当作 LLM 的 Cross-Attention 的 K/V 序列（或投影后拼进 token 序列）：
1 | 图像 → ViT → 视觉 token 列 [d, S_img] |
本系列第 05 篇已区分 Self / Cross-Attention；多模态是 Cross 的典型场景。细节因架构而异（如是否拼接、是否共享权重），但矩阵形状与握手规则仍遵循 第 01–02 篇。
六、推荐阅读路径（本系列内）
按目标选读，不必线性重读全文：
| 你想搞懂… | 优先复习 |
|---|---|
| 权重形状、列=token | 01 张量、02 矩阵乘 |
| Attention 公式 | 03 Q/K/V、05 Softmax |
| 训练稳定性 | 04 Norm+残差 |
| LLM FFN | 06 FFN |
| 长文本 / 位置 | 07 RoPE |
| ViT vs LLM 总览 | 本篇 |
| 推理加速 | 第 09–11 篇（多头、GQA、KV Cache） |
七、与 AI 科普系列的衔接
公式细节在本系列；直觉入门可参考：
科普讲「是什么」，本系列讲「矩阵怎么乘、形状怎么变」。
八、小结
| 要点 | 内容 |
|---|---|
| 相同 | Norm → Attn → 残差 → Norm → FFN → 残差；Q/K/V 投影 |
| 不同 | patch vs token、双向 vs 因果、LayerNorm vs RMS、GELU vs SwiGLU、RoPE、输出头 |
| 形状 | 层内始终是 [d, S] 列=位置 |
| 下一步 | 多头、GQA、KV Cache（推理专题） |
大模型数学速成系列第 8 篇完。下一篇 多头注意力——同一层里多个「专家」各看各的。
系列导航
| 篇号 | 标题 | 状态 |
|---|---|---|
| 07 | RoPE | ✅ |
| 08 | ViT 层 vs LLM 层对照总表（本篇） | ✅ |
| 09 | 多头注意力 | 下一篇 |
完整大纲见工作区 docs/MATH_SERIES_OUTLINE.md。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 WALL-E's Blog！
相关推荐
2026-07-14
大模型数学速成（10）：GQA——分组查询注意力
第 09 篇的 MHA 里，Q、K、V 各有 $h$ 个头——推理时要为每个 token 缓存全部 K/V 头，显存随上下文长度线性暴涨。GQA（Grouped Query Attention，分组查询注意力） 让多路 Q 共享更少的 K/V 头，在效果接近 MHA 的前提下大幅压缩 KV Cache。 这一篇讲清：KV Cache 为何吃显存、GQA 怎么分组共享、以及 MHA / GQA / MQA 对照。 这是「大模型数学速成」系列的第 10 篇。建议先读 第 09 篇：多头注意力。下一篇 KV Cache（系列收官）。 一、KV Cache 显存从哪来？Decode 阶段每生成一个新 token，都要和历史上所有 token 做 Attention（第 05 篇）。历史 token 的 K、V 在 Prefill 时已算过——存下来复用，不必每步重算，这就是 KV Cache。 每层、每个 token 需缓存： $$\text{K 缓存} + \text{V 缓存} \approx 2 \times h_\text{kv} ...
2026-07-04
大模型数学速成（00）：读 Transformer 前需要哪些数学？
你可能已经读过「Attention Is All You Need」的科普版，知道 Transformer 靠「注意力」连接 token；也可能看过 LLM 是「预测下一个词」的接龙游戏。但一旦打开技术文章或论文，公式里突然出现 $QK^\top$、LayerNorm、RoPE、KV Cache——矩阵维度对不上、符号各说各话，读几段就想关掉页面。 这一篇不讲任何具体公式，只回答一件事：接下来 11 篇数学速成，各自解决什么困惑、该怎么读。 把它当成进入 Transformer 计算世界的地图。 这是「大模型数学速成」系列的第 0 篇。本系列与「现代 C++ 实战」并行日更：同一天还会有一篇 C++ 文章，两线互不干扰。下一篇我们从最基础的约定说起——张量、维度，以及为什么「列 = token」。 一、为什么需要这个系列？「小白讲 AI」系列刻意零公式：用图书馆、接龙、投票来类比 Transformer 和 LLM，降低入门门槛。那套讲法足够建立直觉，但不足以回答下面这类问题： 困惑 典型场景 $Q \cdot K^\top$ 到底在算什么？ 读论文...
2026-07-06
大模型数学速成（02）：矩阵乘法——神经网络的基本变换
上一篇我们约定：列 = token，形状 [768, 1024] 表示 768 维特征 × 1024 个 token。接下来几乎所有 Transformer 层都在做同一件事——矩阵乘法：对每个 token 的特征向量做线性变换。 这一篇搞懂 $y = W \cdot x + b$ 在算什么、「握手规则」为什么必须成立，并用 3 维 × 2 token 的手算例子建立直觉。Q/K/V 三次投影留到下一篇。 这是「大模型数学速成」系列的第 2 篇。建议先读 第 01 篇：张量、维度与「列 = token」。下一篇讲 Q/K/V 投影——同一输入，三种角色。 一、一句话概括矩阵乘法 = 对每个 token 的特征向量做一次线性变换（旋转 + 拉伸 + 平移），把信息从一个「语义空间」映射到另一个「语义空间」。 神经网络里一层线性层，本质上就是一次矩阵乘法加偏置；堆叠多层非线性激活，才形成复杂的表达能力。 二、生活类比：调咖啡1234567输入向量 x = [咖啡豆量, 水量, 奶量] ← ...
2026-07-07
大模型数学速成（03）：Q/K/V 投影——同一输入，三种角色
上一篇我们学会了 $y = W \cdot x + b$ 的「握手规则」。在 Transformer 的注意力层里，同一份输入特征会连乘三次——分别得到 Q、K、V。为什么要三套权重？权重 $W_q$ 和激活 Q 有什么区别？ 这一篇把 Q/K/V 投影一次讲透，为第 05 篇的注意力与 Softmax 铺路。 这是「大模型数学速成」系列的第 3 篇。建议先读 第 02 篇：矩阵乘法。下一篇讲 LayerNorm、RMS Norm 与残差连接。 一、三次投影：同一输入，三种「角色眼镜」LayerNorm 之后，每个 token 有一列通用特征 $X$，形状 [768, S]（S 为 token 数）。注意力层对 同一 X 做三次线性变换： $$Q = W_q \cdot X + b_q,\quadK = W_k \cdot X + b_k,\quadV = W_v \cdot X + b_v$$ 12345678910 同一份 X（Norm 后的特征） [768...
2026-07-13
大模型数学速成（09）：多头注意力——多个专家各看各的
第 05 篇我们用的是「一整块」768 维 Q/K/V 做一次 Attention。实际模型里常见 12、16、32 个头（head）——同一层里多组更小的 Attention 并行运行，再拼回去。为什么要拆头？维度怎么变？ 这一篇讲清 分头、逐头 Attention、concat 与输出投影 $W_o$ 的全流程。 这是「大模型数学速成」系列的第 9 篇。建议先读 第 05 篇：Attention 与 Softmax、第 07 篇：RoPE。下一篇 GQA。 一、单头 vs 多头：陪审团类比单头 Attention：一个「专家」用 768 维 Q/K/V 同时看所有语义侧面。 多头 Attention（MHA）：$h$ 个「陪审员」，每人只拿 $d_\text{head}$ 维（如 64 维），独立做一遍 Attention，最后把 $h$ 份意见 拼接 成完整向量。 12单头：1 人 768 维全包多头：12 人各 64 维，各看各的角度，再合并报告 直觉：不同 head 可学到不同模式——有的关注语法距离，有的关注指代，有的...
2026-07-05
大模型数学速成（01）：张量、维度与「列 = token」
你在文档里看到 [768, 1024]，第一反应可能是：768 是行还是列？1024 是 token 数还是特征维？PyTorch 教程写 [batch, seq, hidden]，推理引擎源码写 [n_embd, n_tokens]——同一套数据，括号顺序不同，读错维度后面所有公式都会对不上。 这一篇只解决一件事：在本系列采用的约定下，张量形状怎么读、矩阵图怎么画、常见运算后维度怎么变。 搞懂它，后面矩阵乘法、Q/K/V 投影才有共同语言。 这是「大模型数学速成」系列的第 1 篇。建议先读 第 00 篇：读 Transformer 前需要哪些数学？。下一篇我们讲 矩阵乘法——神经网络的「基本变换器」。 一、什么是张量？在深度学习里，张量（tensor） 就是存放数字的多维数组。维度越高，结构越丰富，但读法有统一套路： 维度 生活类比 大模型中的例子 1D 向量 一行成绩：[语文, 数学, 英语, …] 某一个 token 的 768 维 embedding 2D 矩阵 Excel 表格 [n_embd, n_tokens] 整段序列的...
