一字一诗
学习路径/03 / GPT 的内部
LESSON 11 / 26

拆开 Q、K、V 的计算

这一课完成什么

第 10 课直接给出了分数，这一课解释分数从哪里来。GPT 从当前每个位置的表示，经过三组可学习的变换，分别得到 Q、K、V。它们是 query、key、value 的简写，这里分别理解为“拿来比较的查询表示”“被比较的表示”“实际汇总的内容”。

Q、K、V 从同一组输入分别变换而来

Q、K、V 都是数字矩阵。三个可学习的变换分别回答：当前想找什么、各位置有什么线索、取回来什么信息。

Q、K、V 从同一组输入分别变换而来
用文字逐步读这张图
  1. 输入 X：每个位置一行；示例宽度为 2
  2. Q = X × Wq：查询用的表示；不是另一份文本
  3. K = X × Wk：匹配用的表示；与 Q 逐对比较
  4. V = X × Wv：被汇总的信息；与 K 用途不同
  5. Q × K 的转置：得到位置之间分数；除以 √每头宽度
  6. 权重 × V：变换为概率再汇总；输出仍按位置排列
为什么要把 K 转置？

这样每一行 Q 才能与每一行 K 做点积，得到当前位置对所有位置的分数。

三组变换来自同一份输入

text
Q = X × Wq
K = X × Wk
V = X × Wv

X 是输入，三个 W 是训练会更新的参数。Q 与 K 用来算每两个位置的匹配分数；V 才是第 10 课最后被加权相加的信息。三组变换可以学到不同用途，不需要人工规定哪个字应该关注谁。

用两项数字手算一次

text
X  = [[1,0], [0,1], [1,1]]
Wq = [[1,1], [0,1]]
Wk = [[1,0], [1,1]]
Wv = [[2,0], [0,1]]

相乘得到 Q=[[1,1],[0,1],[1,2]]，K=[[1,0],[1,1],[2,1]]，V=[[2,0],[0,1],[2,1]]。以 Q 第一行 [1,1] 分别与 K 三行点乘，得到 [1,2,3]。这就是第一个位置对三个位置的原始匹配分数。

此时还没有遮挡未来位置，所以先只看数学结构。第 12 课会把不允许看的格子去掉。

为什么除以一个数

每个注意力头的比较向量若有 d 项，匹配分数使用 Q @ K.T / sqrt(d)。向量越长，点乘累加的项越多，分数可能变得很大，让 softmax 过于集中。除以宽度的平方根用于控制这种尺度。它是模型结构中的固定缩放，不是“正确答案概率”。

本例 d=2，所以第一行分数是 [1,2,3] / 1.414。之后才进行遮挡与 softmax，再乘 V。完整顺序为：比较、缩放、遮挡、变成权重、汇总。

bash
./poet lesson 11
.venv/bin/python lessons/11/experiment.py

找到实际源码

正式实现用一个线性层一次输出三个宽度的结果，再拆成三份。这样与分别建立三个线性层具有相同的基本含义，但更便于执行。

python
self.qkv = nn.Linear(config.width, 3 * config.width)
q, k, v = self.qkv(x).chunk(3, dim=-1)

这里包含偏置，因此更完整地写应是 XW+b。课程手算为了减少干扰没有加偏置，正式代码没有把它隐藏起来。chunk(3) 沿最后一维平均切成三块，位置数量和批数量不变。

验收与排错

小练习与答案

把 Wq 改成单位矩阵 [[1,0],[0,1]]，哪些输出会改变？

查看答案

Q 会变为 X 本身，K 和 V 不变。QK 转置得到的分数、随后权重以及汇总结果可能改变。第一行 Q 变为 [1,0]，与三个 K 点乘得到 [1,1,2]。这说明改变“怎样比较”也会影响“最终汇总了什么”。

动手补全一小段

先运行上面的完整实验，再复制本课起始文件为自己的练习。starter 有意留空 solve 函数；补全后运行文件，底部检查会告诉你是否符合本课要求。卡住时打开参考答案，比较每一步。

bash
cp lessons/11/starter.py lessons/11/my_exercise.py
# 编辑 my_exercise.py 中的 solve 函数，然后运行：
.venv/bin/python lessons/11/my_exercise.py
# 对照完整答案：
.venv/bin/python lessons/11/solution.py

下载起始代码 · 下载参考答案

展开本课补全练习的完整参考答案
python
"""第 11 课补全练习：计算三组表示。修改 solve，保持下方检查不变。"""
import math, io, argparse
import torch
from torch import nn
from torch.nn import functional as F
torch.set_num_threads(2)
torch.manual_seed(26)

def solve(x, wq, wk, wv):
    return x @ wq, x @ wk, x @ wv

x=torch.eye(2)
a,b,c=solve(x,x,2*x,3*x)
assert torch.equal(a,x) and torch.equal(b,2*x) and torch.equal(c,3*x)
print("本课补全练习通过。")
展开本课完整、可独立运行的实验代码
python
"""本课独立实验；在仓库根目录执行 .venv/bin/python lessons/11/experiment.py。"""
import sys, json, math
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[2]))
import torch
from torch import nn
from torch.nn import functional as F
from poetry_gpt.common import ROOT, DEFAULT_DATA, read_json, read_jsonl
from poetry_gpt.model import ModelConfig, PoetryGPT, CausalAttention, Block
from poetry_gpt.data import Tokenizer, SPECIAL, clean_record, keywords_for
from poetry_gpt.labs import show
torch.set_num_threads(2)
torch.manual_seed(26)

x = torch.tensor([[1.0, 0.0], [0.0, 1.0], [1.0, 1.0]])
wq = torch.tensor([[1.0, 1.0], [0.0, 1.0]])
wk = torch.tensor([[1.0, 0.0], [1.0, 1.0]])
wv = torch.tensor([[2.0, 0.0], [0.0, 1.0]])
q, k, v = (x @ wq, x @ wk, x @ wv)
show('Q', q.tolist())
show('K', k.tolist())
show('V', v.tolist())
show('QK转置/根号2', (q @ k.T / math.sqrt(2)).tolist())
下载本课实验
上一课 · 注意力：汇总前文的信息下一课 · 挡住尚未出现的答案