基础知识7
注意力机制（Attention Mechanism）是深度学习领域近十年来最具变革性的技术创新之一。从认知科学中人类选择性注意的启发出发，注意力机制为神经网络提供了动态聚焦于输入信息中最相关部分的能力，彻底改变了序列建模、视觉理解和多模态学习的技术范式。本章首先从认知神经科学的角度阐述注意力的生物学基础，随后系统讨论注意力机制的计算模型、自注意力的理论框架，进而探讨外部记忆的引入——包括人脑记忆系统的启示、端到端记忆网络、神经图灵机，以及基于神经动力学的联想记忆模型。
1 认知神经学中的注意力¶
注意力是人类认知系统中最基本的机制之一。在每一时刻，人的感官系统接收到的信息量远超大脑的处理能力——仅视觉系统每秒就接收约 \(10^8\) 至 \(10^9\) 比特的信息，而大脑的有意识处理能力仅约每秒40-50比特。注意力机制正是解决这一信息瓶颈的核心策略：通过选择性地将有限的计算资源分配给当前任务最相关的信息，忽略或抑制无关信息。
自下而上注意力（Bottom-Up Attention），也称外源性注意力（exogenous attention），是由外部刺激的显著性（saliency）驱动的不自主注意力。例如，视野中突然出现的运动物体、闪烁的灯光或响亮的声音会自动捕获注意力。这种注意力反应快速、不依赖于当前任务目标，主要由刺激本身的物理特征（颜色、亮度、方向、运动等）决定。Itti等人（1998）提出的显著性图（saliency map）模型是自下而上注意力的经典计算模型。
自上而下注意力（Top-Down Attention），也称内源性注意力（endogenous attention），是由任务目标和先验知识主动引导的自主注意力。例如，在人群中寻找特定的朋友时，我们会主动关注符合目标特征（身高、发型、衣着）的区域。这种注意力受高级认知过程调控，反应相对较慢但更加灵活。
聚光灯模型（Spotlight Model）（Posner, 1980）将注意力比喻为一束可以在视觉空间中移动的"聚光灯"——聚光灯照亮的区域获得更多的处理资源。这一隐喻在深度学习中的对应即为注意力权重——一个定义在输入空间上的概率分布，其高权重区域获得更多的计算关注。
特征整合理论（Feature Integration Theory）（Treisman & Gelade, 1980）进一步区分了前注意（pre-attentive）阶段和聚焦注意（focused attention）阶段：前者并行地提取基本视觉特征（颜色、方向等），后者串行地将这些特征绑定为统一的对象表示。这一理论对理解多头注意力（multi-head attention）中不同注意力头可能关注不同特征维度具有启发意义。
2 注意力机制¶
在深度学习中，注意力机制的核心思想可以形式化为：给定一组值（values）和一个查询（query），通过计算查询与每个值的相关性来生成一个加权和，作为注意力的输出。
一般形式：设查询向量为 \(\mathbf{q}\)，键-值对集合为 \(\{(\mathbf{k}_i, \mathbf{v}_i)\}_{i=1}^{N}\)，注意力机制的输出为：
其中注意力权重 \(\alpha_i\) 由评分函数（scoring function）\(s(\mathbf{q}, \mathbf{k}_i)\) 经Softmax归一化得到：
注意力权重 \(\boldsymbol{\alpha} = [\alpha_1, \ldots, \alpha_N]\) 构成一个概率分布，反映了查询对每个键-值对的关注程度。
**评分函数**的选择直接影响注意力的表达能力和计算效率，常见的评分函数包括：
加性注意力（Additive Attention）（Bahdanau et al., 2015）：
其中 \(\mathbf{W}_q\)、\(\mathbf{W}_k\) 和 \(\mathbf{w}\) 为可学习参数。加性注意力通过前馈网络计算相关性，适用于查询和键维度不同的场景。Bahdanau等人在机器翻译任务中首次引入这一机制，使解码器在生成每个目标词时能够动态地关注源句子的不同位置，彻底解决了编码器-解码器框架的信息瓶颈问题。
点积注意力（Dot-Product Attention）（Luong et al., 2015）：
点积注意力计算简单高效，可充分利用矩阵乘法的硬件加速。然而，当键的维度 \(d_k\) 较大时，点积值的方差随 \(d_k\) 线性增长，导致Softmax函数进入饱和区，梯度趋近于零。
缩放点积注意力（Scaled Dot-Product Attention）（Vaswani et al., 2017）：
通过 \(\sqrt{d_k}\) 因子缩放，使得当 \(\mathbf{q}\) 和 \(\mathbf{k}\) 的各分量独立且均值为零、方差为1时，点积的方差保持为1，避免了Softmax的饱和问题。这是Transformer架构中使用的标准注意力形式。
双线性注意力（Bilinear Attention）：
其中 \(\mathbf{W} \in \mathbb{R}^{d_q \times d_k}\) 为可学习的交互矩阵。双线性注意力可以看作是在计算点积之前对查询和键进行了线性变换，提供了比纯点积更强的建模能力。
硬注意力与软注意力：上述基于Softmax的注意力属于软注意力（soft attention）——所有位置都以非零权重参与输出计算，整个过程可微分，可通过标准反向传播训练。硬注意力（hard attention）则在每个时间步选择唯一一个位置进行关注（即 \(\alpha_i \in \{0, 1\}\)），这使得选择过程不可微，需要借助强化学习方法（如REINFORCE算法）进行训练。硬注意力的计算效率更高（仅需访问一个位置），但训练难度和方差较大。
2.1 注意力机制的变体¶
在基本注意力框架之上，研究者提出了多种变体以提升其效率和表达能力。
多头注意力（Multi-Head Attention）（Vaswani et al., 2017）是Transformer架构的核心组件。其思想是将查询、键和值分别投影到 \(h\) 个不同的低维子空间中，在每个子空间中独立执行注意力计算，最后将结果拼接并投影回原始维度：
其中 \(\mathbf{W}_i^Q \in \mathbb{R}^{d \times d_k}\)，\(\mathbf{W}_i^K \in \mathbb{R}^{d \times d_k}\)，\(\mathbf{W}_i^V \in \mathbb{R}^{d \times d_v}\)，\(\mathbf{W}^O \in \mathbb{R}^{hd_v \times d}\)。通常取 \(d_k = d_v = d/h\)，使得多头注意力的总计算量与单头注意力相当。
多头注意力的优势在于：不同的注意力头可以学习关注输入的不同方面——有些头可能关注局部的句法关系，有些头关注长距离的语义依赖，有些头捕捉位置模式。这种并行的多视角注意力显著增强了模型的表示能力。Voita等人（2019）的分析表明，训练后的多头注意力确实呈现出功能分化的现象。
线性注意力（Linear Attention）：标准注意力的Softmax归一化导致计算复杂度为 \(O(N^2 d)\)（\(N\) 为序列长度），对于长序列而言开销巨大。线性注意力（Katharopoulos et al., 2020）通过核函数技巧（kernel trick）将Softmax分解为特征映射 \(\phi(\cdot)\)：
通过先计算 \(\sum_i \phi(\mathbf{k}_i) \mathbf{v}_i^\top\)（\(O(Nd^2)\)），再与 \(\phi(\mathbf{q})\) 相乘，将复杂度从 \(O(N^2 d)\) 降至 \(O(Nd^2)\)，在 \(N \gg d\) 时获得显著加速。
稀疏注意力（Sparse Attention）：通过限制注意力的计算范围来降低复杂度。局部窗口注意力仅关注固定窗口内的邻近位置；Longformer（Beltagy et al., 2020）结合了局部窗口注意力和少量全局注意力位置；BigBird（Zaheer et al., 2020）在此基础上引入随机注意力连接，同时保证理论上的图灵完备性。
3 自注意力模型¶
自注意力（Self-Attention），也称内注意力（Intra-Attention），是注意力机制的一种特殊形式——查询、键和值全部来自同一输入序列。自注意力使得序列中的每个位置都可以直接与其他所有位置交互，从而在单层内捕获任意距离的依赖关系。
形式化定义：给定输入序列 \(\mathbf{X} = [\mathbf{x}_1, \ldots, \mathbf{x}_N]^\top \in \mathbb{R}^{N \times d}\)，自注意力通过三组可学习的线性投影将输入映射为查询、键和值：
注意力矩阵 \(\mathbf{A} = \text{Softmax}(\mathbf{Q}\mathbf{K}^\top / \sqrt{d_k}) \in \mathbb{R}^{N \times N}\) 的第 \((i, j)\) 个元素表示位置 \(i\) 对位置 \(j\) 的关注程度。
自注意力与CNN和RNN的对比：
在信息传播路径方面，RNN需要 \(O(N)\) 步才能将信息从序列的一端传播到另一端，其间可能遭受梯度消失；CNN需要 \(O(N/k)\) 层（\(k\) 为核大小）才能覆盖整个序列；而自注意力在单层内即可实现任意两个位置之间的直接信息交互，路径长度为 \(O(1)\)。
在计算复杂度方面，自注意力每层的复杂度为 \(O(N^2 d)\)，RNN为 \(O(Nd^2)\)，CNN为 \(O(Nk d^2)\)。当 \(N < d\) 时（如多数NLP任务），自注意力更高效；当 \(N > d\) 时（如高分辨率图像或长文档），自注意力的二次复杂度成为瓶颈。
在并行性方面，自注意力和CNN的计算可以完全并行化，而RNN由于时间步之间的顺序依赖，本质上是串行的。这一优势使得基于自注意力的Transformer在现代硬件（GPU/TPU）上比RNN快一个数量级以上。
位置编码（Positional Encoding）：自注意力本身是置换等变的（permutation equivariant）——打乱输入序列的顺序不影响每个位置的输出（只影响输出的顺序），因此不具备感知位置信息的能力。为引入序列的顺序信息，Transformer使用位置编码。原始Transformer采用固定的正弦余弦位置编码：
这一编码的设计保证了对于任意固定的偏移量 \(k\)，\(\text{PE}(pos+k)\) 可以表示为 \(\text{PE}(pos)\) 的线性函数，使得模型可以学习关注相对位置。后续的工作提出了可学习的位置编码（BERT）、旋转位置编码（RoPE, Su et al., 2021）和ALiBi（Press et al., 2022）等改进方案。
4 人脑中的记忆¶
人脑的记忆系统是理解和设计神经网络外部记忆机制的重要灵感来源。认知心理学和神经科学将人类记忆系统划分为多个子系统，各司其职。
**感觉记忆（Sensory Memory）**保持原始感觉信息的瞬时表征，持续时间极短（视觉约250-500ms，听觉约3-4s）。感觉记忆的容量很大但衰减极快，其功能是为后续的注意选择提供一个短暂的缓冲区。在神经网络中，输入层和初始特征提取层可以类比为感觉记忆的功能。
短期记忆（Short-Term Memory, STM），也称工作记忆（Working Memory），是对信息进行临时存储和主动操作的系统。Miller（1956）的经典研究表明，短期记忆的容量约为 \(7 \pm 2\) 个信息组块（chunk）。Baddeley和Hitch（1974）提出的工作记忆模型将其进一步分解为中央执行系统（central executive）、语音回路（phonological loop）和视觉空间画板（visuospatial sketchpad）三个组件。
在神经网络中，RNN的隐藏状态 \(\mathbf{h}_t\) 充当了短期记忆的角色——它在每个时间步被更新，编码了近期输入的信息，但容量有限且信息会随时间步的推移逐渐衰减。LSTM的记忆单元 \(\mathbf{c}_t\) 通过门控机制改善了信息保持的选择性，但其容量仍受限于向量维度 \(d\)。
**长期记忆（Long-Term Memory, LTM）**具有几乎无限的容量和持久性（可保持数十年）。长期记忆进一步分为：陈述性记忆（declarative memory），包括情景记忆（episodic memory，对个人经历事件的记忆）和语义记忆（semantic memory，对一般事实和概念的记忆）；以及程序性记忆（procedural memory，对技能和习惯的记忆）。
在深度学习中，网络的权重参数可以被视为长期记忆的一种形式——它们编码了从训练数据中提取的统计规律和知识，在训练完成后保持固定（除非通过微调更新）。然而，权重参数的"记忆"是隐式和分布式的，难以进行精确的读写操作。外部记忆机制（详见8.5节）正是为了弥补这一局限而引入的——它提供了一个可以进行显式寻址和随机访问的大容量存储模块，模拟人类长期记忆的快速存取能力。
记忆的联想性：人脑记忆的一个重要特征是基于内容的联想检索（content-addressable retrieval）——我们可以通过部分线索回忆起完整的记忆，如闻到某种气味联想到童年场景。这种联想记忆的计算模型（如Hopfield网络，详见8.6节）对理解注意力机制和外部记忆的寻址方式具有深刻的启发意义。
5 记忆增强神经网络¶
记忆增强神经网络（Memory-Augmented Neural Network, MANN）通过引入外部记忆模块来扩展神经网络的存储和推理能力。与RNN的隐藏状态不同，外部记忆提供了大容量、可随机访问的结构化存储空间，使网络能够显式地进行信息的写入、存储和检索。
5.1 端到端记忆网络¶
端到端记忆网络（End-to-End Memory Network, MemN2N）（Sukhbaatar et al., 2015）是Weston等人（2015）提出的记忆网络的完全可微版本。其设计目标是使网络能够通过软注意力机制访问外部记忆库，实现端到端的梯度训练。
架构设计：给定一组记忆条目 \(\{\mathbf{m}_1, \ldots, \mathbf{m}_M\}\)（如一组支持句子的嵌入向量）和一个查询 \(\mathbf{q}\)（如问题的嵌入向量），MemN2N的计算过程如下。
输入表示：每个记忆条目通过两组嵌入矩阵分别产生用于寻址的输入表示和用于输出的输出表示：
注意力寻址：计算查询与每个记忆条目之间的相关性：
记忆读取：通过注意力权重对输出表示进行加权求和：
最终输出：
多跳推理（Multi-Hop Reasoning）：为实现更复杂的推理，MemN2N支持多次迭代的记忆访问。在第 \(k+1\) 跳中，查询更新为前一跳的输出：\(\mathbf{q}^{(k+1)} = \mathbf{q}^{(k)} + \mathbf{o}^{(k)}\)，每一跳使用独立的嵌入矩阵（或通过权重共享方案 \(A^{(k+1)} = C^{(k)}\) 来减少参数）。多跳机制使网络能够逐步聚焦、细化推理过程，例如先确定问题涉及的实体，再检索该实体的相关属性。
MemN2N在问答、对话和语言建模等任务上展示了有效的推理能力，是后续知识增强模型（如检索增强生成, RAG）的重要思想先驱。
5.2 神经图灵机¶
神经图灵机（Neural Turing Machine, NTM）（Graves et al., 2014）是一个更为通用和强大的记忆增强架构，其设计灵感直接来源于图灵机——通用计算的抽象模型。NTM由一个神经网络控制器和一个可读写的外部记忆矩阵组成，通过可微分的注意力机制实现对记忆的软寻址。
外部记忆：\(\mathbf{M} \in \mathbb{R}^{N \times D}\) 为一个 \(N\) 行 \(D\) 列的记忆矩阵，其中 \(N\) 为记忆槽的数量，\(D\) 为每个记忆槽的维度。
控制器：一个前馈网络或LSTM，接收外部输入和上一时刻的记忆读取结果，输出用于控制读写操作的参数。
读操作：通过注意力权重向量 \(\mathbf{w}_t^r \in \mathbb{R}^N\)（\(\sum_i w_{t,i}^r = 1\), \(w_{t,i}^r \geq 0\)）对记忆进行加权读取：
写操作：分为擦除和添加两步。擦除向量 \(\mathbf{e}_t \in (0,1)^D\) 控制哪些维度的信息被清除，添加向量 \(\mathbf{a}_t \in \mathbb{R}^D\) 包含新写入的信息：
寻址机制：NTM的关键创新在于其混合寻址机制，结合了基于内容的寻址和基于位置的寻址。
基于内容的寻址通过查询向量 \(\mathbf{k}_t\) 与记忆内容的余弦相似度来生成注意力权重：
其中 \(\beta_t > 0\) 为温度参数，控制注意力分布的锐度。
基于位置的寻址通过插值门（interpolation gate）\(g_t \in (0,1)\)、位移分布（shift distribution）\(\mathbf{s}_t\) 和锐化系数 \(\gamma_t \geq 1\) 来实现对记忆位置的相对寻址：
基于位置的寻址使NTM能够实现类似于传统计算机中顺序扫描内存的操作，这对于需要顺序处理的算法任务（如排序、复制）至关重要。
Graves等人（2016）提出的可微分神经计算机（Differentiable Neural Computer, DNC）是NTM的重要扩展，引入了动态内存分配（使用空闲列表跟踪未使用的记忆槽）和时序链接（记录记忆的写入顺序以支持顺序遍历），进一步增强了记忆管理的灵活性和可靠性。
6 基于神经动力学的联想记忆¶
联想记忆（Associative Memory）是一种基于内容寻址的记忆系统——给定一个输入模式（可能是部分的或带噪声的），系统能够检索出与之最相似的已存储模式。联想记忆与注意力机制在本质上密切相关——两者都涉及基于查询内容在存储信息中进行检索。
6.1 Hopfield网络¶
Hopfield网络（Hopfield, 1982）是最经典的联想记忆模型，它将信息存储在网络的连接权重中，通过网络的动力学演化实现模式的检索。
网络结构：Hopfield网络是一个全连接的无向图，包含 \(N\) 个二值神经元 \(s_i \in \{-1, +1\}\)。神经元之间的连接权重对称且无自连接：\(w_{ij} = w_{ji}\)，\(w_{ii} = 0\)。
能量函数：Hopfield网络定义了一个能量函数（Lyapunov函数）：
其中 \(\mathbf{W}\) 为权重矩阵，\(\mathbf{b}\) 为偏置向量。
异步更新规则：在每个时间步随机选取一个神经元 \(i\)，根据其他神经元的当前状态更新：
关键定理：每次异步更新都不会增加网络的能量（\(\Delta E \leq 0\)），因此网络的动态演化过程等价于在能量曲面上的梯度下降，最终必然收敛到一个能量局部极小值（吸引子/不动点）。
模式存储（Hebbian学习）：将 \(P\) 个待记忆的模式 \(\{\boldsymbol{\xi}^1, \ldots, \boldsymbol{\xi}^P\}\)（\(\boldsymbol{\xi}^\mu \in \{-1, +1\}^N\)）存储到权重矩阵中，采用Hebb规则（Hebb, 1949）：
即 \(\mathbf{W} = \frac{1}{N} \sum_{\mu} \boldsymbol{\xi}^\mu (\boldsymbol{\xi}^\mu)^\top\)。在此权重配置下，每个存储模式 \(\boldsymbol{\xi}^\mu\) 近似为能量函数的一个局部极小值。当网络从一个与某存储模式相近的初始状态出发演化时，它将收敛到该模式所对应的能量极小值，从而实现联想检索。
存储容量：Hopfield网络的存储容量——即能够可靠存储和检索的模式数量——是一个关键的理论问题。Amit等人（1985）利用统计力学的方法证明，当存储模式数量 \(P\) 超过临界值 \(P_c \approx 0.138N\) 时，网络将发生相变（phase transition），存储模式不再是稳定的吸引子，检索性能急剧下降。因此，经典Hopfield网络的存储容量与神经元数量 \(N\) 成线性关系。
伪记忆（Spurious States）：除了存储的目标模式外，能量函数还可能存在其他局部极小值——这些非目标的稳定状态称为伪记忆。伪记忆包括存储模式的反转（\(-\boldsymbol{\xi}^\mu\)）以及多个存储模式的混合状态。伪记忆的存在降低了检索的可靠性。
6.2 使用联想记忆增加网络容量¶
经典Hopfield网络的线性存储容量（\(O(N)\)）严重限制了其实用性。近年来，研究者从多个角度探索了提升联想记忆容量的方法。
现代Hopfield网络（Modern Hopfield Networks）（Ramsauer et al., 2021）通过引入连续状态和修改的能量函数，将存储容量从线性 \(O(N)\) 提升到指数级 \(O(e^{cN})\)：
其中 \(\text{lse}\) 为log-sum-exp函数，\(\mathbf{X} = [\boldsymbol{\xi}^1, \ldots, \boldsymbol{\xi}^P]\) 为存储模式矩阵，\(\beta > 0\) 为逆温度参数。对应的更新规则为：
这一更新规则与Transformer中的自注意力具有惊人的形式对应——将存储模式视为键和值，将当前状态视为查询，则一步检索恰好等价于一次注意力计算。Ramsauer等人由此建立了Hopfield网络与Transformer注意力之间的深刻联系：Transformer的注意力层可以被理解为一步现代Hopfield网络的检索操作，而多层Transformer则对应于联想记忆的多步迭代检索。
密集联想记忆（Dense Associative Memories）（Krotov & Hopfield, 2016）通过引入高阶交互项（而非传统的二次交互）来提升存储容量。将能量函数推广为：
其中 \(F(\cdot)\) 为非线性函数。当 \(F(x) = x^n\)（\(n > 2\)）时，存储容量可以超线性增长，达到 \(O(N^{n-1})\)。当 \(F(x) = \exp(x)\) 时，容量达到指数级——这正对应于现代Hopfield网络的情形。
联想记忆在深度学习中的应用：除了与注意力机制的理论联系外，联想记忆的思想在多个方面影响了现代深度学习。产品键记忆（Product Key Memory）（Lample et al., 2019）将大规模键值对存储与神经网络结合，通过近似最近邻搜索实现高效检索。记忆层（Memory Layer）可以嵌入Transformer的前馈层中，将网络的部分参数组织为显式的键值记忆，提升模型在知识密集型任务上的能力。检索增强生成（Retrieval-Augmented Generation, RAG）（Lewis et al., 2020）将外部知识库作为联想记忆，使语言模型能够在生成时动态检索相关文档，有效减少了幻觉（hallucination）问题。
从更宏观的视角看，联想记忆理论为理解深度学习中的信息存储和检索提供了统一的数学框架——无论是注意力机制、外部记忆模块还是前馈层中的参数化记忆，都可以在能量最小化和吸引子动力学的语言下得到一致的描述。这一理论联系不仅加深了我们对现有架构的理解，也为设计新型记忆增强网络提供了原则性的指导。