Transformer 架构详解

提示：下面的示意图使用 Mermaid 绘制，您可以在支持的 Markdown 渲染器中直接查看。

graph LR
    subgraph Encoder
        Input[输入序列] --> Embedding[Embedding]
        Embedding --> PosEnc[位置编码]
        PosEnc --> SA1[多头自注意力 1]
        SA1 --> FF1[前馈网络 1]
        FF1 --> SA2[多头自注意力 2]
        SA2 --> FF2[前馈网络 2]
        FF2 --> OutputE[编码器输出]
    end
    subgraph Decoder
        DecIn[目标序列] --> EmbDec[Embedding]
        EmbDec --> PosDec[位置编码]
        PosDec --> SA_Dec[自注意力]
        SA_Dec --> CrossAtt[跨注意力]
        CrossAtt --> FF_Dec[前馈网络]
        FF_Dec --> OutputD[解码器输出]
    end
    OutputE --> CrossAtt

关键组件

PyTorch 示例：实现一个简化的 Transformer 编码器层

运行提示：src 的形状应为 (seq_len, batch_size, d_model)。

小结

Transformer 通过并行的自注意力机制和层级残差结构，实现了对长序列的高效建模。掌握上述核心模块后，您即可自行构建更复杂的模型，如 BERT、GPT 系列等。