AI论文解读 | 前缀微调

AI论文解读 | 前缀微调

1 前置知识

好的，理解《Prefix-Tuning: Optimizing Continuous Prompts for Generation》这篇论文，你需要先了解一些机器学习和自然语言处理（NLP）的基础概念。我会尽量用通俗易懂的方式，并结合一些简单的图示来解释。

核心来说，Prefix-Tuning 是一种让大型语言模型（比如 GPT 系列）在 不改变模型本身 的情况下，高效适应新任务的方法。

以下是你需要掌握的基础知识：

1. 大型语言模型 (Large Language Models, LLMs)

   +----------------------+     +----------------------+     +--------------------------+  
   |   海量文本数据       | --> |      预训练 LLM      | --> |   通用语言理解/生成能力  |  
   | (互联网、书籍等)     |     | (如 GPT, BERT)       |     | (模型学会了“说话”)       |  
   +----------------------+     +----------------------+     +--------------------------+  
                                     |  
                                     | (传统方法：Fine-tuning)  
                                     V  
   +----------------------+     +----------------------+     +--------------------------+  
   | 特定任务数据 (少量)  | --> |  调整 LLM 所有参数   | --> |  针对特定任务的模型      |  
   | (如情感分类数据)     |     | (计算/存储开销大)    |     | (模型学会了“做特定事”)   |  
   +----------------------+     +----------------------+     +--------------------------+  
   

• 预训练 (Pre-training): 在巨大的数据集上学习通用语言知识，比如预测下一个词。这个阶段计算量非常大。
• 微调 (Fine-tuning): 把预训练好的模型，在一个 特定任务 的较小数据集上继续训练，让模型适应这个任务（比如情感分析、文本摘要）。这通常需要调整模型内部大量的参数。

• 是什么？ 就像 GPT-3、GPT-4、BERT 这样，通过在海量文本数据上进行“预训练”（Pre-training）学习到的模型。它们学会了语言的通用规律、语法、甚至一些世界知识。
• 怎么用？
• 为什么需要新方法？ 微调整个大型模型代价很高（计算资源、存储空间），而且为每个任务都保存一个完整模型副本很不方便。

简单理解 Self-Attention:  
句子: "The cat sat on the mat"  
处理 "sat" 时:  
   "The"  <-- (低相关性) -- "sat" -- (高相关性) --> "cat"  
   "cat"  <-- (高相关性) -- "sat" -- (高相关性) --> "on"  
   "on"   <-- (高相关性) -- "sat" -- (中相关性) --> "the"  
   "mat"  <-- (中相关性) -- "sat" -- (低相关性) --> "The"  
模型通过计算相关性权重，知道 "sat" 主要和 "cat"、"on"、"mat" 相关。  

• 是什么？ 这是当前大多数 LLMs（包括 GPT 和 BERT）的基础架构。它最核心的机制是 自注意力（Self-Attention）。
• 自注意力 (Self-Attention): 让模型在处理一个词时，能够“关注”句子中其他所有词，并根据相关性决定哪些词更重要。比如处理 "bank" 这个词时，如果句子里有 "river"，模型会更关注 "river"，理解它是“河岸”；如果有 "money"，则更关注 "money"，理解它是“银行”。
• 重要性： Prefix-Tuning 正是作用于 Transformer 的注意力层。理解注意力机制有助于明白 Prefix-Tuning 如何影响模型的行为。

• 给 GPT 输入："Translate this English sentence to French: 'Hello world.'"
• 给 GPT 输入："Summarize the following text: [一段很长的文本]"

• 是什么？ 在不改变模型参数的情况下，通过给 LLM 输入特定的指令或示例（即 "Prompt"），引导它完成特定任务。
• 例子：
• 与 Prefix-Tuning 的关系： Prefix-Tuning 可以看作是一种 自动学习 最优 Prompt 的方法。但它学习的不是人类可读的文本 Prompt，而是模型能直接理解的 连续向量（见下一点）。

• 词语 (离散的) --> 向量 (连续的)
• "猫" --> [0.1, -0.5, 1.2, ...]
• "狗" --> [0.2, -0.4, 1.1, ...] (向量与"猫"比较接近)

• 嵌入： 在 NLP 中，我们不能直接把词语喂给模型。需要先把词语转换成 向量（一串数字），这个过程叫嵌入。这些向量存在于一个高维空间中，语义相近的词语，它们的向量也倾向于在空间中靠得更近。
• 连续表示： 指的就是这些由数字组成的向量。它们与离散的词语（Token）相对。
• 与 Prefix-Tuning 的关系： Prefix-Tuning 不像传统 Prompting 那样使用文本（离散词语）作为提示，而是直接优化一系列 连续的向量（称为 "Prefix"），并将这些向量添加到模型输入的前面。模型在处理后续真实输入时，会受到这些 Prefix 向量的影响。

对比 Fine-tuning 和 Prefix-Tuning:  

1. 全量微调 (Fine-tuning):  
   +----------------------+     +----------------------+  
   |   预训练 LLM (巨大)  | --> |   调整几乎所有参数   | --> 任务特定模型 (巨大)  
   +----------------------+     +----------------------+  
                                  (训练开销大，存储开销大)  

2. Prefix-Tuning:  
   +----------------------+     +----------------------+     +------------------------+  
   |   预训练 LLM (冻结)  | + |   学习 Prefix 向量   | --> |   任务特定行为         |  
   |   (参数不变)         |   |   (少量参数)         |     |   (LLM本身 + Prefix)   |  
   +----------------------+     +----------------------+     +------------------------+  
                                  (训练开销小，存储开销极小)  

• 是什么？ 一类旨在减少微调 LLM 时所需调整参数数量的技术的总称。目标是既能让模型适应新任务，又不必更新整个庞大的模型。
• Prefix-Tuning 就是其中一种 PEFT 方法。 其他类似的方法还有 Adapter Tuning, LoRA 等。它们的共同点是：冻结 (Freeze) 大部分 LLM 的参数，只训练少量 新增 或 选择性 的参数。
• Prefix-Tuning 的做法： 冻结整个 LLM，只训练加在输入序列前面的那一小段 Prefix 向量。

• 是什么？ 让机器生成人类可读文本的任务。
• 例子： 文本摘要、机器翻译、写故事、对话系统等。
• 与 Prefix-Tuning 的关系： Prefix-Tuning 论文主要关注如何应用这种方法来提升 LLM 在 生成任务 上的表现，比如生成摘要或进行表格到文本的转换。Prefix 向量被优化来引导模型生成更符合任务要求的输出。

总结一下，理解 Prefix-Tuning 你需要知道：

• 背景： LLMs 很强大但微调代价高。
• 基础架构： LLMs 常用 Transformer，其核心是 Attention 机制。
• 核心思想： Prefix-Tuning 通过学习添加到输入前的 连续向量 (Prefix) 来引导 冻结的 LLM 适应新任务，这是一种 参数高效 的方法，属于 PEFT 的一种。
• 应用领域： 主要用于 自然语言生成 (NLG) 任务。

掌握了这些基础知识，再去看 Prefix-Tuning 论文，你就能更好地理解它的动机、方法细节（如何将 Prefix 向量整合到 Transformer 的每一层、如何优化这些向量）以及它为什么有效了。祝你阅读顺利！

2 解读论文

好的，我们来一起深入解读一下《Prefix-Tuning: Optimizing Continuous Prompts for Generation》这篇非常有影响力的论文。我会尽量用简单易懂的方式，结合图示，把它的核心思想、工作原理和重要性讲清楚。

论文核心目标：

在不改变（冻结）大型预训练语言模型（如 GPT-2/3）参数的情况下，让它能够高效地适应各种下游的自然语言生成（NLG）任务（比如文本摘要、表格转文本等）。

要解决的问题：传统方法的困境

1. 全量微调 (Full Fine-tuning):

   +----------------------+     +----------------------+     +--------------------------+  
   |   预训练 LLM (巨大)  | --> |   调整所有内部参数   | --> |  任务A专属模型 (巨大)   |  
   |   (e.g., 175B 参数)  |     |   (计算/存储成本高)  |     |  (需存储 175B 参数)     |  
   +----------------------+     +----------------------+     +--------------------------+  
   +----------------------+     +----------------------+     +--------------------------+  
   |   预训练 LLM (巨大)  | --> |   调整所有内部参数   | --> |  任务B专属模型 (巨大)   |  
   |   (e.g., 175B 参数)  |     |   (计算/存储成本高)  |     |  (需存储 175B 参数)     |  
   +----------------------+     +----------------------+     +--------------------------+  

• 计算昂贵: 训练整个大模型需要大量算力。
• 存储昂贵: 每个任务都需要保存一份完整的、调整过的模型副本，如果模型有数十亿甚至千亿参数，这会占用巨大的存储空间。

• 做法: 把整个预训练模型在特定任务的数据上重新训练，调整模型内部所有的（或大部分）参数。
• 优点: 通常效果很好，模型能充分适应任务。
• 缺点:

• 效果不稳定: 设计好的 Prompt 需要大量尝试和经验，效果可能不如微调。
• 表达能力有限: 离散的文本 Prompt 可能不足以精确地“指导”模型的复杂行为。

• 做法: 给模型输入一段文本指令（Prompt），引导它完成任务，模型本身参数不变。
• 优点: 非常灵活，不需要重新训练或存储模型副本。
• 缺点:

Prefix-Tuning 的核心思想：可学习的“连续提示”

Prefix-Tuning 提出了一种全新的思路：不微调模型，也不用人工设计的文本 Prompt，而是为每个任务学习一小段特定的、连续的向量序列（称为 "Prefix"），把这段 Prefix “加”在输入的最前面，用它来指导冻结的 LLM 进行生成。

• “连续” (Continuous): 这个 Prefix 不是由人类可读的词语组成的，而是由模型可以直接理解的、可以自由优化的向量（一串数字）组成。
• “可学习” (Optimizable): 这些 Prefix 向量是模型的唯一可训练参数。在训练阶段，只有这些 Prefix 向量会被更新，巨大的 LLM 主体保持不变（冻结）。
• “加在前面” (Prefix): 顾名思义，这些向量序列被放置在实际输入序列的前面。

类比理解:

• 想象 LLM 是一台功能强大的收音机（预训练模型），能接收很多“频道”（语言知识）。
• 全量微调 就像是为每个你想听的特定电台（任务），都重新改装一遍收音机的内部电路，成本高昂。
• 标准提示 就像是口头告诉收音机你想听什么频道，但不一定每次都能准确调到。
• Prefix-Tuning 就像是保持收音机内部不变，但为每个电台（任务）精心制作了一个专属的、高精度调谐旋钮（Prefix 向量）。你只需要安装这个小小的旋钮，就能让收音机完美地播放该电台的节目。训练过程就是不断调整这个旋钮，让它达到最佳效果。

深入讲解：Prefix-Tuning 如何工作？（机制）

这部分是论文的关键技术点。Prefix-Tuning 不是简单地把 Prefix 向量和输入向量拼在一起就完事了，它的巧妙之处在于将 Prefix 向量深度整合进了 Transformer 模型的每一层注意力机制中。

1. 冻结 LLM: 首先，把庞大的预训练语言模型（如 GPT-2）的所有参数固定住，不让它们在训练中被修改。

2. 引入 Prefix 参数:

• 定义一个小的、可训练的 **Prefix 矩阵 **。这个矩阵的维度通常是 (prefix_length, hidden_size)，其中 prefix_length 是你设定的 Prefix 序列长度（比如 10 或 20），hidden_size 是 Transformer 模型的隐藏层维度（比如 768）。
• 这些  中的向量就是我们要学习的参数。
• (技术细节：为了训练更稳定，论文实际使用了“重参数化 (Reparameterization)”技巧，即用一个更小的矩阵和一个 MLP (多层感知机) 来生成  ，但这不影响核心理解，可以认为  本身就是可训练的。)

标准 Transformer Attention (简化示意):  
Input_Sequence (X_in) --> [ Q_in | K_in | V_in ] --> Attention Calculation --> Output  
Prefix-Tuning Attention (简化示意):  
            +-----------------+  
            | Prefix (P_idx)  | --> [ K_p | V_p ] ----+  
            +-----------------+                     |  
                                                    V  
Input_Sequence (X_in) --> [ Q_in | K_in | V_in ] --> Attention([ K_p | K_in ], [ V_p | V_in ], Q_in) --> Output  
^                                      ^  
|                                      |  
+------------ (LLM 参数冻结) ------------+       (只有 Prefix 参数 P_theta 可训练)  

• 将 Prefix 向量序列  (从  中按索引取出的  个向量) 视为一段虚拟的输入序列。
• 在计算 Key () 和 Value () 时，将由 Prefix 向量生成的  和 拼接 到由真实输入生成的  和  前面。
• 即： ， 。（; 代表拼接）
• Query () 仍然只由真实输入  生成。
• 然后，模型在计算注意力时，真实输入的每个位置 () 就可以“关注”到 Prefix 提供的虚拟信息 ()，同时也能关注真实输入自身的信息 ()。

• 回忆一下 Transformer 的核心是**自注意力机制 (Self-Attention)**。在每一层，输入序列  会被线性变换成三个矩阵：查询 (Query, )、键 (Key, )、值 (Value, )。然后通过计算  和  的相似度，来决定  中哪些信息更重要，最终得到该层的输出。计算公式简化为： 。
• Prefix-Tuning 的操作：

• 给定一个任务（如文本摘要），输入是文章，目标是摘要。
• 将文章输入  和可训练的 Prefix  输入到冻结的 LLM 中。
• 模型按照上述修改后的注意力机制进行计算，最终生成一个输出序列（预测的摘要）。
• 计算预测摘要与真实摘要之间的损失（比如交叉熵损失）。
• 关键： 使用反向传播算法，计算损失对 Prefix 参数  的梯度，并更新 。LLM 的参数完全不更新。
• 重复这个过程，直到 Prefix 向量能够有效地引导 LLM 生成高质量的任务输出。

为什么是“连续”的 Prefix？

• 表达能力强: 相比离散的词语，连续的向量空间可以捕捉更细微、更复杂的指令信息。模型可以通过梯度下降直接优化这些向量，找到最适合任务的“指令表示”。
• 直接优化: 可以用标准的梯度下降方法进行端到端的训练，而设计最优的离散文本 Prompt 则困难得多。

Prefix-Tuning 的主要优势：

1. 极高的参数效率 (Parameter Efficiency):

   参数量对比 (示意):  
   +--------------------------------------------------+  
   | 全量微调: 训练/存储整个模型 (e.g., 175B 参数)    |  
   +--------------------------------------------------+  
   +----------------------+ +-------------------------+  
   | Prefix-Tuning:       | | 冻结的 LLM (175B 参数)  |  
   | 只训练/存储 Prefix   | | (无需存储副本)          |  
   | (e.g., 几百K ~ 几M 参数)| +-------------------------+  
   +----------------------+  

• 只需要训练和存储非常小的 Prefix 参数（比如几十万个），而不是整个 LLM 的数十亿甚至千亿参数。论文指出，Prefix-Tuning 只需要存储 0.1% 左右的参数量就能达到接近全量微调的效果。
• 这极大地降低了计算和存储成本。

• 每个任务对应一个小的 Prefix 文件。切换任务只需加载对应的 Prefix，无需加载整个大模型。非常方便部署和管理。

• 在许多 NLG 任务上（尤其是数据量不是超大的情况下），Prefix-Tuning 能达到与全量微调相媲美的性能。
• 在低数据场景下（训练数据很少时），有时表现甚至优于全量微调，因为它避免了过拟合整个大模型。

• 由于 LLM 主体被冻结，它仍然保留了原始的通用语言能力，不易在适应特定任务时遗忘通用知识（减轻了灾难性遗忘问题）。

总结与意义：

《Prefix-Tuning》是参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）领域的开创性工作之一。它巧妙地利用了 Transformer 架构的特点，通过优化添加到输入前端并深度融入注意力机制的连续向量 Prefix，实现了在冻结大型语言模型的情况下，高效适应下游任务的目标。

这项技术极大地推动了如何更经济、更灵活地使用超大型语言模型的研究和应用，为后续的 Prompt Tuning, LoRA 等更多 PEFT 方法奠定了基础。理解 Prefix-Tuning 对于了解当前大模型适配的主流技术至关重要。

3 术语

好的，我们来梳理一下《Prefix-Tuning: Optimizing Continuous Prompts for Generation》这篇论文中的一些关键术语，并用通俗易懂的方式进行详细解释。

1. Prefix-Tuning (前缀调优)

   +--------------------------+     +----------------------------+  
   |      冻结的 LLM (巨大)   | + |   可训练的 Prefix (微小)   | => 任务特定行为  
   |      (参数不更新)        |   |   (唯一更新的参数)         |  
   +--------------------------+     +----------------------------+  
              ^                                  ^  
              |--- (保持不变)                      |--- (学习优化) --- 任务数据  
   

• 定义: 一种参数高效的微调（PEFT）方法，旨在通过冻结大型预训练语言模型（LLM）的主体参数，并仅为特定任务学习一小段添加到输入序列前端的、连续的向量序列（称为"Prefix"），来让 LLM 适应下游任务。
• 解释: 这是论文提出的核心方法名称。它不是去调整模型本身（像拧螺丝一样微调内部结构），而是给模型加一个“外挂”的、可学习的“指令头”（Prefix），这个指令头会告诉模型该如何针对当前任务工作。训练时，只优化这个小小的指令头，模型主体保持不变。
• 与论文关系: 整篇论文都在介绍和评估这种方法。

1. Continuous Prompt / Continuous Prefix (连续提示 / 连续前缀)

   对比:  
   Discrete Prompt:  "Translate to French: Hello"  (由词语组成)  
   Continuous Prefix: [ [-0.1, 1.2, ...], [-0.5, 0.8, ...], ..., [0.3, -1.1, ...] ] (由向量组成)  
                      <-------------------- Prefix Length --------------------->  

• 定义: 指 Prefix-Tuning 中学习的那段向量序列。它与传统的、由离散词语（tokens）组成的文本提示（Discrete Prompt）相对。这些向量是模型可以直接处理的、在连续空间中可以通过梯度下降优化的参数。
• 解释: 想象一下，普通提示是给模型写一段话（比如 "请总结以下文章："），这是离散的词语。而连续提示/前缀，则是直接给模型一串特别调制的“数字信号”（向量），这些信号对模型来说是更直接、更灵活的指令。因为是连续的数字，所以可以用数学方法（梯度下降）精确地调整这些信号，使其达到最佳效果。
• 与论文关系: 这是 Prefix-Tuning 方法的核心组成部分和主要创新点。论文研究如何优化这些连续向量来指导模型。

1. Fine-tuning (微调)

• 定义: 传统的将预训练语言模型应用于下游任务的方法。它通常涉及在一个特定任务的数据集上继续训练模型，并更新模型的大部分或全部参数。
• 解释: 这是 Prefix-Tuning 主要对比和试图改进的方法。可以理解为对一个通用模型（比如一个刚出厂的全能机器人）进行全面的“重新编程和硬件调整”，使其成为一个特定任务的专家（比如专门扫地的机器人）。代价是每次调整都很费劲，而且调整后的机器人就只擅长这一件事了，还需要专门存放。
• 与论文关系: Prefix-Tuning 的动机就是为了解决全量微调带来的高计算成本和高存储成本问题。论文中会反复将 Prefix-Tuning 的效果和资源消耗与 Fine-tuning 进行比较。

1. Frozen Parameters (冻结参数)

• 定义: 在模型训练过程中保持不变、不被更新的参数。
• 解释: 在 Prefix-Tuning 中，指的是庞大的预训练语言模型（如 GPT-2）的主体参数。这些参数在预训练阶段已经学到了通用的语言知识，Prefix-Tuning 的目标是在不“打扰”这些已有知识的前提下，增加任务适应性。冻结它们可以极大地减少需要训练的参数量。
• 与论文关系: 这是 Prefix-Tuning 实现参数高效的关键机制。整个 LLM 都被冻结，只有 Prefix 参数是可训练的。

1. Trainable Prefix Parameters (可训练前缀参数)

   模型参数构成示意:  
   +-----------------------------------------+  
   |          整个模型参数                   |  
   | +-------------------------------------+ |  
   | |         LLM 主体参数                | |  <----FrozenParameters (冻结)  
   | |         (e.g., billions)            | |  
   | +-------------------------------------+ |  
   | +----------------+                      |  
   | | Prefix 参数    | <----TrainableParameters (可训练)  
   | | (e.g., thousands|                      |  
   | |  tomillions)  |                      |  
   | +----------------+                      |  
   +-----------------------------------------+  
   

• 定义: 在 Prefix-Tuning 方法中，唯一需要通过训练数据进行学习和更新的参数，即构成 Continuous Prefix 的那些向量的数值。
• 解释: 与“冻结参数”相对。虽然 LLM 主体不动，但必须有某些东西是可变的，才能适应新任务。在 Prefix-Tuning 中，这个可变的部分就是 Prefix 向量。训练的目标就是找到最优的 Prefix 向量组合，使其能最好地引导冻结的 LLM 完成任务。
• 与论文关系: 这是 Prefix-Tuning 训练过程的核心优化对象。论文展示了仅优化这些少量参数就能取得良好效果。

1. Parameter Efficiency (参数效率)

• 训练更快、需要更少的计算资源。
• 存储成本更低，因为只需要为每个任务存储少量特定参数（如 Prefix），而不是整个模型副本。

• 定义: 指用相对很少的可训练参数就能达到与需要训练更多参数（如全量微调）的方法相媲美的性能。
• 解释: 这是衡量模型适应方法好坏的一个重要指标。参数效率高意味着：
• 与论文关系: Prefix-Tuning 的一个核心优势和主要卖点就是其高参数效率。论文用实验证明了这一点。

1. Self-Attention Interaction (K, V Modification) (自注意力交互 - K, V 修改)

   Attention 计算 (简化):  
   Standard: Attention(Q_in, K_in, V_in)  
   Prefix-Tuning: Attention(Q_in, [K_p ; K_in], [V_p ; V_in])  
                                 ^-- Prefix Key   ^-- Prefix Value  
                                 拼接             拼接  

• 定义: Prefix-Tuning 中，Prefix 向量影响模型行为的具体机制。它不是简单地作为额外输入，而是被整合到 Transformer 每一层的自注意力计算中，特别是用来扩展（拼接）键（Key, K）和值（Value, V）矩阵。
• 解释: Transformer 通过查询（Q）与键（K）的匹配度来加权聚合值（V）的信息。Prefix-Tuning 让真实输入产生的 Q 可以“看到”并利用由 Prefix 向量产生的 K 和 V。这意味着 Prefix 可以在模型处理信息的每一个步骤中都施加影响，引导模型的内部状态（激活值/Hidden State）向着有利于完成特定任务的方向发展。
• 与论文关系: 这是理解 Prefix-Tuning 工作原理的技术核心。解释了 Prefix 如何在不改变模型结构和权重的情况下，深度地影响模型的计算流。

1. Reparameterization (重参数化)

• 定义: 论文中使用的一种技术，指不直接优化 Prefix 矩阵  本身，而是通过一个更小的矩阵  和一个小型神经网络（如 MLP）来生成  。即   。优化时只更新  和 MLP 的参数。
• 解释: 直接优化高维的 Prefix 向量可能不稳定或效率不高。重参数化就像是引入了一个“控制器”，用较少的控制参数 (  ) 通过一个转换器 (MLP) 来生成最终需要的复杂 Prefix 信号 (  )。这样做有时能让训练过程更稳定，并且可能只需要更少的实际可训练参数就能生成有效的 Prefix。
• 与论文关系: 这是论文中一个重要的实现细节，有助于提高 Prefix-Tuning 的实际效果和训练稳定性。

1. Natural Language Generation (NLG) (自然语言生成)

• 定义: 人工智能领域的一个分支，专注于让机器生成人类可读、连贯、有意义的文本。
• 解释: 包括的任务有写摘要、机器翻译、写故事、回答问题、根据表格信息写报告等。
• 与论文关系: Prefix-Tuning 主要被设计和评估用于 NLG 任务。论文中的实验大部分集中在文本摘要和表格到文本生成等 NLG 任务上，展示了 Prefix-Tuning 在这些任务上的有效性。

理解这些关键术语将极大地帮助你掌握 Prefix-Tuning 论文的核心思想、技术细节和其在领域内的重要性。

参考

https://aclanthology.org/2021.acl-long.353.pdf

https://edu.aliyun.com/course/3126500/lesson/342510265

https://github.com/AlibabaCloudDocs/aliyun_acp_learning/blob/main/%E5%A4%A7%E6%A8%A1%E5%9E%8BACP%E8%AE%A4%E8%AF%81%E6%95%99%E7%A8%8B/p2_%E6%9E%84%E9%80%A0%E5%A4%A7%E6%A8%A1%E5%9E%8B%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/2_7_%E9%80%9A%E8%BF%87%E5%BE%AE%E8%B0%83%E6%8F%90%E5%8D%87%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%87%86%E7%A1%AE%E5%BA%A6%E4%B8%8E%E6%95%88%E7%8E%87.ipynb

 以上内容基于DeepSeek、QwQ及诸多AI生成, 轻微人工调整, 感谢杭州深度求索人工智能、阿里云等公司. 

 AI 生成的内容请自行辨别正确性, 当然也多了些许踩坑的乐趣, 毕竟冒险是每个男人的天性.