ReaderMX.
PostgreSQL码农集散地

AI论文解读 | 通用多语言长文本表示与重排序模型 mGTE

Pdigoal约 12 分钟

AI论文解读 | 通用多语言长文本表示与重排序模型 mGTE

1 前置知识

好的，要理解这篇名为《mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval》（mGTE：用于多语言文本检索的广义长上下文文本表示和重排序模型）的论文，你需要掌握以下几个方面的基础知识：

1. 文本检索 (Text Retrieval)

  • 概念: 文本检索是指从大量的文档集合中，根据用户给定的查询（query），找到与查询相关的文档。这就像你在搜索引擎中输入关键词，搜索引擎返回给你相关的网页一样。
  • 流程: 文本检索通常包含以下几个步骤：
    • 索引 (Indexing): 对文档集合进行预处理，建立索引，方便快速查找。
    • 检索 (Retrieval): 根据用户查询，从索引中找到候选文档。
    • 排序 (Ranking): 对候选文档进行排序，将最相关的文档排在前面。

2. 多阶段检索 (Multi-Stage Retrieval)

  • 概念: 由于直接对大规模文档库进行精确检索计算量太大，通常采用多阶段检索策略。
  • 流程:
    • 召回 (Retrieval/Recall): 第一阶段，使用效率较高的模型（例如，基于关键词的BM25算法或简单的向量模型）快速筛选出可能相关的候选文档。这一阶段的目标是尽可能多地召回相关文档，但允许一定的噪声。
    • 排序 (Reranking): 第二阶段，使用更精确但计算成本更高的模型（例如，Cross-Encoder），对第一阶段召回的候选文档进行重新排序，以提高检索的准确性。

3. 文本表示模型 (Text Representation Model, TRM)

  • 概念: 文本表示模型是将文本转换为计算机可以理解的向量形式的模型。这些向量能够捕捉文本的语义信息，使得计算机可以计算文本之间的相似度。
  • 类型:
    • 稀疏表示 (Sparse Representation): 例如，词袋模型 (Bag of Words, BoW) 或 TF-IDF。这些方法将文本表示为词频向量，向量中只有少数非零元素，因此是稀疏的。
    • 稠密表示 (Dense Representation): 例如，Word2Vec、GloVe 或 Transformer 模型 (BERT, RoBERTa)。这些方法将文本表示为低维稠密向量，向量中的每个元素都有值，可以更好地捕捉文本的语义信息。

4. 对比学习 (Contrastive Learning)

  • 概念: 对比学习是一种自监督学习方法，通过学习区分相似和不相似的样本来训练模型。

  • 目标: 让相似的样本在向量空间中更接近，不相似的样本更远离。

  • InfoNCE Loss: 一种常用的对比学习损失函数。它的目标是最大化正样本对的相似度，同时最小化负样本对的相似度。

    • L = -log(exp(sim(q, d+)/τ) / Σ exp(sim(q, di)/τ))
    • 其中：
    • q 是查询 (query) 的向量表示
    • d+ 是与查询相关的正样本文档的向量表示
    • di 是与查询不相关的负样本文档的向量表示
    • sim(q, d) 是计算查询和文档之间相似度的函数（例如，点积或余弦相似度）
    • τ 是温度参数，用于调整相似度分布的平滑程度 , 参考 https://github.com/AlibabaCloudDocs/aliyun_acp_learning/blob/main/%E5%A4%A7%E6%A8%A1%E5%9E%8BACP%E8%AE%A4%E8%AF%81%E6%95%99%E7%A8%8B/p2_%E6%9E%84%E9%80%A0%E5%A4%A7%E6%A8%A1%E5%9E%8B%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/2_1_%E7%94%A8%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%9E%84%E5%BB%BA%E6%96%B0%E4%BA%BA%E7%AD%94%E7%96%91%E6%9C%BA%E5%99%A8%E4%BA%BA.ipynb
    • 公式：

5. Transformer 模型

  • 概念: Transformer 是一种基于自注意力机制的深度学习模型，在自然语言处理领域取得了巨大的成功。
  • 关键组件:
    • 自注意力机制 (Self-Attention): 允许模型在处理每个词时，同时关注句子中的所有其他词，从而捕捉词与词之间的关系。
    • 编码器 (Encoder) 和解码器 (Decoder): Transformer 通常由编码器和解码器组成。编码器负责将输入文本转换为向量表示，解码器负责根据向量表示生成目标文本。
  • BERT (Bidirectional Encoder Representations from Transformers): 一种只使用 Transformer 编码器的模型，通过预训练学习文本的上下文表示。
  • RoBERTa: BERT 的改进版本，使用了更大的数据集和更长的训练时间。

6. 长文本处理

  • 问题: 传统的 Transformer 模型在处理长文本时，计算复杂度会显著增加，并且可能存在梯度消失等问题。
  • 解决方案:
    • 截断 (Truncation): 将长文本截断为固定长度的片段。
    • 滑动窗口 (Sliding Window): 使用固定大小的窗口在文本上滑动，每次处理一个窗口内的文本。
    • 稀疏注意力 (Sparse Attention): 减少自注意力机制的计算量，例如，只关注部分词或使用局部注意力。
    • RoPE (Rotary Position Embedding): 旋转位置编码，一种相对位置编码方法，可以有效地处理长文本。

7. 多语言模型

  • 概念: 多语言模型是指可以处理多种语言的模型。
  • XLM-R (Cross-lingual Language Model - RoBERTa): 一种基于 RoBERTa 的多语言模型，通过在大规模多语言语料库上进行预训练，学习跨语言的文本表示。

8. 效率优化

  • Unpadding: 移除输入序列中的填充 (padding) 部分，减少不必要的计算。
  • Memory-Efficient Attention: 减少计算自注意力机制所需的内存。
  • FlashAttention: 一种快速且节省内存的注意力机制实现。

图解：

  • Transformer 模型结构：

    [Input Text] --> [Embedding] --> [Transformer Encoder (Self-Attention, Feed Forward)] --> [Output Representation]  

  • 多阶段检索流程：

    [User Query] --> [召回 (BM25/向量模型)] --> [候选文档集合] --> [排序 (Cross-Encoder)] --> [排序后的文档列表]  

总结：

理解这篇论文需要对文本检索、多阶段检索、文本表示模型、对比学习、Transformer 模型、长文本处理、多语言模型以及效率优化等概念有基本的了解。希望这些解释和图示能够帮助你更好地理解这篇论文！

2 解读论文

好的，我们来用通俗易懂的方式解读《mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval》这篇论文，并深入讲解其关键内容。

论文核心思想：

这篇论文的核心是提出了一个名为 mGTE 的模型，它主要解决以下问题：

  1. 多语言文本检索： 如何让一个模型能够理解并检索多种语言的文本，而不是只能处理单一语言。
  2. 长文本处理： 如何有效地处理长文本，而不是只能处理短文本。
  3. 检索效率和准确率的平衡： 如何在保证检索速度的同时，尽可能提高检索的准确率。

mGTE 模型的目标是成为一个通用的、高效的、准确的多语言长文本检索模型。

mGTE 模型架构：

mGTE 模型主要由以下几个部分组成：

  1. 文本编码器 (Text Encoder): 用于将文本（包括查询和文档）转换为向量表示。mGTE 使用了基于 Transformer 的预训练语言模型（例如，XLM-R），并对其进行了改进，使其更适合长文本处理。
  2. 对比学习训练 (Contrastive Learning): 使用对比学习的方法训练文本编码器，使其能够更好地捕捉文本的语义信息，并区分相似和不相似的文本。
  3. 重排序模型 (Reranking Model): 使用一个更精确但计算成本更高的模型，对第一阶段召回的候选文档进行重新排序，以提高检索的准确性。

关键技术点深入讲解：

  1. 广义文本表示 (Generalized Text Representation):

    [English Query: "What is the capital of France?"] --> [mGTE Encoder] --> [Vector Representation]  
    [Chinese Document: "法国的首都是什么？"] --> [mGTE Encoder] --> [Vector Representation]  
    [计算相似度] --> [高相似度]  
  • 使用 XLM-R 等多语言预训练模型： 这些模型已经在多种语言的大规模语料库上进行了预训练，学习了跨语言的文本表示。
  • 对比学习： 通过对比学习，让模型学习区分不同语言中语义相似和不相似的文本。例如，如果一个查询用英语表达，而一个文档用中文表达，但它们的语义相同，那么模型应该将它们表示为相似的向量。
  • 问题： 不同的语言有不同的语法和语义结构，如何让一个模型能够理解多种语言的文本？
  • mGTE 的解决方案：

  • 长上下文处理 (Long-Context Handling):

    [Long Text: "This is a very long document about the history of artificial intelligence..."] --> [mGTE Encoder with RoPE] --> [Vector Representation]  
    • RoPE (Rotary Position Embedding): 使用旋转位置编码，这是一种相对位置编码方法，可以有效地处理长文本。RoPE 能够更好地捕捉文本中词与词之间的相对位置关系，从而提高模型对长文本的理解能力。
    • 稀疏注意力 (Sparse Attention) (可选): 在某些情况下，mGTE 可能会使用稀疏注意力机制来减少计算量。
    • 问题： 传统的 Transformer 模型在处理长文本时，计算复杂度会显著增加，并且可能存在梯度消失等问题。
    • mGTE 的解决方案：

  • 对比学习训练 (Contrastive Learning Training):

    [Query] --> [Encoder] --> [Vector q]  
    [Positive Document] --> [Encoder] --> [Vector d+]  
    [Negative Document] --> [Encoder] --> [Vector d-]  
    [计算相似度: sim(q, d+)] --> [最大化]  
    [计算相似度: sim(q, d-)] --> [最小化]  
    • InfoNCE Loss: 使用 InfoNCE Loss 作为对比学习的损失函数。InfoNCE Loss 的目标是最大化正样本对的相似度，同时最小化负样本对的相似度。
    • 正负样本构建： 如何构建正负样本对？
    • 正样本： 与查询相关的文档。
    • 负样本： 与查询不相关的文档。
    • 可以使用翻译后的文档作为正样本，以增强模型的跨语言能力。
    • 问题： 如何训练文本编码器，使其能够更好地捕捉文本的语义信息，并区分相似和不相似的文本？
    • mGTE 的解决方案：

  • 重排序模型 (Reranking Model):

    [Query] + [Candidate Document 1] --> [Cross-Encoder] --> [Similarity Score 1]  
    [Query] + [Candidate Document 2] --> [Cross-Encoder] --> [Similarity Score 2]  
    [Query] + [Candidate Document 3] --> [Cross-Encoder] --> [Similarity Score 3]  
    [根据 Similarity Score 排序]  
    • Cross-Encoder: 使用 Cross-Encoder 模型对候选文档进行重新排序。Cross-Encoder 模型将查询和文档一起输入到 Transformer 模型中，从而可以更好地捕捉查询和文档之间的交互信息。
    • 更精确的相似度计算： Cross-Encoder 模型可以进行更精确的相似度计算，从而提高检索的准确率。
    • 问题： 第一阶段召回的候选文档可能包含一些噪声，如何提高检索的准确率？
    • mGTE 的解决方案：

    mGTE 的优势：

    • 多语言支持： 能够处理多种语言的文本检索。
    • 长文本处理： 能够有效地处理长文本。
    • 高准确率： 通过对比学习和重排序模型，提高了检索的准确率。
    • 高效率： 通过各种优化技术，提高了检索的效率。

    总结：

    mGTE 模型是一个通用的、高效的、准确的多语言长文本检索模型。它通过使用多语言预训练模型、对比学习、RoPE 和重排序模型等技术，解决了多语言文本检索和长文本处理中的一些关键问题。这使得 mGTE 成为一个非常有价值的文本检索模型。

    希望这个通俗易懂的解读能够帮助你更好地理解这篇论文！

    3 术语

    好的，我们来提取《mGTE: Generalized Long-Context Text Representation and Reranking Models for Multilingual Text Retrieval》论文中一些重要的术语并详细解释，并使用 Markdown 支持的图形增加解释性。

    1. Text Representation Model (TRM) 文本表示模型

    • 解释： TRM 的作用是将文本（例如，查询或文档）转换为一个向量表示，这个向量能够捕捉文本的语义信息。这个向量表示可以用于计算文本之间的相似度，从而进行文本检索。

    • 类比： 就像给每篇文章贴上一个标签，这个标签包含了文章的主要内容。

    • 图示：

      [文本 (Query/Document)] --> [TRM] --> [向量表示 (Embedding)]  

    2. Reranking Model 重排序模型

    • 解释： 在文本检索中，通常首先使用 TRM 快速召回一批候选文档，然后使用重排序模型对这些候选文档进行更精确的排序。重排序模型通常比 TRM 更复杂，计算成本更高，但能够提供更准确的排序结果。

    • 类比： 就像初选之后再进行精选，选出最优秀的人才。

    • 图示：

      [候选文档列表 (TRM 召回)] --> [重排序模型] --> [排序后的文档列表]  

    3. Multilingual 多语言

    • 解释： 指模型能够处理多种语言的文本，而不是只能处理单一语言。

    • 重要性： 在全球化的背景下，多语言能力对于文本检索模型至关重要。

    • 图示：

      [多种语言的文本] --> [多语言模型] --> [统一的向量表示]  

    4. Long-Context 长上下文

    • 解释： 指模型能够处理较长的文本序列，而不是只能处理短文本。

    • 挑战： 长文本处理面临计算复杂度高、梯度消失等问题。

    • 图示：

      [长文本] --> [长上下文模型] --> [有效的文本表示]  

    5. RoPE (Rotary Position Embedding) 旋转位置编码

    • 解释： 一种相对位置编码方法，可以有效地处理长文本。RoPE 能够更好地捕捉文本中词与词之间的相对位置关系，从而提高模型对长文本的理解能力。

    • 优势： 相比于绝对位置编码，RoPE 在处理长文本时具有更好的泛化能力。

    • 图示：

      [文本序列] --> [RoPE] --> [包含位置信息的文本表示]  

    6. Contrastive Learning 对比学习

    • 解释： 一种自监督学习方法，通过对比正样本对和负样本对，让模型学习区分相似和不相似的文本。

    • 目标： 提高模型对文本语义信息的捕捉能力。

    • 图示：

      [正样本对 (相似的文本)] --> [模型] --> [相似度高]  
      [负样本对 (不相似的文本)] --> [模型] --> [相似度低]  

    7. InfoNCE Loss

    • 解释： 一种常用的对比学习损失函数，目标是最大化正样本对的相似度，同时最小化负样本对的相似度。

    • 作用： 引导模型学习更好的文本表示。

    • 公式 (简化版)：

      L = - log (exp(sim(q, d+)) / sum(exp(sim(q, d_i))))  
      • q: 查询向量
      • d+: 正样本文档向量
      • d_i: 所有文档向量 (包括正样本和负样本)
      • sim: 相似度函数

    8. Matryoshka Embedding 俄罗斯套娃式嵌入

    • 解释： 一种嵌入表示学习方法，允许模型生成具有不同维度的嵌入向量，从而实现灵活的存储和计算。

    • 优势： 可以根据实际需求选择合适的嵌入维度，提高检索效率。

    • 图示：

      [完整嵌入向量] --> [切片] --> [不同维度的子向量]  

    9. Sparse Representation 稀疏表示

    • 解释： 使用稀疏向量表示文本，向量中的每个元素表示一个词项的权重。

    • 优势： 稀疏表示可以有效地减少存储空间和计算量，并且可以提高长文本检索的性能。

    • 图示：

      [文本] --> [词项权重] --> [稀疏向量]  

    10. Cross-Encoder 交叉编码器

    • 解释： 一种将查询和文档一起输入到 Transformer 模型中进行编码的模型。

    • 优势： 相比于 TRM 使用的双塔模型，Cross-Encoder 可以更好地捕捉查询和文档之间的交互信息，从而提高排序的准确性。

    • 图示：

      [Query + Document] --> [Cross-Encoder] --> [相似度得分]  

    希望这些解释和图示能够帮助你更好地理解这篇论文！

    参考

    https://arxiv.org/pdf/2407.19669

    https://edu.aliyun.com/course/3126500/lesson/342570338

    https://github.com/AlibabaCloudDocs/aliyun_acp_learning/blob/main/%E5%A4%A7%E6%A8%A1%E5%9E%8BACP%E8%AE%A4%E8%AF%81%E6%95%99%E7%A8%8B/p2_%E6%9E%84%E9%80%A0%E5%A4%A7%E6%A8%A1%E5%9E%8B%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/2_5_%E4%BC%98%E5%8C%96RAG%E5%BA%94%E7%94%A8%E6%8F%90%E5%8D%87%E9%97%AE%E7%AD%94%E5%87%86%E7%A1%AE%E5%BA%A6.ipynb

    https://github.com/AlibabaCloudDocs/aliyun_acp_learning/blob/main/%E5%A4%A7%E6%A8%A1%E5%9E%8BACP%E8%AE%A4%E8%AF%81%E6%95%99%E7%A8%8B/p2_%E6%9E%84%E9%80%A0%E5%A4%A7%E6%A8%A1%E5%9E%8B%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/2_1_%E7%94%A8%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%9E%84%E5%BB%BA%E6%96%B0%E4%BA%BA%E7%AD%94%E7%96%91%E6%9C%BA%E5%99%A8%E4%BA%BA.ipynb

     以上内容基于DeepSeek、QwQ及诸多AI生成, 轻微人工调整, 感谢杭州深度求索人工智能、阿里云等公司. 

     AI 生成的内容请自行辨别正确性, 当然也多了些许踩坑的乐趣, 毕竟冒险是每个男人的天性.  

    KEEP THE THREAD GOING

    更多来源文章