大模型效能工具之智能CommitMessage

CommitMessage组成部分

• 普通摘要类：提交规范格式 + 变更摘要

• FixBug类：提交规范格式 + 变更摘要（包括bug原因、影响、修复方式等）

git aicommit 用法示例

下面就以智能CommitMessage为例，介绍下大模型效能工具开发流程，主要包括：

• 简单的功能设计
• 应用指标和模型评估指标
• 大模型数据处理过程

• 模型性能优化的几种方式

用户入口一：git aicommit

Git是高效便捷的版本控制系统，虽然百度APP移动端已经多仓库化，随着组件化进程的完善，有至少有一半的需求不需要跨仓库提交而使用Git。

用户入口二：mgit aicommit

MGit (https://github.com/baidu/m-git)是百度自研的一套开源的、基于Git的多仓库管理工具，针对多仓库的应用场景安全地、高效的管理多个Git仓库，在基础版本之上增加MGit插件即可扩展或者修改原命令。

对入口的基本要求：

1. Git/MGit入口的使用不影响原有git/mgit commit功能的使用，只是能力扩展
2. 保证Git和MGit的入口分离的同时，保证功能统一，低成本维护

处理方式：抽象实现共用模块git-aicommit，该模块由MGit插件和Git alias命令直接调用，开发语言选型ruby，便于 MGit 插件直接调用。

git-aicommit模块：提取所有提交仓库中Git暂存区内的变更内容，请求模型服务生成Commit Message。

• MGit/Git入口，即用户使用入口，对于MGit插件可以参考MGit如何扩展(https://github.com/baidu/m-git)；Git Alias按如下配置即可：

# 给 git 添加 Alias：git aicommit$ git config --global alias.aicommit '!f() { ruby -e '\''require "git-aicommit"; MGit::GitAICommit.run(ARGV);'\'' -- "$@"; }; f'

• 个性化插件：提交规范的格式定制，任何不同的提交规范均可定制为独立的插件，详细参考下面自定义提交规范章节。

• 模型服务：接受git-aicommit模块的请求，调用LLM生成CommitMessage摘要内容，加载对应的个性化插件生成最终的CommitMessage。

管理学之父彼得·德鲁克说过：“If you can't measure it, you can't manage it.”。

度量指标对于模型选择、后续Prompt调优以及SFT都至关重要，因为它决定了优化的标准。

生成CommitMessage时，既需要理解变更的代码，也需要生成对应的摘要、评估影响等，生成式大模型适合此类任务，当前生成式大模型在市面上也百花齐放，经过综合评估使用成本（包括数据管理、部署运维、性能调优、Prompt和模型评估）、生成质量、安全风险等方面的考虑，我们选择了百度智能云千帆平台的ERNIE4（文心4）。

针对此类摘要任务，常用的度量指标有BLEU Score、ROUGE Score、BERT Score、PPL、MSE等，结合生成CommitMessage的任务特性，最终确定模型和产品的核心指标：

• 模型性能指标：MSE（Mean Squared Error，均方误差），用于衡量生成的文本序列与参考CommitMessage的文本序列之间的语义相似度；
• 用户使用指标：AR（Acceptance Rate，直接采纳率），也叫用户直接满足度，针对模型服务生成的CommitMessage，用户直接采纳的次数相对于总的使用次数的占比

均方误差MSE（Mean Squared Error）

参考CommitMessage的文本序列，指高质量的、简洁的、准确的、标准的CommitMessage，客观标准是至少包括：为什么修改（Why）、改了什么（What）、影响面（可选），主观标准是人工筛选并提取。

根据定义，计算MSE即计算两段文本的语义相似度差值，简单的分为如下三个步骤：

• 将两段文本转换为向量表示。大模型时代Embedding的方式太多太多了，这里依然直接选用了千帆的Embedding方式。

2.向量差异计算：

• 计算两段文本的向量表示间的差异或距离时，我们选择使用余弦相似度；尽管欧几里得距离和马氏距离也是常用的方法，但针对CommitMessage这种长度不一致的向量时，余弦相似度表现更为准确。

• 将差异或距离平方，然后计算平均值以得到均方误差。
• 
• 其中，xi 和 yi 是两段文本在第 i 个维度上的表示，n 是维度数量。

本文多次提交两个概念： 

参考CommitMessage：可以是RD生成已提交入库的，也可以由大模型生成、经过人工标注的保证质量的CommitMessage，作为评估的标准yi

生成CommitMessage：由大模型生成的CommitMessage，评估输入的判定项xi

直接采纳率AR（Adoption Rate）

• 直接采纳数 CA

• 编辑采纳数 CE

• 拒绝数 CR

• 评估集，模型选择、Prompt调优、SFT后都需要评估集对本次调优进行评估，是否比之前的好，是否达到调优的效果

• 训练集，指用于SFT的标注数据，根据特征从总数据集中筛选

• 验证集，验证集是用来调整模型超参数，避免过拟合或欠拟合

• 测试集，SFT后测试是否达到SFT的目的，比如针对某个异常case评估其泛化能力

• 异常集，标注环节明确的低质量的CommitMessage数据，特别是大模型生成未被直接采纳的数据

这里介绍下大体的过程及其作用，细节不做展开：

• 定义数据结构：模型数据（需求/bug卡片标题、变更数据）、参考CommitMessage、类别数据（是否bug、变更行、仓库数）、辅助分析数据（产品线、平台、作者、Topic）等
• 数据采集：来源于：①线上模型服务生成的CommitMessage；②存量RD已提交入库的CommitMessage；③其他开源数据集
• 数据清洗：去噪、去重等处理，确保数据的质量和可用性
• 标注与注释：标注本条数据作为参考CommitMessage的质量，其他辅助分析信息
• 分类与管理：抽样配比、过滤筛选、查看等

性能优化的目标是提升性能指标，包括核心指标均方误差MSE和生成效率，进而提升用户直接采纳率AR，手段包括如下三种：

• 停止标记（Stop Token），可提升生成效率
• Prompt优化，可优化MSE指标和提升生成效率
• SFT可优化MSE指标

当模型对Prompt理解不完全时，容易生成多余的解释或注意事项等无效内容，生成更多的Token导致生成效率降低（生成效率与生成的Token长度直接相关），而所有Transformer模型中都设计有停止标记，比如智能CommitMessage里调用模型的输出是一个Markdown的json，以“%STOP%”结尾，可指定停止标识为“%STOP%”以提高生成效率。

按以下格式输出CommitMessage，只是一个markdown的代码片段，包含在"```json" 和 "```"内，『请仅输出内容，不要做任何解释』:```json{    "summary": string  // 少于30字的中文，简洁的、准确的描述Git Commit Message    "reason": string  // 分析修复方式，详细描述这个bug出现的具体原因，可以引用代码，少于60字    "fixup": string  // 分析修复方式，简洁、准确的描述修复方式，可以引用代码，少于30字}```

按以下格式输出CommitMessage，只是一个markdown的代码片段，包含在"```json" 和 "```"内，『请仅输出内容，不要做任何解释』:```json{    "summary": string,  // 少于30字的中文，简洁的、准确的描述Git Commit Message    "reason": string,  // 分析修复方式，详细描述这个bug出现的具体原因，可以引用代码，少于60字    "fixup": string  // 分析修复方式，简洁、准确的描述修复方式，可以引用代码，少于30字}```

附上智能CommitMessage的部分Prompt（持续优化中）：

角色名称：Git Commit Message Generator通俗易懂的角色描述：基于需求描述和实现该需求的git diff变更代码，自动生成规范的git提交信息。需求描述的标题如下：{{%title}}
git diff变更代码如下：(DIFF-START){{%git_diff}}(DIFF-END)
任务拆解1. 解析需求标题：提取关键信息，如功能点、问题点等。对文本进行清洗，去除无关字符和格式。2. 分析git diff变更代码：识别变更的文件和代码块。分析代码变更的类型（如新增、修改、删除等）。3. 生成Commit Message：结合需求标题以及代码变更分析，编写Commit Message。确保提取的内容符合对应项的要求，如“summary: 少于30字的中文，简洁的、准确的描述Git Commit Message”等。4. 验证Commit Message：检查Commit Message是否清晰、准确。5. 按以下格式输出CommitMessage，只是一个markdown的代码片段，包含在"```json" 和 "```"内，『请仅输出内容，不要做任何解释』:```json{  "summary": string  // 少于30字的中文，简洁的、准确的描述Git Commit Message}```%STOP%

部署前记得SFT评估数据集的全量评估，MSE优于线上保证本次SFT后的ERNIE-Speed模型比上次的更好。

SFT的全过程应该包含四个步骤：

1. 确定目标：优化某个/某类低质量的数据case，微调后达到评估多少分值
2. 数据准备：基于该case提取低质量case的特征，向数据集里筛选出训练集、验证集和测试集
3. SFT过程：如上图所示

4. 评估部署：根据抽样配比的评估集进行全量评估，保证本次SFT后的ERNIE-Speed模型比上次的更好

from abc import ABC, abstractmethod
class IPluginHook(ABC):    """插件实现的接口定义"""    @abstractmethod    def hook_prepare(self, ctx):        """准备"""
    @abstractmethod    def hook_is_fix_bug(self, ctx) -> bool:        """是否fixbug的提交类型，默认false"""
    @abstractmethod    def hook_language(self, ctx) -> Language:        """生成语言，默认中文"""
    @abstractmethod    def hook_generate_variables(self, ctx):        """生成模板的变量"""
    @abstractmethod    def hook_generate_message(self, ctx) -> str:        """根据模板和变量，生成CommitMessage        @warning: 该方法插件必须实现，否则将报出异常        """

加载某个插件的某个版本时，根据pkg_resources判定是已加载，然后配合 importlib进行import_module或者reload即可实现动态加载插件

def __install_plugin(pkg_name: str, version: str):    """安装插件"""    subprocess.check_call([sys.executable, '-m', 'pip', 'install', f"{pkg_name}=={version}"])    return __load_module(pkg_name, force=True)
def __load_module(pkg_name: str, force: bool = False):    """加载module"""    module_name = __module_name(pkg_name)    loaded_module = sys.modules.get(module_name)    if loaded_module is not None:        if force:            m = importlib.reload(loaded_module)            importlib.reload(pkg_resources)            return m        return loaded_module    m = importlib.import_module(module_name)    importlib.reload(pkg_resources)    return m