又一个功能超全的「中英双语」基座大模型，开源了！
OpenBMB开源社区约 7 分钟公众号关注 “GitHubDaily”
设为 “星标”，每天带你逛 GitHub！
众所周知，今年 ChatGPT 的爆火，让不少大语言模型竞相模仿，GitHub 上与此相关的项目，如雨后春笋般层出不穷。
为了让人人皆可用上大模型，近日，国内知名 AI 开源社区 OpenBMB 重磅发布了完全开源、允许商用的百亿参数中英文基座模型 CPM-Bee！
它采用 Transformer 自回归架构（auto-regressive），使用万亿级高质量语料进行预训练，拥有强大的基础能力。CPM-Bee 的特点可以总结如下：
开源可商用：OpenBMB 始终秉承 “让大模型飞入千家万户” 的开源精神，CPM-Bee 基座模型将完全开源并且可商用，以推动大模型领域的发展。如需将模型用于商业用途，只需企业实名邮件申请并获得官方授权证书，即可商用使用。
中英双语性能优异：CPM-Bee 基座模型在预训练语料上进行了严格的筛选和配比，同时在中英双语上具有亮眼表现，具体可参见评测任务和结果。
超大规模高质量语料：CPM-Bee 基座模型在万亿级语料上进行训练，是开源社区内经过语料最多的模型之一。同时，他们对预训练语料进行了严格的筛选、清洗和后处理以确保质量。
OpenBMB 大模型系统生态支持：OpenBMB 大模型系统在高性能预训练、适配、压缩、部署、工具开发了一系列工具，CPM-Bee 基座模型将配套所有的工具脚本，高效支持开发者进行进阶使用。
强大的对话和工具使用能力：结合 OpenBMB 在指令微调和工具学习的探索，他们在 CPM-Bee 基座模型的基础上进行微调，训练出了具有强大对话和工具使用能力的实例模型，现已开放定向邀请内测，未来会逐步向公众开放。
GitHub 地址：https://github.com/OpenBMB/CPM-Bee
Huggingface：https://huggingface.co/openbmb/cpm-bee-10b/tree/main
CPM-Bee 商用申请通道：发送申请邮件至 [email protected] 获取授权证书
全新升级，CPM-Ant 蝶变 CPM-Bee
CPM（Chinese Pretrained Model) 系列大模型是 OpenBMB 团队自研模型，其中包括国内首个中文大模型 CPM-1、高效易用大模型 CPM-2、可控持续大模型 CPM-3 等。
最新的百亿大模型训练直播项目 CPM-Live 的计划书在 2022 年 5 月 26 日发布，第一期模型 CPM-Ant 的训练在 2022 年 5 月 29 日正式启动，并于 2022 年 9 月 16 日圆满发布报告。
作为 CPM-Live 的第二期模型，CPM-Bee 在 2022 年 10 月 13 日开启训练，在基础能力和性能表现上都在 CPM-Ant 的基础上进行了全新升级。CPM-Bee 一网打尽多种能力，可以准确地进行语义理解，高效完成各类基础任务，包括：文字填空、文本生成、翻译、问答、评分预测、文本选择题 等等。
考虑到用户使用模型的易用性，我们在预训练阶段将模型的输入输出设计成了 JSON 结构化形式，用户只需调整不同任务字段，就可以完成各类任务。
{
"文本生成": {
"input": "今天天气很好，我和妈妈一起去公园，<mask>",
"prompt": "往后写两句话",
"<ans>": ""
},
"翻译": {
"input": "北京是中国的首都",
"prompt": "中翻英",
"<ans>": ""
},
"评分预测": {
"input": "之前多次聚餐都选择这里，有各种大小的包房同时能容纳很多人，环境好有特色还有表演，整体聚餐氛围一下被带动起来。现在由于炭火改成了电烤羊，口感真的不如从前，不过其他菜品都还是不错，烤羊剩下的拆骨肉最后还能再加工一下椒盐的也很好吃。",
"question": "评分是多少？(1-5)",
"<ans>": ""
},
"选择题": {
"input": "父母都希望自己的孩子诚实、勇敢、有礼貌。要想让孩子成为这样的人，父母首先得从自己做起，要是连自己都做不到，又怎能要求孩子做到呢？",
"options": {
"<option_0>": "少提要求",
"<option_1>": "降低标准",
"<option_2>": "自己先做好",
"<option_3>": "让孩子拿主意"
},
"question": "教育孩子时，父母应该：",
"<ans>": ""
}
}
千锤百炼，中英评测独占鳌头
他们对 CPM-Bee 基座模型进行了全方位的中英文能力评测。在中文的 Zero-CLUE 评测基准上，CPM-Bee 可以大幅超越其他模型，稳居中文大模型第一。
ZeroCLUE 榜单（2023.05.27）
在英文评测基准上，CPM-Bee 也展现出了和开源模型 LLaMA 相当的效果。
英文评测
使用 CPM-Bee 提供的 API 和 OpenBMB 和 THUNLP 联合自研的 Decoder Tuning（ACL 2023）技术，可以在不访问和修改模型参数的情况下大幅提高下游任务的性能！
| Shot | Model | SST 2 | IMDB | Yelp | AGNews | DBpedia | Yahoo | RTE | SNLI | MNLI-m | MNLI-mm | FewNERD | Avg. |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | GPT-3.5-turbo | 94.6 | 93.7 | 80.5 | 86.8 | 61.9 | 78.3 | 69.6 | 66.3 | 67.7 | 41.4 | 74.1 | |
| LLaMA-7 B | 78.4 | 91,7 | 84.1 | 57.6 | 51.1 | 20.0 | 46.9 | 31.9 | 33.8 | 33.3 | 16.8 | 45.4 | |
| Vicuna-13 B | 70.6 | 76.4 | 81.6 | 55.3 | 53.5 | 21.7 | 67.9 | 50.2 | 32.7 | 43.3 | 4.1 | 50.7 | |
| CPM-Bee | 80.5 | 89.1 | 96.6 | 74.6 | 71.3 | 46.7 | 84.1 | 45.4 | 45.6 | 45.6 | 1.6 | 61.9 | |
| 16 | T 5-3 B | 89.9 | 92.7 | 94.9 | 87.7 | 96.2 | 66.5 | 55.8 | 52.0 | 52.8 | 52.2 | 51.9 | 72.1 |
| LLaMA-7 B | 85.1 | 90.5 | 92.8 | 71.4 | 89.8 | 45.1 | 49.1 | 35.2 | 36.3 | 36.2 | 54.6 | 62.4 | |
| Vicuna-13 B | 82.1 | 88.8 | 95.6 | 86.4 | 74.4 | 55.3 | 62.5 | 61.4 | 54.3 | 48.6 | 52.1 | 69.2 | |
| CPM-Bee | 92.7 | 96.2 | 97.5 | 85.5 | 89.8 | 65.2 | 86.0 | 86.4 | 76.3 | 76.3 | 54.6 | 82.4 | |
| 64 | LLaMA-7 B | 87.5 | 85.7 | 96.9 | 75.4 | 93.5 | 47.4 | 51.4 | 39.4 | 36.2 | 38.4 | 59.8 | 64.7 |
| Vicuna-13 B | 92.0 | 90.8 | 96.5 | 87.7 | 87.8 | 58.7 | 59.1 | 58.7 | 56.7 | 48.4 | 56.8 | 72.1 | |
| CPM-Bee | 94.3 | 96.5 | 98.3 | 88.5 | 93.5 | 68.7 | 87.1 | 88.9 | 78.0 | 79.0 | 59.8 | 84.8 | |
| 256 | LLaMA-7 B | 87.6 | 88.8 | 97.1 | 82.4 | 94.2 | 48.5 | 53.4 | 39.8 | 37.3 | 37.4 | 59.1 | 66.0 |
| Vicuna-13 B | 93.1 | 88.7 | 96.8 | 89.9 | 89.1 | 58.6 | 58.5 | 58.7 | 57.5 | 48.3 | 56.6 | 72.3 | |
| CPM-Bee | 94.5 | 96.7 | 98.4 | 89.7 | 94.2 | 69.9 | 87.7 | 89.4 | 81.7 | 80.6 | 59.1 | 85.6 |
生态支持，微调压缩部署一应俱全
自 OpenBMB 开源社区成立以来，他们就坚定不移地践行 “让大模型飞入千家万户” 的理念，开发模型全流程加速系统以高效支持大模型的预训练、微调、应用和推理。
基于 OpenBMB 的大模型生态系统，他们在训练 CPM-Bee 的过程中实现了全流程高效。同时提供了训练（基于 BMTrain）、微调（基于 OpenPrompt 和 OpenDelta）、外部工具使用（基于 BMTools）、模型压缩（基于 BMCook）低资源推理（基于 BMInf）的全套脚本，可以协助开发者快速上手和使用 CPM-Bee。
基于高效微调工具 OpenDelta，他们给出了两种微调方案：全参数微调和增量微调，可以将 CPM-Bee 适配到各类下游场景中。
基于高效压缩工具 BMCook，他们对原始的 CPM-Bee 基座模型进行压缩，提供了 10B、5B、2B、1B 四种大小的 CPM-Bee 模型来适应各种不同的场景：
对于压缩后的 CPM-Bee，普通的消费级显卡即可完成快速推理，不同大小的模型所占用的推理资源如下：
OpenBMB 始终坚守初衷，致力于打造卓越的大规模预训练语言模型库和相关工具。基于工具平台和模型库，他们在建设大模型开源生态的同时，也积极促进大模型的落地与广泛应用。
依托像 CPM-Bee 这样强大的开源基座模型，期待世界上涌现出更多精彩的大模型和大模型驱动的产品应用。
OpenBMB 大模型生态系统工具包：
OpenBMB：https://github.com/OpenBMB
THUNLP：https://github.com/thunlp
➤ 加社群 / 提建议 / 有疑问
请找 OpenBMB 万能小助手：