飞雪无情

开源可商用!OpenBuddy发布基于LLaMA2-13B的新一代跨语言对话模型

今天,我们很高兴地发布OpenBuddy-LLaMA2-13B模型,这是一个基于Facebook的LLaMA2基座的全新跨语言对话模型。

LLaMA2:Facebook最新发布的模型基座

LLaMA2,是Facebook最新发布的模型基座,它的数据比前一代模型更为充分,且对月活7亿以下的商用予以支持。这意味着,更多的公司和团队可以使用这个模型进行商业开发,推动各类应用的普及和创新。

然而,和之前的版本相同,LLaMA2仍具备一定的局限性:

LLaMA模型基座以英语训练数据为主,未考虑跨语言场景应用。模型本身在英语上表现较好,但在中文等非英语语系的语言上,模型的输出难以令人满意。

此外,LLaMA2-Chat模型本身的泛化能力、多轮对话能力也存在局限性。

OpenBuddy:专注于跨语言对话能力和思维能力

OpenBuddy团队在模型的能力微调方面积累了丰富经验。

针对LLaMA2的局限性,我们设计并实验了多种微调方案。我们选取了13B作为第一个版本的模型基座,因为它是个人用户可部署且具备涌现潜力的最佳模型大小。

在经过多轮微调和反复试验后,我们成功完成了OpenBuddy-LLaMA2-13B的首个版本的训练工作。

OpenBuddy-LLaMA2-13B:令人满意的测试成果

我们在测试OpenBuddy-LLaMA2-13B的过程中,发现模型涌现出了强大的泛化能力和思辨能力,这是目前我们的研发历程中,最令人满意的13B模型。

模型具备一定的批判性思考能力,不会盲目信任用户给出的信息,且能够指出用户的错误或信息不足之处:Image

Image

Image

模型还具备一定程度的分析、归纳能力,在部分场景下,能够发现输入信息中的潜在规律,并给出分析结果:

Image

此外,模型的内容创作能力、指令遵循能力也有进一步的提升,能够产生符合用户需求的内容:

Image

同时,我们惊喜地发现,尽管经过了大量跨语言多轮对话训练过程,但模型的英语问答能力同样优秀!

我们参与了HuggingFace的Open LLM Leaderboard测试榜单,并取得了非常靠前的成绩。截至本文写作时,模型在英文综合能力评分上超过了Vicuna、WizardLM 1.0、Meta官方的Llama2-chat等多种13B模型,甚至能够接近MPT-30B等数倍规模的大模型。

Image

加入社区微信群,立刻试用!

对于对OpenBuddy-LLaMA2-13B模型感兴趣的朋友,可以直接关注“开源智友”微信公众号,并在后台回复“加群”,即可加入开源社区微信群,体验模型的强大能力。

模型可供离线下载和部署,请直接点击“原文链接”访问我们的GitHub,根据指引从HuggingFace下载模型进行使用。

同时,我们也非常荣幸地受邀入驻了ModelScope社区。

欢迎进入我们的ModelScope主页,获得高速、便捷的国内模型下载体验。未来我们会进一步和社区合作,提供更加丰富的模型和应用案例。

ModelScope主页地址:

https://modelscope.cn/models/OpenBuddy

只有实际使用,才能更深入地了解新一代模型的强大之处,体验跨语言对话模型带来的全新体验。

请注意,受现有技术限制,模型存在固有的局限性,可能会输出有误导性或有害的内容,在使用时应当重视此类局限性。在下载模型前,请充分阅读并同意模型页面中的免责声明和授权协议。

致谢

我们深深感谢开源社区对OpenBuddy项目的无私帮助和贡献。
首先,我们尤其要感谢威科软件,在模型训练方面提供了强大的支持和帮助。同时,我们要感谢AIOS.club为我们提供的宝贵支持。
我们需要感谢苏剑林先生在模型训练过程中提出的宝贵建议,除此之外,科学空间博客中的研究工作也为我们带来了很大的启发。
再次感谢所有对OpenBuddy项目有所贡献的每一个人,我们的成功离不开你们的支持和鼓励。此外,我们还感谢 Tii 和 Facebook,它们分别推出的 Falcon 模型和 LLaMA 模型,为我们的项目打下了坚实的基础。
预告

此外,我们目前正在完成30B、40B模型的收尾阶段,这些模型预计将很快和大家见面!敬请期待。