Apache 2.0，可手机部署！OpenBuddy发布首款基于OpenLLaMA的中文跨语言模型

今天，我们非常高兴地向大家介绍 OpenBuddy 团队最新发布的一款基于 OpenLLaMA 的新模型：OpenBuddy-OpenLLaMA-7B。

OpenLLaMA：LLaMA 的开源复现

LLaMA 作为一个成功的LLM（大语言模型）架构，一经推出便因其优异的性能，被开源社区的开发者、爱好者所青睐。目前，LLaMA 架构已经成为了众多开源 LLM 项目的支柱之一。

但是，LLaMA 长期以来存在一个问题：Facebook 并没有完全开源这个模型。LLaMA 发布时附带了严苛的使用限制：每个用户都必须单独向 Facebook 提交申请，并有保密义务；模型只供研究、不许商用。这些限制为相关开源项目的发布、推广带来了障碍。

目前，基于 Facebook LLaMA 的模型都需要通过 Delta weight、加密等方式分发，并且不可能提供可商用的授权。这严重影响了开源 LLM 的便利性和普惠性。

近几个月，开源社区一直在致力于推进这个问题的解决。OpenLLaMA 项目成为了解决这个问题的希望之一，这是一个由开源社区推动、基于开源代码和开源数据集、同时参考 LLaMA 架构设计的一个 LLaMA 模型的开源复现版本。

模型的开发者于2023年6月7日，发布了 7B 版本。模型基于 Apache 2.0 协议。这意味着任何人都可以使用它来进行研究和开发，不受保密等条款的限制。

OpenBuddy：为 OpenLLaMA 增添跨语言对话能力

和 LLaMA 等其它开源模型一样，OpenLLaMA 并不具备中文能力和对话能力。OpenBuddy 在这些领域具备丰富的经验。

经过一定的实验工作后，OpenBuddy 团队成功在 OpenLLaMA 的基础上训练出了 OpenBuddy-OpenLLaMA-7B 模型。

OpenLLaMA 的数据集构成和 Facebook 在论文中披露中的相似，因此OpenBuddy-OpenLLaMA 系列模型也可能具备和 LLaMA 模型相似的能力。在我们的测试过程中，模型同样可以产生富有洞见、有创意的内容，达到了令人满意的水平。

OpenLLaMA 架构和 LLaMA 一致，这意味着模型完全可以利用开源社区现有的软硬件成果，实现高效推理、训练和部署。例如 llama.cpp 项目能够支持在CPU、移动处理器上运行现有的小型模型，而无需购买昂贵的GPU设备，这进一步提升了 OpenLLaMA 系列模型的易用性、普惠性。

3-bit 量化：超小体积、支持智能手机部署

同时，我们还对模型的量化、压缩进行了一部分探索工作。我们发现，即使在从 16-bit 压缩到 3-bit 后，模型仍具备一定的实用性。

尽管知识能力有所下降，但 3-bit 量化后的模型仍然具备认知能力和有限的知识水平，足以流畅地完成日常对话、内容创作等简单任务。

3-bit 模型的体积低至 3.25GB！这意味着，模型可以在个人电脑的CPU上实现高性能的推理，无需购买昂贵的显卡。模型甚至可以在内存充裕的高端手机上直接部署，为移动端、边缘计算等领域的应用提供了可能性。

Apache 2.0 协议：助力开源社区进步

最后，我们想强调的是，OpenBuddy-OpenLLaMA系列模型采用的是 Apache 2.0 可商用协议，并非“特供版”的、未经 OSI/FSF 认证的“开源”协议。作为开源模型的推动者，我们希望借助此类模型的发布，为开源模型社区注入新的活力。