Falcon 180B模型开源拳打LLaMA脚踢PaLM，仅次于GPT-4

今天阿布扎比技术创新研究院发布了Falcon 180B语言模型，他们声称模型质量超过了LLaMA 2并且与PaLM 2相当，仅次于GPT-4。他们还有没有发布相关论文，我找了他们所有已经发布的信息，总结了一些值得关注的点：

首先模型是开源的，可以用于商业用途，但条件比较严格。

Falcon 180B在3.5 万亿Token上进行训练，总共花费了约 7,000,000 个 GPU 计算时，规模是 Llama 2 的 2.5 倍，所需计算量是 Llama 2的4 倍。

训练数据集主要来自RefinedWeb 数据集 (大约占 85%)，这个数据集中文占比很少。数据集的代码只占5%左右，所以如果他说的超过GPT-3.5应该不包括代码能力。

Falcon 180B在 MMLU上的表现超过了 Llama 2 70B 和 OpenAI 的 GPT-3.5。在 HellaSwag、LAMBADA、WebQuestions、Winogrande、PIQA、ARC、BoolQ、CB、COPA、RTE、WiC、WSC 及 ReCoRD 上与谷歌的 PaLM 2-Large 不相上下。

如果要对Falcon 180B进行全面微调的话至少需要8X8XA100 80G的GPU，只是推理的话最低需要8XA100 80G的GPU。

另外根据 @DrJimFan 的建议希望30B以上的模型尽快开始尝试MoE，目前只看到OSS MoE LLM < 10B，需要加大训练规模了。

下面是所有内容的相关链接：

模型官网： https://falconllm.tii.ae/index.html 试用模型： https://huggingface.co/spaces/tiiuae/falcon-180b-demo Huggingface上的介绍文章： https://huggingface.co/blog/zh/falcon-180b 模型下载： https://huggingface.co/tiiuae/falcon-180B