Ai2 发布完全开源本地语言模型应用

一直致力于开源模型的 Ai2 整了个新活 发布 iOS 应用 OLMoE 从模型到应用完全开源 使用本地端侧 OLMoE 模型，1B 活跃参数，总参数 7B 主要目的是帮助开发人员探索提高本地模型推理效率 目前只能在 iphone 15 Pro 以上的手机使用 使用 Q4_K_M 量化模型，iphone 16 Pro 每秒输出 41 Token一直致力于开源模型的 Ai2 整了个新活 发布 iOS 应用 OLMoE 从模型到应用完全开源 使用本地端侧 OLMoE 模型，1B 活跃参数，总参数 7B 主要目的是帮助开发人员探索提高本地模型推理效率 目前只能在 iphone 15 Pro 以上的手机使用 使用 Q4_K_M 量化模型，iphone 16 Pro 每秒输出 41 Token