歸藏的AI工具箱

Llama 4 开源!支持1000万上下文长度

Llama 4 发布,最猛是达到了1000万上下文长度!但是不要对模型能力抱太大希望,有点拉跨只能说 开个帖子记录一下详细信息: Llama 4 Scout: 17B活跃参数的 16 位专家MoE模型,1000 万上下文窗口,仅需单个 NVIDIA H100 GPU 可运行 Llama 4 Maverick: 17B活跃参数的128 位专家MoE模型,LLM竞技场得分最高的开源模型,支持图像多模态识别 另外还有Llama 4 Behemoth: - 288B活跃参数,16 位专家MoE模型 - 在多项 STEM 基准测试中超越了 GPT-4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro - 总参数超过了 4T! - 目前仍在训练 lama 4 Maverick 17B active 在 M3 Ultra 上的速度是50Token /秒 Llama 4 Scout 和 Maverick 现已在 OpenRouter 上推出,而且有免费版本 Groq 上的 Llama 4 Scout 运行速度是 511 Token 每秒,同时可以用 API 白嫖 Llama 4 Maverick 在LLM竞技场总榜第二,开源LLM第一 - 排名第一的开放模型,超越 DeepSeek - 在硬性提示、编码、数学、创意写作中并列第一 - 大幅超越 Llama 3 405B: 1268 → 1417 - 风格控制排名第五 详细信:ai.meta.com/blog/llama-4-multimodal-intelligence/