在笔记本上，部署 gpt-oss-120b 模型

今天 ，OpenAI 开源了俩模型：120B/20B

117B 的 gpt-oss-120b 对标 o4-min，按官方说法至少需要 80G 内存，推荐使用单卡 H100 GPU

而刚买的的游戏本，刚好满足gpt-oss-120b 的部署条件

这里面是 AMD 的 395+ & 8060s（非常 YES），128G 统一内存
（说上面这些，就是来炫耀下我的本子）
（略略略～）

在测试后，发现部署 oss 并不需要 80G 显存，64G 就够了

以下是详细的部署
以及：并不需要 80G 显存，64G 就够了

部署工作

OpenAI 为 gpt-oss 系列模型，提供了完善的私有化部署支持，使用原生MXFP4量化，极大的降低了显存的使用

在工具层面，支持多种主流部署方法，包括： Transformers、vLLM、PyTorch / Triton、Ollama、LM Studio

这里，我用的是 LM Studio，可以在官网进行下载安装

进入 LM Studio 之后，可以直接搜索 gpt-oss-120b 并下载
模型较大，有几十个G，下载要一点时间

模型配置

模型下完后，还无法立即运行
虽说是统一内存，但默认分给显卡的，只有4G（剩下的全部算显存了）

明显不满足条件，需要手工修改一下内存分配
这里我把 64G 内存分配给了显存
（并不需要宣称的 80G）

完成后，点击 LM Studio 中的「载入模型」

模型顺利载入，显示部署成功

推理效果

OpenAI 这模型，可选多种推理强度，包括“低”、“中”、“高”

询问单词「strawberry」包含几个字母「r」：

低强度模式：约需10秒

高强度模式：耗时约1分钟

这个模型还支持更多的工具调用，比如可以自行配置 MCP

额外注意

在部署中，也有两个细节问题，分享如下：

Runtime 选择

LM Studio 提供了多种 Runtime 选项，包括 CUDA、Vulkan、ROCm llama.cpp、CPU llama.cpp 等

我使用的是 AMD 平台，显然无法使用 NVIDIA 的 CUDA 加速

理论上，ROCm 更适合 AMD，但目前尚未支持 OpenAI 最新的 gpt-oss 系列模型

最终，我选择了 Vulkan 作为 runtime。这是一个跨平台的通用加速方案，且在最新版本的 LM Studio 中已经对 OpenAI 的 oss 做了适配

而 CPU llama.cpp 显然不是首选，毕竟这是 CPU 的

显存过高导致的问题

最开始的时候，我把显存分配拉高到 96GB，但这导致模型载入失败

仔细排查了下，发现模型载入过程本身还需要约 40G 的内存

所以，这里推荐将显存分配设为 64GB，能保证完美运行

总结

其一、OpenAI 的量化，是贴心的
其二、AMD，Yes！