OpenAI让模型“张嘴”，你要注意：辱骂AI，很贵的

OpenAI CEO 山姆·奥特曼，图片经由AI处理 文丨苏扬 编辑丨徐青阳 5月8日，OpenAI在API中加入三款新一代语音模型：主打 语音推理与对话的 GPT‑Realtime‑2 、突出 实时多语言翻译的 Realtime‑Translate以及聚焦 语音转文本的 Realtime‑Whisper 。

GPT‑Realtime‑2是OpenAI首个具备GPT‑5级别推理能力的语音模型。它在基准测试中展现出显著进步：在 Big Bench Audio 语音智能评估中的准确率达到96.6%，在 Audio MultiChallenge 指令遵循评估中的平均通过率为48.5%，分别较上一代GPT‑Realtime‑1.5提升15.2个和13.8个百分点。 基于GPT‑Realtime‑2，语音AI从简单的轮转式问答，向能够在对话展开过程中持续倾听、推理、调用工具并完成任务的形态进化。

01

会“想”的语音助手

GPT‑Realtime‑2的设计目标是让语音模型在保持对话流利度的同时，具备处理复杂事务所需的推理与行动能力。

在对话的自然度方面， 模型引入了 前导语机制 。 开发者可以启用诸如“让我查一下”或“稍等，我正在查看”之类的简短提示语，在正式响应生成之前就告知用户请求已被接收并正在处理。 与此配套的是 并行工具调用 与 工具透明性 能力，模型可以同时调用多个外部工具 ，并通过语音向用户通报当前进度，例如说出“正在检查您的日历”或“正在查找”，使智能体在完成任务的过程中保持响应而非陷入沉默。 当遇到处理困难时， 模型会主动给出诸如“我现在遇到点麻烦”的提示并尝试恢复 ，而非静默失败或直接中断会话。 此外， 模型的上下文窗口从32K扩展至128K ，这意味着它可以在更长、更复杂的多轮对话中保持连贯，支撑起更完整的智能体工作流。 在专业场景的适用性方面，模型增强了对特定领域术语的理解能力，能更准确地保留专业词汇、专有名词和医学术语，这对生产环境的部署价值突出。在表达层面，模型拥有更可控的语气和表现力，能够根据情境切换风格。 另一项关键升级是 可调节的推理强度 。开发者可以从minimal、low、medium、high和xhigh五个级别中进行选择（默认为low），以在延迟和推理深度之间取得平衡。

02

不唠闲嗑

GPT‑Realtime‑2在基准测试中完胜前代模型 在衡量语音模型中挑战性推理能力的Big Bench Audio评估中，GPT‑Realtime‑2（high推理级别）取得了96.6%的准确率，而GPT‑Realtime‑1.5为81.4%，提升幅度达到15.2个百分点。 在评估口语对话系统多轮交互智能的Audio MultiChallenge评测中——该评测涵盖指令遵循、上下文整合、自我一致性以及处理自然语音纠正等维度——GPT‑Realtime‑2（xhigh推理级别）的平均通过率从GPT‑Realtime‑1.5的34.7%跃升至48.5%，相对提升13.8个百分点。 事实上，衡量一个语音模型是否真正“聪明”，最有说服力的场景不是闲聊，而是处理一个需要层层推演的复杂问题。 注：OpenAI在演示文档中给出了一个具体测试：用户向模型描述了自己的创业，两代Real time模型的语音推理及对应文字稿 上述案例属于一个对推理能力要求很高的复合型任务：模型需要同时理解多个变量的相互关系，客流的时间分布不均、昂贵的固定租金成本、以及主打慢冲咖啡这种翻台率偏低的业态定位，并在这些约束条件下进行逻辑推演。 GPT‑Realtime‑2用1分04秒给出了有条理、分层次的回答，不仅拆解了人流潮汐与租金结构之间的矛盾，指出高峰时段过于集中可能导致整体坪效不足以覆盖租金，还提出了具体的轻量级测试路径。 同样的提问交给上代模型GPT‑Realtime‑1.5，回应时长51秒，但深度明显不足。这个对比演示直接展示了两代模型在战略推理维度上的代际差距。

03

实时翻译与转录

除GPT‑Realtime‑2之外，OpenAI同期发布的两款专用模型各自面向明确的场景需求。 GPT‑Realtime‑Translate专注于实时多语言翻译，支持超过70种输入语言， 可实时输出至13种目标语言，并同步提供转录文本。其目标应用场景包括客户支持、跨境销售、教育、活动以及面向全球受众的创作者平台。 视频平台Vimeo的AI负责人阿尔贝托·帕拉维奇尼（Alberto Parravicini）分享了他们的应用场景：在视频播放时嵌入GPT‑Realtime‑Translate，使创作者能够在上线瞬间就与全球观众进行跨语言沟通。 Vimeo演示GPT‑Realtime‑Translate实时翻译能力 GPT‑Realtime‑Whisper则是一款流式语音转文本模型， 专为低延迟转录场景构建。 它能够在说话者开口的瞬间开始生成文字记录，适用于会议实时字幕、课堂笔记、广播字幕以及需要即时生成后续工作流的语音交互场景。其核心价值在于，将语音内容在对话进行过程中，即可转化为可供下游业务系统立即使用的结构化文本。

04

安全与定价

在安全层面，Realtime API部署了多层护栏——系统 内置的主动分类器能够对会话进行实时监控，一旦识别出违反有害内容指南的交互，即可终止会话。 开发者还可借助Agents SDK方便地叠加自定义安全护栏。 OpenAI的使用政策明确禁止将输出内容用于垃圾信息、欺诈或其他有害目的。 根据官方的指引，除非交互情境已清楚表明对话对象为AI，否则开发者必须向最终用户清晰地披露其正在与人工智能互动（提示用户：现在发言的是AI）。此外，该API已全面支持面向欧盟客户的欧盟数据驻留，并受企业隐私承诺保护。 三款模型现已通过Realtime API向开发者开放。 定价方面，GPT‑Realtime‑2按语音token计费，每100万输入token价格为32美元（缓存输入为每100万token 0.40美元），每100万输出token价格为64美元。GPT‑Realtime‑Translate按使用时长计费，每分钟0.034美元。GPT‑Realtime‑Whisper同样按时长计费，每分钟0.017美元。

为了给新的“语音全家桶”背书，OpenAI首席执行官山姆·奥特曼在X上说：人们确实开始用语音与AI互动，尤其是在需要一次性倾注大量背景信息时。 他还提到，年轻人群体似乎更偏好通过语音与AI交流，而中老年用户则倾向于打字，并提出了这个习惯未来是否会变化的开放性问题。 问题来了：现在OpenAI的语音推理能力上新，下一个接力的会是谁？ 特约编译金鹿对本文亦有贡献

推荐阅读 大模型价格战背后，真正稀缺的不是Token 估值2300亿美元的xAI，“死于”5月6日 ChatGPT免费的“代价”