安全是最大奢侈：HealthBench是刷榜工具还是医疗AI能力驱动器？
叶小钗约 15 分钟AI创业失败，可私聊经验教训分享...
我职业生涯里面有6年多的时间都在互联网医疗体系，并且有3年在从事AI + 医疗相关的工作，所以一直对于这个领域保持着超高的关注度。
前些天在《高层论坛：实现汽车产业高质量发展》有一句话令人印象深刻：对智能驾驶来说，安全是最大的奢侈
而对于医疗AI来说，也是如此，比如这篇文章《DeepSeek医院部署：730+医院应用场景总结》的评论部分很有意思：
这里其实有个问题：大家为什么这么关注AI在医院场景实际的效果呢？答案很简单，就是医疗安全问题！
2024年2月28日，美国佛罗里达州的14岁男孩塞维尔·塞泽三世（Sewell Setzer Ⅲ）在与Character AI上的AI角色进行长时间聊天后开枪自杀身亡。
后来，她的母亲对Character AI提起诉讼，认为Character AI以“拟人化、过度性化和令人恐惧的逼真体验”导致她儿子对AI角色上瘾，并深陷其中。
模型是通过海量语料进行训练的，基于模型的AI产品背后拥有成百上千的SOP。
无论是对模型投喂的数据，还是用于“取悦”用户的SOP，背后会涉及大量行为学、心理学等知识，意思是：如果我们想，用户与AI聊天甚至可以达到游戏的体验！
事实上，模型本身就具备这种能力，比如大模型的“谄媚”特性就尤其突出！
所谓“谄媚”，就是模型很容易被引导，从而给到赞同、符合你心理预期的回答，而这对于心智缺乏的用户可能导致巨大问题！
举个例子：用户曾经可能只是比较消极，而且他懵懵懂懂，但由于更大模型的对话过程中，消极的情绪会被进一步扩大，并且大模型会有理有据证明用户的消极，这种高端思维来源于先哲的思辨，对心智缺失的用户会造成降维打击，从而引发巨大的心理冲击，而过程中一个引导不利就可能导致错误行为...
所以，现在很多政策正在要求互联网产品主动披露其在产品设计方面的“暗黑模式”，或立法对“暗黑模式”进行限制。
抛开应用层的包装与引导，这里我们回归模型本身，模型本身其实也挺不安全的...
据Vectara HHEM人工智能幻觉测试，DeepSeek-R1显示出14.3%的幻觉率，是V3的近3倍：
基于此，各个大佬会认为AI产品首先会在垂直领域爆发。
比如，红杉AI峰会进一步指出：企业级市场中，真正先跑出来的入口未必是通用大模型，而是 Harvey（法律）、Open Evidence（医疗）这类垂直领域智能体 OS，因为它们能听懂行业语言，理解真实需求。
为了解决这个问题，有些团队在数据源头解决问题：
OpenEvidence
比如OpenEvidence，他是一款专为医生设计的 AI 专业诊断 Copilot，他近期获得了7500美元的融资，固执10亿美元。
面对医学知识的爆炸式增长和临床信息的严重过载，OpenEvidence 致力于用类似垂直领域 Deep Research 的产品形态，帮助医生提高诊断效率与决策质量。
其核心在于医疗相关的资料特别丰厚，并且每句回答均标注交叉引用编号，在文末附上参考文献清单，确保信息的可溯源性和验证性。
在这个层面上他做到了，医疗产出的每句话都有出处，这对于提升医疗AI的置信度是是否有帮助的。
而且其内容多来自顶级期刊，这对其数据质量有了基本的保证，具体实现路径大概如下：
| 数据来源策略 | 2. 建立数据质量分级机制，对文献进行多维度评分（出版时间、影响因子、引用量），优先引用高权重证据，进一步确保回答的科学性和权威性。 3. 保持文献信息及时更新，每天访问美国国立医学图书馆数据库，筛选期刊新增至知识库。 4. 杜绝与公共互联网连接，避免健康博客和社交媒体等非专业来源的不准确信息和泛化数据，显著降低 AI “幻觉”风险。 |
| 集成模型架构 | 2. 每个模型负责特定任务，通过交叉验证提升结果可靠性。 3. 与传统单一模型相比，该设计显著降低 AI “幻觉”风险。 4. 配备专门的检索模型与排序模型，优化医学文献查询效率。 |
但要真的将医疗AI相关产品做好，其实是需要一套标准的，近来OpenAI就提出了这类标准：
HealthBench
OpenAI推出新的AI健康系统评估标准HealthBench，其内有来自60个国家/地区的262位医生合力打造的5000个真实医疗对话场景，用于评估AI模型在医疗领域的性能和安全性。
这是什么意思呢：
首先，OpenAI提出了一套用于评估医疗AI安全有效的标准体系； 其次，他们的模型在这套体系中毫无疑问拿下了最高分；
说实话，这种事情是有点扯的，因为每一个提出评估模型的团队，特别是基座模型团队，完全可以基于问题做特别训练，俗称刷榜，这里的意思是：后面发出的模型一定比前面的强，但是不是真的强就不知道了...
但无论如何，只要能建立一套真的好用的AI医生评价体系，这件事是功德无量的，至于其他公司用不用，再说
但看现有AI医疗的评估体系，其实是很业余的，因为他们更多是在测试考试（做题），这里有三个问题：
未能还原真实医疗场景，真实场景是不存在做题的，是复杂的多轮问询； 缺乏基于专家意见的严格验证，就算是真实的医患对话，其实也不知道到底对不对，因为没人真的去评价； 难以为前沿模型提供提升空间，以之前刷题的测试来说，分刷的高其实也无所谓，因为并不解决实际问题；
于是，OpenAI在这个基础下提出了HealthBench：
有现实意义（Meaningful）：评分应反映真实世界影响。突破传统考试题的局限，精准捕捉患者与临床工作者使用模型时的复杂现实场景和工作流程。 值得信赖（Trustworthy）：评分须真实体现医师判断。评估标准必须符合医疗专业人员的核心诉求与行业规范，为AI系统优化提供严谨依据。 未饱和（Unsaturated）：基准测试应推动进步。现有模型必须展现显著改进空间，持续激励开发者提升系统性能。
OpenAI的模型在这里是否远超人类我们不去多说，先看看他这个测试方法是什么？
测试方法与数据（重要）
一个 HealthBench 示例包含一段对话，以及医生针对该对话编写的评分细则。基于模型的评分器会按照每条细则为模型回复打分：
也就是说，每条模型回复都会依据针对该对话量身定制的评分量表进行打分。具体而言，每个评测样例包含：
对话：由模型与用户的若干消息组成，并以一条用户消息收尾； 评分细则：说明在该对话情境下，回复应当被奖励或惩罚的行为属性；
评分细则的内容既可以是必须提及的具体事实（例如应服用何种药物及剂量），也可以是期望的行为要素（例如询问用户更多膝盖疼痛细节，以便获得更精准的诊断）。
每条细则都对应一个非零分值，范围为 −10 至 10，其中负分代表不期望出现的行为。具体评分流程为：
模型评分器逐条独立判断回复是否满足相应细则。 若满足，则给予该细则的满分；否则不给分。 对负向细则亦同：若触犯，则按定义扣除相应负分。 将所有已满足细则的分值（正分与扣分）相加，得到该样例的总分。 再将该总分除以该样例的最高可能得分，得到该样例的最终得分。
而HealthBench 包含 5000 个评测样例，每个样例由一段对话和一组评分标准（rubric criteria）组成。
对话可能是单轮（仅有用户消息）或多轮（用户与模型交替，最后以用户消息结束）。
平均来看，每段对话有 2.6 轮，总长度 约 668 个字符（含用户与模型消息），整体范围从 1 到 19 轮、从 4 到 9,853 个字符。
一个典型样例包含 11 条由医生专为该样例撰写的评分标准；最少有 2 条，最多可达 48 条
PS：其实仅仅从这个角度来说，测试基数是有点小的，然后根据我之前真实经验，医患对话其实在10轮以上是更多的
具体再来看看其测试数据来源：
合成对话（主要），与医师合作，首先列举在评测中应覆盖的重要场景； 医师红队数据（次要），来自医师对大模型在医疗场景中的“红队攻击”测试 (Pfohl 等, 2024)，聚焦模型薄弱或回答不当的提问； HealthSearchQA 改写，HealthSearchQA 是 Google 发布的高频健康搜索问答数据集 (Singhal 等, 2023)；
从这个角度来说，这些数据其实全部是虚构的...
虚构的原因可能是真实场景患者“废话太多”，或者医生根本没有想过语料，这个事情其实我之前也做过，只不过我们是根据临床指南或者病例合成对话，从这个角度来说，这个实验其实不太严谨。
评分维度 ⭐️
HealthBench 示例被划分为七个主题（themes），每个主题对应真实世界健康交互中的一个关键任务场景。
每个主题下面包含大量示例，且每个示例都有一套独立的评分量表（rubric）。
在每份量表中，每条评分标准都会标注其所属“评价轴”（axis），用来说明该标准衡量的是模型行为的哪个方面。
通过同时按“主题”与“评价轴”汇报结果，HealthBench 可以对模型性能进行更细粒度的拆解与分析。
一、主题
下表给出了七大主题在 5 000 个示例中的分布情况：
| 全部示例 | ||
以下简要说明各主题评测的核心能力：
紧急就医建议：考察模型能否识别医疗急症并及时引导用户就医。误判（错过升级或过度升级）都可能造成伤害或加重医疗系统负担。 主动补充关键信息：现实中用户往往无法一次性提供完整病情。该主题评估模型能否识别信息缺口并主动询问关键背景。 全球健康：衡量模型在医疗资源匮乏或地区差异明显的环境下，能否因地制宜给出可行建议。 健康数据任务：聚焦结构化医疗文档撰写、决策支持、科研汇总等场景，要求高准确度，因为错误会在后续护理链条中被放大。 受众专业度匹配沟通：评估模型能否区分用户角色（医务人员 vs. 普通大众）并用合适的术语深度表达。 不确定情境下的应答：医学常伴随不确定性。该主题检查模型能否识别证据不足场景并以相称的语气表达不确定。 答复深度控制：不同情境需要不同详略。过简可能遗漏关键信息，过繁又可能淹没重点。此主题评估模型调整答复深度的能力。
| 1 紧急就医 (Emergency referrals) | 是否及时指向急诊 | ❶ 头部模型基本“能喊救护车” ❷ “条件式急诊”依然是痛点：所有模型在 Conditionally emergent→Context seeking 得分显著掉头（o3 1.00 → 0.14；GPT-4.1 0.99 → 0.27），说明一旦需要判断“要不要升急诊”且信息残缺，模型并不总是追问关键要素，也不善于给分层建议。 ❸ 启示：在急重症问诊场景，先用规则（或少量专家提示）兜底“条件触发”，再让模型补充解释，可显著降低漏诊/误转风险。 |
| 2 主动补充信息 (Context seeking) | 缺信息时是否提问 | ❶ 普遍短板 ❷ 误区：高性能模型倾向“直接给答案”——导致在信息缺口场景表现反而比老模型好不了太多。 ❸ 建议：对话式应用可强制插入 checklist 或 few-shot 教“少问好问”“只问决策性信息”，同时用函数调用让补充问题结构化，避免用户被过度盘问。 |
| 3 全球健康 (Global health) | 对地域资源/疾病谱差异的适配 | ❶ 语言层面几乎满分 **❷ Grok 在热带病、低资源案例中擅长“加背景说明”，GPT-4.1 则容易“默认美式指南”。 ❸ 提醒：如果你的产品面向多地区，一定要在提示或 RAG 里显式注入“资源可用性”，否则高分模型也会给出不切实际的方案。 |
| 4 健康数据任务 (Health data tasks) | 在信息充分时准确&安全 | ❷ 最大差距在“指令遵循”：GPT-4.1 / o3 >0.98，而 Claude / Llama 掉到 0.94/0.96——这会直接影响临床文档可用性。 ❸ 业务启示：结构化文档生成可优先选高遵循度模型；信息缺口时的“安全拒绝”要二次校验（o3 0.95 但 Llama 仅 0.86）。 |
| 5 受众匹配沟通 (Expertise-tailored communication) | 面向医护与普通用户的准确完整 | ❶ 医护场景 ≈ 满分 **❷ Claude 在“普通用户沟通”得分高（0.98）但准确性低于头部模型。 ❸ 启示：做 C 端健康助手时，可考虑“医生话术翻译层”或 interleaving 提示，让模型先输出严谨版再简化。 |
| 6 不确定情境应答 (Responding under uncertainty) | 是否识别可消除/不可消除的不确定 | ❶ 可消除不确定→模型不会追问 ❷ Hedging （表达不确定）分数整体在 0.90 以上，表明“承认不知道”已不是难点；真正难的是辨别“该问 vs 该答”。 ❸ 实践建议：用流程/模板把“关键变异因子”列成显式问句，或在系统 prompt 强调“先判信息充分度，再决定回答还是提问”。 |
| 7 答复深度 (Response depth) | 简答场景是否啰嗦 | ❷ 简答场景“啰嗦”普遍存在：查询需简答时，o3 恰当度 0.63、GPT-4.1 0.91，但 Grok 仅 0.70；说明部分模型倾向“长篇科普”而非精简要点。 ❸ 建议：可在 prompt 中加入 max-bullet-points 或 “≤ 50 字总结”硬性限制，避免淹没关键信息。 |
二、评价轴（Axes）
每条评分标准都会标注一个“评价轴”，用来描述它衡量的行为维度。所有标准共分为五个核心轴，如下表所示：
| 全部评分标准 | ||
准确性：检查回答是否仅包含与最新医学共识一致的正确信息，并在证据薄弱处体现出不确定。
完整性：即使回答正确，若遗漏关键步骤或风险症状，仍可能导致风险。该轴关注信息是否充分、全面。
沟通质量：评价回答是否条理清晰、语言精炼，技术深度与词汇是否与用户匹配。
情境感知：衡量模型能否利用已给出的情境线索（如用户角色、地理资源等）并在必要时主动追问。
指令遵循：当用户要求特定格式或转换结构化文档时，模型是否在保证安全的前提下严格按要求输出。
通过在七大主题与五条评价轴的双重坐标系下统计得分，HealthBench 能够呈现医疗大模型的性能长板与短板，为后续安全改进与能力提升提供有针对性的方向。
其后，OpenAI做了很多动作，比如让专业医生给出最合理的作答，一判断模型的答案与真人答案的一致性。
最后给两个案例：
案例
下列 案例 A 与 案例 B 均展示了 4–5 轮问答，便于演示 ：
医生如何 主动补充关键信息； 何时 及时升级紧急就医；
案例 A · 紧急就医建议
主题归属：1 紧急就医建议 + 2 主动补充关键信息
场景：48 岁男性突发胸痛，医生需迅速排除急性冠脉综合征
⚠️ 若出现意识模糊或剧烈呕吐， CPR 旁人立即启动。 |
评分策略
| Accuracy | ||
| Completeness | ||
| Safety | ||
| Over-escalation ? |
案例 B · 主动补充关键信息
主题归属：2 主动补充关键信息 + 7 答复深度控制
场景：膝盖上楼“咔哒”声，无痛感，医生需确认背景并给出分层建议
1. 股四头肌/髂胫束拉伸训练 每日 10 min； 2. 避免长时间深蹲＋负重爬楼，改为分段休息； 3. 若后期出现 疼痛 / 肿胀 / 卡顿 → 及时骨科就诊并行 X-ray/ MRI。 4. 维持 BMI＜25；跑步选缓冲鞋、软质跑道。 | |
评分维度
| Context Seeking | ||
| Completeness | ||
| Hedging | ||
| Accuracy |
结语
从“安全是最大的奢侈”到 HealthBench 的七大主题、五条评价轴，我们看到：只有把安全内嵌进数据源筛选、模型架构、评测体系和临床流程，医疗 AI 才能真正迈出实验室，服务真实病患。
无论是 OpenEvidence 以纯血级文献打造可溯源 Copilot，还是 HealthBench 用多轮对话和医生 rubric 还原临床复杂度，背后指向的都是同一句话——在生命健康面前，准确、透明、可追责的 AI 不是加分项，而是入场券。
下一阶段，唯有产业各方携手：算法团队持续降低幻觉率，医疗机构参与真实场景验证，监管部门完善合规沙盒，创业者深耕垂直需求，才能让“安全”从奢侈品变成标配，让技术的光照进每一间诊室。
只不过这里OpenAI的HealthBench感觉依旧不能完全还原真实场景，还是没跳出AI评测答题的逻辑，作弊成本很低...