MacTalk

新模型 Jev 为什么能在硅谷爆火,因为它解决了一个真需求

新模型 Jev 为什么能在硅谷爆火,因为它解决了一个真需求
9 月 15 日,TypeSafe AI 发布新模型 Jev,发布视频获得了 3600 万次观看(相比之下,OpenAI 的千禧年猜想获得了 7400 万次观看,Anthropic 的 Fable 5 获得了 5700 万次观看,两天之内)。这几天很多开发者在测试这款模型,各大基模厂商也在把 Jev 接入自己的模型。
Jev 是干啥的?咋这么火。
先说场景,一封售后邮件进来,系统需要判断:是否紧急,该给哪个部门处理,要不要人工介入,等等。都是小问题,但以前 AI Agent 的处理方式是让大模型读完材料,生成答案,再做判断选择。一天重复十万次,时间和账单儿都是问题。
Jev 专门处理这种判断,简单直接,是/否加一个概率,快如闪电。创始人 Diogo Almeida 曾参与 OpenAI 的指令跟随研究,如今关注的是:怎样直接使用 AI 的判断。
Jev 只接收文本,不写文章,不生成代码,也不解释推理过程。它提供三种回答:Choice 做选择,Score 按标尺评分,Noul 返回命题成立的概率。邮件给技术支持,客户着急吗,要不要退款,都可以变成 Agent 直接使用的结果。
关于概率,这里有个重要的区别:模型说“我有九成把握”,这份把握未必经过检验。Jev 做的是让返回的概率与实际结果能对得上:一批被判断为九成可能紧急的邮件确实很紧急。同时,它会直接计算多个独立问题的概率,并省去逐字生成答案的过程。
TypeSafe 把这类模型叫作“System One”,借用了《思考,快与慢》的概念。我觉得这是一个 Agent 分工细化的产物:大模型负责规划与生成内容,决策模型(Jev)处理范围明确的小的判断,普通代码负责计算和执行规则。省钱快速直接。
官方公布的端到端延迟为 70—500 毫秒,每百万输入 token 收费 0.042 美元,输出免费,确实又快又好又省钱。
开发者想要接入可以去官网注册信息,按 Quick Start 接入即可,步骤如下:
1. 获取 API Key
在 console.typesafe.ai 注册账号获取 API key。
2. Python SDK 安装
pip install "pydantic-ai-slim[typesafe]"设置环境变量:
export TYPESAFE_API_KEY='your-api-key'
3. TypeScript SDK 安装
npm install @typesafe-ai/sdk
目前该模型过于火爆以至于无法注册,不过不用着急,很快各路开源和其他基模厂商会快速跟进,估计中秋和十一又不休息了 😂
关于 Jev 的架构详解,可以看我整理的这一篇:
Jev 架构揭秘:一个不生成文本的决策模型是怎么工作的
比较长,一万多字,可以先收藏再读。