传统NLP打赢复活赛!硅谷融资给到实体识别/文本摘要,原来Jev只是个开始
闻乐 发自 凹非寺
量子位 | 公众号 QbitAI
AI圈真是风水轮流转!
Jev爆火之后,更多传统NLP技术翻红了。
而且吧,还真有人愿意掏钱。
专门做任务型小模型的创业公司Fastino,此前拿下1750万美元种子轮融资,加上此前的700万美元Pre-seed轮,累计融资约2450万美元。
领投方Khosla Ventures,还是OpenAI的早期投资方。
现在,ScaleDown也来凑热闹了,刚刚全新的CDM约束解码模型架构,一口气上线分类、实体提取、摘要三款模型。
NLP老三样直接组团复出。
相比前沿大模型API,其新模型最高快200倍、成本低467倍,还能处理100万Token的多模态输入。
每百万输入Token只要0.05美元,输出免费,摘要生成也不另外收费。
连《福布斯》都专门讨论起了这条技术路线:
小语言模型,正在部分任务上反过来赢大模型。
不是,2026年了,传统NLP真要打赢复活赛了???
传统NLP回归AI舞台
过去几年,大模型几乎把整个NLP领域重新洗了一遍。
一度让人觉得,以前那些专门训练的NLP模型,似乎已经没什么存在的必要。
但现在突然有了点文艺复兴的意思。
今年6月,《福布斯》专门报道了专用小语言模型(Task-Specific Small Language Models,TSLM)的测试结果。
当时ScaleDown已经推出了面向分类、信息提取、摘要等任务的小模型,并拿它们与Claude、GPT、Gemini等主流大模型进行了比较。
在ScaleDown公布的三项基准测试中,其专用模型与测试中的Claude系列相比,平均准确率高出约8%,调用成本约为对方的1/161,响应速度达到约3.8倍。
换成OpenAI系列,平均准确率高出8.72%,成本约为1/89,速度约为2.4倍。
与Gemini系列相比,平均准确率高出9%,成本约为1/29,速度约为8.3倍。
这些任务比较的是特定NLP任务,但即便限定在这些任务里,结果也足够有意思了。
尤其是成本。
在文本分类任务上,按照当时的测试结果,ScaleDown专用模型的调用成本,相比测试中的Anthropic模型平均低约5250倍,相比OpenAI模型平均低约1810倍。
摘要生成方面,假设每天需要生成1万份摘要,ScaleDown给出的成本估算是:
使用其专用模型,每天约7.2美元。 使用GPT-4.1 Mini,则约58美元。
而在其报告的人类评价中,两者的摘要质量没有表现出明显差异。
就拿企业来说,客服工单、商品评论、金融公告、企业文档、会议记录、用户反馈……需要的只是几个实体标签,却得调用一个拥有复杂推理、代码生成、长文本理解等各种能力的通用模型。
模型还可能额外解释两句,或者返回不符合预期格式的结果。
有时候用户并不需要模型给出过多的解释,该识别的识别,该分类的分类,干完活儿就直接交结果就行。
ScaleDown最近发布的CDM,就是沿着这个方向又往前走了一步。
创始人Neal Patel在发布时,先抛出了一个问题:
你都已经把答案给大模型了,它为什么还要从头写一遍?
比如给模型一封客服邮件,让它判断属于退款、物流还是售后。
候选答案明明已经列出来了,通用大模型通常仍要经过逐Token生成的过程,才能输出最终结果。
ScaleDown觉得,这中间有不少可以省掉的步骤。
于是,它推出了CDM约束解码模型架构。
CDM针对特定任务设计,读取一次输入,跳过传统大模型逐Token生成答案的循环,直接返回任务需要的结果。
首批上线的三款模型。
Classify,负责分类。
开发者可以预先定义标签,模型根据输入内容,返回各标签对应的校准概率和判断理由。
比如给客服消息分类、识别用户意图,或者判断一条请求应该交给哪个Agent处理。
Extract,负责实体提取。
开发者用自然语言描述需要找出的信息,模型直接返回结构规范的JSON,同时附带置信度和引用信息。
比如从新闻中提取公司、人名、日期,从合同中提取金额、签署方和关键条款,或者识别需要脱敏的个人信息。
Summarize,负责摘要。
这一款可以接收长文本、图像或PDF,并返回不超过1000 Token的摘要。
可以用来压缩Agent上下文、生成文档元数据,或者整理会议和访谈记录。
这三个功能听起来确实不新鲜。
但ScaleDown的思路,是把它们重新做成面向生产环境的专用模型服务。
企业需要什么结果,就调用对应的模型,不必每次都把一项明确的小任务,交给通用大模型完整处理。
价格也相当激进。
每百万输入Token收费0.05美元,输出免费……对,连摘要输出也免费。
与此同时,CDM支持100万Token的文本与图像输入,已经接入了OpenRouter、Vercel、LiteLLM、LangChain等平台。
至于性能,除了最高200倍速度、467倍成本优势,ScaleDown这次还公布了与其他专用模型的直接比较。
被拉出来的,还有最近同样颇受关注的Jev。
说起专用模型,Jev也是这段时间绕不开的一个名字。
它来自TypeSafe AI,主打结构化决策。
开发者提供上下文和候选答案,模型直接做出选择,并返回相应的概率信息。
这和传统NLP的思路其实有相通之处:
把问题限制在一个相对明确的范围里,再针对性地优化模型。
按照ScaleDown公布的数据,在DecisionBench上,CDM取得了77.2%的成绩,Jev则是72%。
上下文方面,ScaleDown宣称自己的100万Token输入窗口,是Jev的31倍。
当然了,Jev也没闲着。
Jev 1.14.0刚刚发布,这次连图片都能看了。
而且TypeSafe AI还顺手爆了个料:
其实Jev 1.13.0就已经具备多模态能力,只是此前没有向用户开放。
好嘛,原来早就留了一手。
这次更新之后,开发者可以直接把图片放进Jev的输入里,让它根据视觉内容进行判断。
比如识别图片中的手势、判断画面里有没有某种商品,或者对不同的图片内容进行分类。
不需要先通过OCR把图片转换成文字,再交给模型处理。
而且图片还可以作为候选答案的示例。
以前开发者可能需要用文字描述“竖大拇指”“张开手掌”等类别。
现在可以直接提供几张示例图片,让Jev根据视觉信息完成判断。
对于商品分类、视觉审核等场景,这种方式就方便多了。
不过,Jev 1.14最有意思的新功能,还不只是看图。
它还增加了一种名叫Box的输出类型。
以前Jev擅长回答“是不是”“选哪个”;现在,它还能回答:“东西在哪儿?”
比如给它一张厨房照片,让它找到咖啡杯。
模型可以直接返回咖啡杯在图片中的矩形边界框坐标。
除此之外,新版还改进了多语言能力,并开放实验性的长上下文选项。
当然,TypeSafe AI也提醒,图像、Box和长上下文功能目前仍处于实验阶段,需要手动开启,尚未达到生产环境的可靠性要求。
从Jev到ScaleDown,这些专用小模型的动作已经越来越密集了。
回到专用小模型这条路线,说白了,这一轮也谈不上旧技术打败新技术。
只是在大模型几乎包办一切的时代,大家又开始重新计算:
哪些任务真的需要这么强的模型?
文本分类、实体识别、摘要生成,这些需求一直都在,只是前几年,大模型的光芒太盛,把这类基础NLP任务的价值都给盖过去了。
如今AI应用逐渐走向规模化,成本、速度和输出稳定性又成了绕不开的问题。
行业终于意识到,杀鸡没必要用屠龙刀。
兜兜转转,文本分类、实体识别、文本摘要这些NLP老熟人,又重新回到了AI圈的聚光灯下。
这场传统NLP复活赛,算是赶上时候了。
参考链接:
[1]https://www.forbes.com/sites/joetoscano1/2026/06/25/small-language-models-outperform-frontier-ai-on-cost-speed-and-accuracy/
[2]https://x.com/neal_k_patel/status/2109978626124898587?s=46&t=iTysI4vQLQqCNJjSmBODPw
[3]https://x.com/EGafni/status/2110489489265312255?s=20
[4]https://typesafe.ai/blog/jev-1-14
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
🌟 点亮星标 🌟