跳到主要内容
阑夕豆包工作,闷头上大分
阑
→ →//约 6 分钟
文 | 阑夕
最近在各个社交媒体上,刮起了一股非常利好AI行业的风气:
已经有越来越多的人——不止是博主,还有越来越多的普通人——开始分享自己第一次接入AI办公产品的「新奇」体验了。
很多玩梗的高赞评论也很有意思,用的比喻包括但不限于「感觉像元谋人进城」「第一次觉得自己无所不能」「把我老板叫过来」等等。
我一直在说,AI行业最怕的就是小圈子自嗨,从业者和爱好者再怎么渲染核爆瘫坐之类的气氛,也不及一条爆火短视频来得实在,因为只有后者,才是AI产品高泛用性的真实证据。
所以能看到,这几个月大伙已经愈发热衷于拿AI办公产品做点什么了,虽然其中很多都未必符合提高生产力的主旋律,但起码对于AI办公赛道而言,这可是天大的好事啊。
我甚至觉得,哪怕是在算力吃紧的当下,也应该让渡相当一部分来满足这些所谓的「无用之功」,因为对于整个行业在C端商业化的缓慢进程来说,这很可能是一个容易被忽视的转折点。
就很讽刺,有时候苦苦求而不得的大结果,最后用一种完全出乎意料的方式实现了。
此时适合引用「影之刃零」里那句十分出圈的台词:
灭烛见真火,忘剑得神兵。
· · ·
当然,AI办公,终究还是得服务于最主流的办公场景,跟大模型一样,在初具规模且越滚越大的市场面前,榜单的分量从未像今天这么重要过。
关于Claude Cowork、ChatGPT Work,以及微软、Google那两套办公全家桶的横向对比,你们可能已经看过不少了,但在国内,似乎一直都没有一个成体系的benchmark,让人能直观看到各产品之间的能力差异。
然而最近这片空白被SuperCLUE给填上了。
很多人可能并不熟悉这个名字,SuperCLUE背后的CLUE团队,从2019年就开始做中文语言理解测评,到了2023年AI彻底爆发后,又推出面向大模型的综合性评测基准,也就是如今的SuperCLUE。
这家机构拥有公开的论文、项目和持续更新的榜单,在中文AI评测上下的功夫相当扎实,所以在榜单的权威度上,基本可以做到无毒放心食用。
这次SuperCLUE选择了8款国内主流AI办公产品,在文档处理、数据分析、材料撰写三大类型能力的基础上,设置了13项细分任务
,不但无死角覆盖平日里的办公场景,而且是拿Word、PPT、Excel这些人类日常会高频使用的交付物来进行评分,非常具有实战价值。
还是先说结论吧,从跑分上看,头部几家产品的距离相当近,第一名与第四名总分差只有2.65,分别是:
位列第四,堪称新晋黑马的百度搭子;
位列第三,日活一马当先的WorkBuddy;
位列第二,模型产品双开花的Kimi Work;
以及,一直在闷头上分,一不留神就拿下第一的豆包工作……
怎么说呢,还得是你豆姐。
我跟你们一样,起初也是有点怀疑的,但根据三大能力的总体测评看下来,豆包工作确实更接近于没有短板的「六边形战士」形态。
首先是在文档处理方面,豆包工作可以说是毫无悬念的第一,以高于第二名接近5分的成绩位列榜首,而且这是三大测评项目里分差最小的,这说明文档处理不仅是最高频使用的场景,也是几家厂商有共识的发力方向;
其次在数据分析能力上,第一名的Kimi Work与最后一名的纳米Work,居然产生了72分的分差,班上的学霸和学渣,已经不是一个代际的差异了……豆包工作还在前三;
最后是材料撰写,也就是考验信息归纳与内容创作水平的评测项目,属于相对抽象且比较难打分的一类,所以结果也是头部几家的成绩非常接近,差距几乎可以忽略不计。
短板不短,长板够长,豆包工作的表现还是比较稳定。
具体的评分细则,你们可以看SuperCLUE的原文,信息量可以说管够,这里就不再逐一赘述了。
接下来的重头戏,是喜闻乐见的真实测评环节。
· · ·
这次我选了总成绩的前三名——也就是豆包工作、Kimi Work和WorkBuddy——分别下达了同一项任务,并开通了各家的会员
,特意挑选与SuperCLUE测评中完全相同的模型,在力所能及的前提下,尽量将变量控制在了最小。
这项任务是拆解Anthropic分别在10月26日、11月2日发布的两份招股书,
让它们产出三个不同的结果给我,分别对应着SuperCLUE榜单里的文档处理、数据分析、材料撰写三项能力。
从任务用时上来看,Kimi Work优于豆包工作优于Workbuddy,分别是29分钟、47分钟和73分钟,虽然差距不小,但总体都还属于能接受的范围。
至于第一项考验,三家可以说都顺利完成了任务,这也是为什么我说文档处理是厂商们都在发力的主流方向,很难有什么直观差距。
但从看点总结开始,差异就显现出来了,首先视觉上,Kimi Work和WorkBuddy产出的PPT都有一股Claude味,而且有大量页数是用文字代替图表进行解释:
三家里,只有豆包工作的风格是自成一派的,并且精准get到了我「深入浅出,通俗易懂」的科普需求,每一页都是以图表为主要视觉元素,非常直观:
而在具体内容风格上差异也很明显,Kimi Work会在每个看点后面补一段「为什么值得关注」,WorkBuddy则花了更多篇幅解释版本变化、治理结构和风险,能看出它们各自想把哪些事情讲透。
而如果是拿来给普通人做一轮科普,我更喜欢豆包的几处处理。
比如解释Anthropic为什么一边巨亏、一边又有调整后盈利,它把两种口径之间的调整项目逐项画了出来,从可转票据的账面变动,到股权激励、非现金捐赠,最后走到调整后净利润。
有了这张图,我就能轻松带着读者把这笔账顺下来。
还有代码贡献那一页,90%这个数字,它用了100个小格子来表达,九排属于Claude,一排属于工程师,实话说这个制图虽然不算难,但它往往比多解释几句更管用。
最后是长文这边,三家也有各自的取向,Kimi把十大看点展开得比较充分,WorkBuddy则围绕增长、治理和安全,组织了更多自己的讨论。
但豆包工作的特点,或者说优势,依然在于它很好地完成了科普这个使命,面向不太熟悉AI行业的读者,产出的表达明显更为友好。
比如净收入留存率900%,光把这个数字放大,读者可能只觉得很厉害,却未必知道它厉害在哪里,豆包举了个小例子,同一批老客户,去年一共花100元,今年不增加新客户,收入就能达到约900元。
这么一说,比较的是谁、算的是什么,就都有了,对科普来说,这种解释其实很重要,你得先让读者看懂,才能接着聊它意味着什么。
· · ·
总而言之,如果不考虑提示词的话,我会认为三家的表现都各有所长,可圈可点,不过大概是豆包太懂如何拆解需求了,所以最终的成果,是最符合我心意的。
这也是我认为豆包工作,或者说整个字节系AI产品在生态上的优势,有了在一线跟用户打交道的丰富数据,是不是意味着这些数据可以反过来强化模型,驱动整个生态飞轮?
无论如何,一份400多页的招股书,现在经由AI之手就可以毫不费力地让所有人读懂,这足以说明,
智能带来的便利还有多大的想象空间。
豆包工作这次的总榜第一,尤其是文档处理上的领先,值得沿着这个方向继续观察,办公软件面对的是每天重复发生的需求,一次省下来的时间可能不多,但人会记得,哪款工具让自己少折腾了几遍。
模型还会更新,榜单也会换人。
至于用户,需求倒是一直很朴素:
交给AI的那份活儿,最好真的可以从自己的待办里划掉。