MacTalk

电脑操作、技能、连接器、工作伙伴:豆包的牌来了

最近听到豆包的两个新闻,一个是字节在训练一个 5 到 10 T 参数的超大模型,另一个就是字节 Seed 全员会定调,明确反对模型蒸馏,认为沿这条路最多逼近对方、难以超越,希望构建不依赖外部对手的数据能力。

这些话别人说可能有点酸,但字节有这个底气,基模、产品和用户规模,都在那摆着,尤其是豆包,最近上线了一大批 Agent 相关的工作任务能力,包括电脑操作、移动端远程控制、本地电脑/云电脑双模式,还有技能商店、连接器、⼯作伙伴等等,覆盖了人们日常办公的多种场景,用下来有惊喜,之前很多人觉得豆包在办公 Agent 赛道反应慢了,字节再次证明他们仍然有非常敏捷的行动力。

1

先举个简单的例子,上午十点,我在 Mac 上打开豆包 App,点击侧边栏“新工作任务”,给它布置了一项任务:打开 Apple 中国官网,分别找到 MacBook Air和 MacBook Pro的产品页,核对售价,最后整理成带链接和查询时间的表格。

这种简单的任务,其实可以看出来很多技术和产品上的雕琢。打开页面、辨认信息、跨页面核对、整理结果,任何一步卡住,最后那张表都出不来。

豆包先明确任务,然后制定计划,随后在后台打开浏览器——注意,这里并不是类似其他 Agent 产品直接接管浏览器——而是在后台执行内置浏览器,然后把中间过程以截图的形式呈现出来,打开页面,查找数据,最后交付了产品、起售价、页面链接和查询时间四列信息。整个过程非常流畅,并且速度极快,没有显式控制另一个浏览器的笨拙动作,几十秒就搞定了这个任务。

整个过程都留在工作区里,我能看见它准备做什么、走到了哪一步,也可以随时修改任务。可观察性是很重要的,因为真实的工作很少像演示视频那样一路绿灯。

Image

2

豆包这次发布的工作任务(Agent),把电脑操作(Computer Use)放在了很靠前的位置,并且,提供了本地电脑和云端电脑的模式。

Image

也就是说,当你想让 Agent 操作自己的电脑自动化做事情——访问内部系统、使用业务 App 等,就用本地电脑模式,豆包可以帮你点击按钮、切换页面、填写内容和下载文件等等。

如果你想做一些耗时长、需要持续在线、又不依赖你本机软件的任务,比如网页信息采集、竞品价格或内容监测、定时整理公开数据、生成日报和周期性报告等等,就可以使用云电脑执行,需要本地文件,传上去即可。

不过,目前 Mac 上的 Computer Use 只覆盖到了浏览器,其他桌面软件还不能由豆包直接操作;使用 Windows 的朋友这次有福了,可以体验豆包更完整的电脑操作能力,有墨问的小伙伴说,Windows 豆包还支持画中画小窗的功能,不打扰用户。

我表示,非常期待这个功能早日登录 Mac。

3

Computer Use 解决的是“动手”的问题,技能解决的就是“按什么方法做”。

豆包这次提供了大量技能和连接器,既有操作浏览器、文档、表格、定时任务,也有行业分析、代码诊断、公众号写作等更具体的工作流:

Image

点击我的技能,之前我自己安装的各种命令行工具和 Skills 可以直接复用,比如墨问 CLI,Agent Mail,Ego 浏览器等等:

Image

让豆包查询我的墨问动态:

Image

丰富的技能把任务步骤、工具选择、结果格式和边界条件提前固化下来。一个通用模型遇到财务表、合同和代码仓库时,需要的工作规范是完全不一样的,技能可以给它装上可复用的操作手册。

再往外一层是连接器,包括飞书、企业微信、钉钉、腾讯文档、金山文档、Notion,也延伸到金融数据、企业信息、法律检索、地图、旅行、GitHub 和数据库服务。

比如我连接了飞书和企业微信,就可以使用飞书和企微的 Skill 能力,查看飞书里的任务,给企微安排会议,给联系人发消息等等。

连接器让豆包有机会读写真实业务系统里的数据,价值自然更大,同时需要控制好边界,我的建议是,在你操作业务数据的时候,使用“按需确认”的模式,这个应该成为默认习惯。

4

点击技能·连接器旁的“工作伙伴·小队”,则是另外一种组织方式。

Image

你可以直接召唤数据分析师、PPT 制作专家、UI 设计师、高级开发工程师、战略报告顾问和项目管理助手,它们更像带着职责说明和交付标准的角色。豆包已经把常见任务沉淀成了丰富的能力地图,你可以让 AI 插画师为你配图,让股票分析师帮你分析看好的股票:

Image

所有会话会被收入侧边栏的“伙伴对话”里:

Image

5

作为一款国民级 AI 产品,移动端豆包 App 已经成为很多普通用户接触 AI 的日常入口。这一次豆包 App 也更新了,它通过工作任务把 Agent 模式带到了手机上,你可以选择在云电脑上完成工作任务,也可以远程遥控本地 Mac:

Image

同一豆包账号完成授权后,用户就可以从移动端发出指令,让已连接的桌面端豆包读取本地文件、操作软件,并把进度和结果实时传回手机。

这时候豆包就像一个随身遥控器,人可以在任何地方,任务依然在电脑上持续运行:我们可以去任何地方,做任何事。在某种程度上,这已经完全覆盖了龙虾的功能:

Image

远程控制把电脑和手机绑定在一起,我们就有了真正的个人助理,电脑上的日常工作任务,都可以通过手机发送指令,桌面版豆包 App 帮你执行。

重要的是,手机豆包连接桌面豆包只需要同账户确认,非常简单,并且,连接速度极为丝滑顺畅,几乎没有延迟。这个是 Codex 没法比的。

昨天晚上我一直在体验豆包的各种功能,跟玩游戏一样。这次大规模的更新让豆包完成了一次真正意义上的升级,或者叫转身。它从一个 AI 助手升级到了工作 Agent,Computer Use 负责触达现有软件,技能提供方法,连接器接入数据,工作伙伴组织分工,移动端则让任务的入口无处不在。

剩下的问题只有一个:当豆包把 Mac、Windows、手机的能力都补齐,你会把哪些工作完全交给豆包呢?