架构师修行录

Agent联网能力革命:web-access 如何让 AI 从搜索进化到浏览

鹿Sir上线,见字如面。

Claude Code 和 Codex 写代码的能力确实没得说,但说到联网能力,总觉得差点意思。尤其是碰到微信公众号、小红书这种需要登录态的网页,经常陷入死循环,折腾半天出不来结果。

这个痛点,相信不少开发者都深有体会。

直到 web-access 这个 Skill 出现——开源一周斩获 2.8K Star,势头相当猛。它让 Agent 从"搜索"真正进化到了"浏览"。


一、Skill vs MCP:不只是工具,更是方法论

很多人分不清 Skill 和 MCP 的区别。

MCP(Model Context Protocol)是一套协议标准,本质是给 Agent 扩展工具箱——告诉 Agent 有哪些工具、怎么调用。而 Skill 不只给工具,还给"怎么用工具"的完整方法论。

打个比方:MCP 是给你一把螺丝刀,Skill 是给你螺丝刀 + 说明书,告诉你从哪个方向拧、用多大力、拧不动时换什么姿势。

web-access 的设计理念是目标导向:接到任务先理解目标,找最短路径达成,每一步根据结果动态调整,而不是机械地走"搜索→抓取→输出"流程。

它的能力分三层:

  • 基础层:WebSearch 搜关键词、WebFetch 抓网页、curl 获取 HTML、Jina 转 Markdown。大多数 Agent 都有这些工具,web-access 的贡献是加了调度决策——先用哪个、失败了怎么降级、什么情况换路。
  • 核心层:CDP 浏览器直连。这是整个 Skill 最硬核的部分。
  • 效率层:多任务并行分治。多个调研目标可以拆分给子 Agent 同时执行,主 Agent 只做整合输出。

二、CDP:让 Agent 像真人一样浏览网页

CDP(Chrome DevTools Protocol)是 Chrome 远程调试协议,F12 开发者工具的底层支撑。通过 CDP,外部程序可以:

  • 控制导航(打开 URL、前进后退、刷新)
  • 执行脚本(页面上下文运行 JavaScript)
  • 操作 DOM(读取节点、修改样式、触发事件)
  • 模拟输入(键盘、鼠标、滚动)
  • 监听网络(捕获 HTTP 请求响应)
  • 生成截图

web-access 底层用 Chrome DevTools MCP + CDP 直连浏览器,登录态天然携带,动态渲染的网页也能正常访问。

这意味着:你在 Chrome 里登录的小红书、微信公众号、公司内网,Agent 直接就能用,不需要重新处理登录、cookie、token。


三、实战案例:从竞品调研到社媒监控

案例 1:AI 工作流平台竞品调研

调研 Dify、Coze、FastGPT 三个平台,关注节点类型、模型接入、私有化部署、定价策略。

传统方式:开三个浏览器标签,翻文档、做笔记、拼表格,至少两三个小时。

用 web-access:Agent 把任务拆成三个子 Agent 并行执行,各自盯一个平台,自己翻文档、提取数据。调研时间和只做一个平台差不多,三倍提效。

子 Agent 的调研深度超出预期——进入 docs.dify.ai 文档站,从"节点说明"逐条提取类型,从"模型供应商"整理 LLM 列表,这些细节搜索引擎摘要根本拿不到。

最后输出结构完整的对比表,直接给产品加了两个开发 TODO。

案例 2:小红书用户讨论抓取

小红书有完善的反爬机制,页面动态渲染,WebFetch 过去基本是空页面或混淆 JS。

用 web-access:Agent 判断小红书"普通抓取无法到达",直接切换到 CDP 模式,接管 Chrome 标签页,输入关键词、等页面加载、逐条提取结果。

因为复用自己登录的小红书,搜索结果和手动搜完全一致,不会被访客身份过滤。提取完列表页后,Agent 自己点进帖子详情,把评论区讨论也整理进报告。

认知升级:以前 Agent联网是"搜索"(输入关键词→拿摘要→给结论),现在是"浏览"(打开页面→等渲染→点链接→读详情→整理内容)。

这两个动词的能力差距,相当于叫一个人查资料 vs 叫一个人实地走访。

案例 3:GitHub 提交记录生成技术周报

根据 GitHub 提交记录生成技术周报,需要翻 commit 列表、看改了什么、为什么改、影响哪些模块,再提炼成产品能看懂的语言。

Agent 先尝试 WebFetch 拉 GitHub 提交页面,发现部分内容需要 JS 渲染,随即升级到 CDP 模式,用真实浏览器打开页面,等渲染完成后提取内容。

这体现了 web-access 的核心设计原则:工具升级是渐进的,轻量方式能走就走轻量,走不通再上浏览器。既省 token,又控制响应时间。


四、技术方案对比:CDP Proxy vs MCP vs Puppeteer

特性
CDP Proxy
MCP chrome-devtools
Puppeteer
浏览器
复用日常 Chrome
独立新实例
独立新实例
登录态
✅ 天然携带
❌ 需重新登录
❌ 需重新登录
实例冲突
❌ 无
⚠️ 可能冲突
❌ 无
调用方式
HTTP API
MCP 工具
Node.js API
适用场景
日常抓取、复用登录
隔离环境
自动化测试

对 Agent联网场景,CDP Proxy 最合适,核心原因是登录态天然携带。处理有授权墙的内容时,这个优势其他方案替代不了。


五、Chrome DevTools MCP 之上的三层增强

Chrome DevTools MCP 是 Google 官方做的 MCP 服务器,暴露 CDP 底层 API——创建标签页、执行脚本、截图、点击。这些是原子化能力,但怎么组合、什么情况下用什么,完全靠 Agent 自己判断。

web-access 在这之上做了三件额外的事:

第一,决策层。明确工具优先级和切换时机。不是每个任务都开浏览器,WebSearch、WebFetch 能搞定的就不动用 CDP。只有动态渲染、登录墙、反爬机制才升级浏览器模式。

第二,经验积累。`references/site-patterns/`目录维护各类网站的操作经验——小红书搜索框的 CSS 选择器、微信公众号内容渲染特性、B 站分页方式。每次成功操作后更新经验,下次遇到同网站直接复用路径。

第三,并行调度。多个子任务不需要串行等待,可以同时跑,每个子任务管好自己的浏览器标签,主任务只管收结果。

简单比喻:Chrome DevTools MCP 给了一辆车,web-access 给了一辆车 + 导航 + 知道路况的副驾驶。


六、行业趋势:Agent联网能力的进化方向

从 web-access 的火爆可以看出几个趋势:

1. 从搜索到浏览的范式转移

传统 Agent联网=搜索 API+ 摘要 + 答案。遇到动态页面、登录墙、反爬机制就玩不转。新一代方案让 Agent 直接操控浏览器,像真实用户一样操作。

2. 登录态复用成为关键能力

处理需要授权的内容(社媒、内网、付费内容),登录态复用是刚需。CDP Proxy 方案因为复用日常 Chrome,天然满足这个需求。

3. Skill 化是 MCP 的进化方向

纯工具层(MCP)提供能力,Skill 层提供"什么时候用什么、怎么用"的决策逻辑。后者才是让 Agent 真正好用的关键。


写在最后

2.8K Star 开源不久就拿到,不是运气好,是踩在了真实痛点上。

如果你用 Claude Code 或 Codex,建议试一下。用过之前觉得联网能力"够用",用过之后会发现之前那叫将就。

竞品调研、社媒监控、文档生成、表单提交——这些事 Agent 都能干,而且干得不比人差。

"

工具的上限,决定了你能做事情的边界。

EOF

Image
关于「鹿Sir」

分享架构技术/IT资讯/牛马日常

电商·SaaS·AI架构师,DDD极客/DDD4j开源框架作者

→关注公众号,撩小码鹿「已接入AI」

→加我备注“进群”,进技术大佬群学习