喝点VC｜a16z重磅分析：搜索进入“AI原生”时代，谁将主宰下一代搜索基础设施？

Z Highlights

• 我们的新兴观点是，深度研究将成为Agentic Research的主导和最具货币化的形式。客户已经表现出愿意为高质量的研究结果付费，我们预计，随着Agent从简单的事实检索转向复杂的合成，这种行为转变将加速。”

• 在过去的30多年里，网络搜索都是为人类打造的。现在，它正在为智能体重新构建。但人类将是这里的最终受益者，因为信息获取的速度更快，时间密集型研究的速度加快，新产品的制造也会加快。

本文内容为2025年11月13日a16z的文章。文章通过对AI搜索领域多家初创公司、技术架构和用例的深度分析，系统梳理了AI搜索从传统搜索引擎向原生AI搜索转型的商业全景。

早在1996年，Wired杂志就曾刊文探讨互联网早期不同搜索服务商之间的竞争。那个时代（谷歌和PageRank算法问世之前）最值得关注的现象是：所有初创公司都在以截然不同的方式探索互联网搜索。雅虎采用目录式方法，需要人工耗时耗力对网站进行分类。早已被遗忘的搜索后端Inktomi则使用初级爬虫，并基于内部文本相关性算法对结果进行索引。Excite则是面向用户的搜索门户，它构建了网络的倒排索引，并通过语言分析将特征相近的网站聚类（这种聚类基于语言特征判断）。那是个更简单的时代：某种程度上，90年代从事搜索技术的工作更像图书馆员而非研究工程师。

然而所有这些初创企业都被1998年成立的谷歌甩在身后。谷歌的PageRank算法通过反向链接数量评估网站权威性，迅速成为人类浏览互联网的最佳方式，也成为品牌、出版商和SEO大师在网络上推广自我的利器。直至人工智能时代来临，互联网搜索问题基本被认为已得到解决。

如今局势再度巨变。我们正亲历众多初创企业掀起的全新搜索大战。随着智能Agent爬网能力远超人类极限，这场角逐的赌注空前巨大：

• 我们需要重新构想搜索模式——当智能Agent取代人类输入查询词成为主要浏览主体时，数十家初创企业正为争夺这一机遇展开竞逐。

• 不同于25年前各竞争对手均推出独立搜索产品（雅虎、Excite、AltaVista等）的局面，如今竞争主要集中在API供应商之间——他们能快速迭代并整合瞬息万变的人工智能搜索前沿技术。 

• 多数涉及网络搜索场景的面向消费者企业（深度研究、客户关系管理、技术文档等）正选择外包给专业服务商，而非自建搜索系统。不过少数大型实验室和初创公司正在同步开发面向消费者的产品和面向开发者的API服务。

• 过去三十余年的网络搜索都是为人类设计的。如今正为智能体重构架构。但人类终将成为最大受益者——信息呈现更迅捷，耗时研究得以加速，创新产品应运而生。 

为AI构建网络索引 

当前网络搜索主要优化面向人类（或更准确地说，面向营销者）。其呈现SEO内容，充斥广告，包含大量冗余信息。这迫使开发者抓取海量冗余数据并进行二次提炼，过程耗时耗力。若在现有网络基础上叠加AI搜索功能，最终呈现的将是大量垃圾信息：这将严重扭曲大型语言模型的潜力，而非充分展现其价值。

搜索系统应当从底层构建为AI原生架构。AI原生搜索层应聚焦核心信息——通过精确控制时效性与长度，提取最具价值的文本片段，直接嵌入大型语言模型的上下文窗口。这种搜索层能为用户提供信息密度最高的文本片段，并精细调控内容长度与实时新鲜度等参数，使其能即时融入智能体工作流。

通过与AI模型供应商、AI搜索产品开发团队及应用团队的交流，我们获得若干重要启示：与现有网络生态中少数搜索巨头（实质仅一家）的格局不同，本次变革可能催生众多搜索服务商，它们将在不同维度和领域蓬勃发展，同时深度嵌入面向用户的产品。

尽管少数领先的人工智能公司选择自主开发搜索能力，但多数企业仍倾向于依赖第三方搜索服务商。维护网络索引和搜索基础设施的高昂成本与技术复杂性，使得外包方案更具吸引力——除非企业具备超大规模运营能力。正如某人工智能模型开发者向我们所言，决策的关键在于：投入宝贵的工程时间开发搜索功能，是否比投入其他核心产品改进更具价值。对于该模型团队而言，选择外部供应商显然更为合理。

当你意识到与90年代相比，今天的web工程最佳实践迭代和激增的速度有多快时，这是有道理的。在AI研究实验室中构建和产品化的许多工具都是从开源存储库开始的，在向上游移动之前，它们会吸引GitHub和X上开发人员的注意力和想象力。如今，惯例和研究传播得更快了，所以我们看到AI搜索中的工程决策趋同是合乎逻辑的。一个可能的结果是，与25年前的搜索玩家相比，目前的玩家在工程决策和架构上更加相似：他们在发展早期就找到了有效的方法，并针对他们的权衡选择进行了优化。

毕竟，性能非常重要。像谷歌这样以高质量的方式重新抓取和重新索引整个网络是一项非同小可的壮举。它的计算成本很高，需要强大的基础设施，并且需要对大量（PB级别）的数据进行排序。 像Exa这样的一些公司采取了基础设施密集型的方法，部署了自己供应的144 H200s GPUs，并收集了大量的URL队列，从中可以抓取、存储web数据，并将其摄取到自定义的神经数据库中。与此同时，Parallel维护着自己为AI Agent优化的大规模索引，每天不断添加数百万个页面，并提供可编程的搜索API，显示为下游AI推理设计的新鲜、高效的token摘录。

其他搜索公司，如Tavily和Valyu，选择以更定期、更节省计算的方式抓取网页，但采用强化学习模型，帮助指示何时应该重新抓取某个页面。例如，一篇博客文章可能不会更新，也不需要重新抓取，但一个动态的电子商务网站可能需要每小时更新一次，以反映最新的价格和可用性。这是一个有意的权衡，以节省计算，在假设网络上最相关和最常访问的角落仍然会浮出水面，并以足够的准确性刷新。

最终目标是平衡成本、准确性和性能，同时仍然全面索引网络。一个好的索引意味着对人类（和Agent）现在发现相关的内容有很好的覆盖。

AI 搜索的简史 

回忆回遥远的2023年。当ChatGPT启动时，它没有接入互联网，这导致经常出现过时或不完整的回复。这导致了一些令人啼笑皆非的对话，比如聊天机器人发明了《黑客帝国》中角色的名字，或者产生了关于罐头沙丁鱼是否活着的幻觉（这些问题今天都得到了可以搜索的法学硕士的事实核查）。抛开娱乐不谈，就有用性而言，这也是一个巨大的瓶颈：程序员特别发现，早期LLM几乎不可能编写代码，因为他们无法访问外部文档。

一个工程师团队（后来成为AI搜索团队Tavily的创始成员）是最早通过开源项目GPT Researcher解决这个问题的团队之一。这是一个拥有超过20,000个GitHub星星的病毒式工具，使Agent能够浏览web资源并将检索到的信息合并到推理和执行循环中。

GPT研究员帮助定义了一种“为推理而检索”的新范式，它结合了检索、总结和综合。这是我们今天看到的那种深度研究和推理工具的原型：一个Agent会浏览网络，挖掘资源，判断它们的相关性和准确性，并使用LLM来筛选有用的要点。这种功能将是抵御不完整的LLM响应的第一道防线：它可以搜索 网络并一劳永逸地验证沙丁鱼实际上不是活着的（以免我们产生怀疑ChatGPT后来在2024年整合了浏览功能，验证了这种方法，并为搜索基础设施和Agent研究的创新浪潮打开了大门。 

另外两个主要的架构转变对于实现 AI 搜索至关重要：检索增强生成（RAG）和测试时计算（TTC）。RAG通过查询最新的、特定于领域的或专有的数据，而不是仅仅依赖于静态训练权重，为模型提供了对世界信息的实时访问。TTC允许模型在推理中分配更多的推理能力，使用迭代搜索、验证或计划循环来改进答案。它们一起把静态模型变成了动态推理器：既能找到正确的信息，又能更努力地思考它的系统。这使得搜索从一个静态的blue-link的实用程序演变成一种交互式的智能形式。 

这是一个有趣的时刻。用户开始意识到人工智能搜索变得越来越强大，但确切的抽象层仍然不确定。理想的最终产品是建立在ChatGPT之上，还是会出现一个全新的搜索基础架构层？ 越来越明显的是，需要更多的基础搜索基础设施，市场已经开始朝着这个方向发展。

今年早些时候，微软悄悄关闭了他们的公共必应搜索API，并 引导开发人员转向付费的“Agent构建器”，将必应搜索搜索封 装在LLM工作流中。微软有意识地逐步淘汰他们基于索引的搜索服务，转而支持拥有堆栈并引导用户在他们自己的平台上进行构建。这种象征意义很难被忽视：微软实际上是在说：“你 应该把我们的Agent生成器视为必应搜索API的优秀继任者。”到那时，该领域已经出现了十几家AI搜索公司。我们在下面 对它们进行了探索。

今天的竞争环境：平台 vs 产品 

如果这篇1996年《连线》杂志的搜索报道今天发表，但是是关于AI搜索领域的新创业公司，那么就会有不同的角度。

图片来源：a16z

如今，大多数AI搜索产品都在向类似形式的API平台产品靠拢。通过单一集成，面向用户的产品可以利用API或SDK来访问各种搜索功能，如返回排名搜索、爬行、从特定网页提取信息和执行深度研究。作为一个干净且易于使用的开发人员界面，这些搜索API可以直接连接到Agent工作流中，以提供对外部数据的访问并直接在上面合成信息。这导致客户，特别是开发人员，在今天构建自己的产品时集成了外部搜索：具有从网络自动富集的CRM，可以访问实时文档的编码工具等（下面有更多用例）。

这里有细微差别：一些团队更喜欢来自单一提供商的一体化端到端解决方案，而另一些团队则选择组装自己的堆栈——使用一种解决方案进行搜索，另一种解决方案进行推理等等。实际上，它们之间一直存在细微差别：一些API提供商实际上使用外部索引，而不是构建自己的内部索引。 

还有一类新的搜索产品正在出现，它们更面向消费者。ChatGPT 于 2025 年 2 月公开发布了深度研究功能，Seda 正在构建更强大的面向消费者的研究功能，如分支和结果规范。Exa推出了 Exa Websets，允许终端用户访问 Exa 的搜索功能，而无需与其 API 集成。这些面向开发人员的搜索产品通常都建立在现有的 AI 搜索基础设施上，并权衡了易用性和灵活性。例如，使用 Exa Websets，GTM 团队可以立即开始丰富线索，而无需在工程团队中循环进行自定义集成，但是如果他们想要添加自定义逻辑，则无法自定义搜索工作流。 

客户通常通过对结果质量、API 性能和成本进行基准测试来评估提供商。然而，没有标准化的方法：测试的范围可以从非正式的实验到精心制作的内部“考试式”基准。公司通常会针对特定用例并排评估多个提供商，然后选择表现最好的一个。有些公司同时使用多个提供商来提高数据完整性或跨域覆盖，例如将一个提供商结合起来以提高速度，另一个用于复杂或专有查询。

当前的一些搜索案例

深度研究

深度研究已经成为搜索API最引人注目的用例之一。它指的是Agent在整个互联网上进行广度和深度的多步骤、开放式研究的能力。这些系统可以在几分钟内完成人类需要数小时才能完成的任务，通常会发现原本无法发现的信息。 

OpenAI的BrowseComp基准为深度研究解锁的价值提供了强有力的说明。与简单的事实检索不同，它的1266个问题需要跨分散来源进行多跳推理，在初始搜索失败时创造性地重新制定查询，以及跨时间段的上下文综合。 

人类专家在两小时内只能正确解决其中的25%虽然是人为的，但这个基准密切反映了现实世界的高风险工作流程：追踪不同时期的监管文件，从碎片化的数据中合成竞争情报，映射多层公司所有权，或者在一个被忽视的细节可能改变结果的情况下进行尽职调查。Parallel 提供了一个强大的深度研究 API，客户已经在使用它来创建研究报告和进行市场研究。 

我们的新兴观点是，深度研究将成为Agent搜索的主导和最具货币化的形式。客户已经表现出愿意为高质量的研究结果付费，我们预计，随着Agent从简单的事实检索转向复杂的合成，这种行为转变将加速。

CRM 浓缩 

人工智能搜索的一个很好的早期用例是解决CRM的潜在客户富集问题。潜在客户富集通常是一个耗时且手动的过程，涉及将来自许多不同来源的人员或公司数据拼接在一起。人工智能搜索可以自动查找和收集相关信息，甚至定期更新以确保新鲜度。 

技术文档/代码搜索 

编码Agent需要实时、最新地访问代码示例和文档，以生成准确、高质量的代码。由于框架、API和语法发展迅速，静态数据集很快就会过时。搜索API通过将Agent直接连接到实时web资源来弥合这一差距，确保它们始终引用最新和最相关的技术信息。 

我们才刚刚开始看到这些功能将如何被使用。随着搜索成为人工智能工作流程中的原生层，从直接从社区论坛学习的Agent到不断适应新库和框架的系统，新的和更引人注目的用例正在出现。

主动、个性化的推荐

实时网络搜索为提供个性化的实时推荐提供了新的可能性。通过利用不断更新的网络数据，应用程序和Agent可以主动建议相关的本地事件，趋势活动，或根据每个用户的背景和偏好量身定制的新兴兴趣。

结论

在整个市场上，我们采访过的30多家搜索API客户看到，顶级人工智能搜索提供商的早期产品差异有限。大多数参与者主要在速度、定价和易集成性方面进行竞争，并提供类似的功能：排名搜索、网络爬行、文档提取和深度研究。也就是说，形势正在迅速变化。我们开始看到一些团队脱颖而出，提供与众不同的观点，尤其是在深入研究方面。“搜索API”和“LLM-as-search-API”之间的界限也很模糊：人们可以选择使用原始搜索结果，并应用LLM作为过滤器，而其他人则更喜欢让LLM提供已过滤的结果。

正如我们上面提到的，团队对如何索引采取了不同的架构方法。正如一位企业客户向我们指出的那样，供应商的“堆栈排名”在不断变化，随着时间的推移，不同参与者在方法上采取的权衡演变为更大的差异，这是我们密切关注的最令人兴奋的领域之一。

值得重申的是，在人工智能出现之前的几年里，搜索变得越来越臃肿和难以导航：谷歌上的相关结果被隐藏在赞助链接之下，网站本身也被弹出式广告所困扰。因此，让搜索对Agent来说更容易访问，也就是说，它对人类来说也变得更容易访问。虽然花了三十年的时间，但互联网上的搜索终于又开始进化了。我们为推动这一领域向前发展的团队感到兴奋。

原文：Search Wars: Episode 2

https://a16z.com/search-wars-episode-2/

编译：Ginger Jin

请注意，本文编译自文末载明的原始链接，不代表Z Potentials立场。如果您对本文有任何想法或见解，欢迎在评论区留言互动探讨。

Z Potentials将继续提供更多关于人工智能、机器人、全球化等领域的优质内容。我们诚邀对未来充满憧憬的您加入我们的社群，与我们共同分享、学习、成长。