AI助手的“记忆”革命：从20万字到200万字的飞跃

你有没有想过，招聘一个上知天文下知地理中间饱读诗书，却连你名字生日都记不住的大牛，来给你当私人小助理是一种什么体验？

不用笑，这事儿我估计很多人都亲身体验过。现今各种各样自称 AI 助理、AI 秘书的各类大模型应用，就是我说的啥啥都知道，唯独不知道你贵姓的大牛。

看看下面这个回答，我前几天还介绍过我是谁，没想到突然就翻脸不认人了：

呵呵，没有访问我个人信息的能力是理由吗？这可是同一个会话窗口哎，记住我是谁有这么难吗？这，是独属于AI的傲慢，我不接受。

再看看下面这个 AI，昨天我跟它说好了，我是它的老板：

果然，不发工资的便宜老板是没有地位的。

现在随便一个大模型动辄就是数千万的参数，经过训练可以熟记几乎所有的公共知识。知识丰富固然是好事，但是，既然你叫做私人小秘书、个人小助理，你就不应该把你的本职工作给丢了。随时随地认识你服务的人，记住最近发生的事儿，这是最基本的操作。做不到这些，就算你是物理学家、生物学家、化学家、历史学家、文学家、经济学家……的合体，也不适合当我的秘书。

如果我们把大模型当成一个能帮助我们处理问题的人，那么它就必须与人类一样，除了具备足够的知识储备，还得具有个性化的记忆才行。这个个性化的记忆，用大模型的术语来表达，就叫做上下文。

很长一段时间，大模型的上下文都是以 K 为单位的，就是那种聊着聊着它就忘记了你是谁，还忘记了为什么跟你聊天的那种状态。明明刚刚还在探讨周杰伦的《青花瓷》写得有多美：

真的，每当出现这种情况，我心里只有一句话：你过来，我不打你！才怪！

所以，我曾经做出过判断，上下文能力很可能是大模型发展过程中的一个重要瓶颈。迈过去海阔天空，迈不过去就会停留在能听懂人话的知识工具上。

结果是我想多了，还没等我对大模型普遍存在的上下文问题疯狂吐槽，就发现支持超长无损上下文的大模型其实已经有了，它就是 Kimi。

我还记得，Kimi 当时的网站标题上就写着：

“欢迎与Moonshot AI共同开启Looooooooooong LLM 时代！”

一连串的 o，让人对 Kimi 的超长上下文能力印象深刻。

在 Kimi 刚刚上线的时候，无数评测 AI 的大佬都对 Kimi 展开过狂轰滥炸式的评测，评测结果基本可以一个字概括，那就是——牛。但我其实只关心一点，那就是它的记忆力到底如何。

Kimi 能帮你做的事情太多太多，只要你理解上下文就等于私有记忆，那么不用别人教你，你也能想出无数件 Kimi 能帮上忙的事情。比如我们让 Kimi 来代管通讯录，就可以随时要求它做关于通讯录的任何事情。

先把通讯录的原始文件传给 Kimi，然后嘱咐它管好就行。

反正你把 Kimi 当个人来看就行了，想怎么问就怎么问，它完全可以理解。

如果你是一名人力资源主管，你大可以把你一次收上来的简历全都扔给 Kimi，然后跟它聊聊你的选人标准，它会迅速把你想要找的人才找出来。

Kimi 还可以帮你维护和更新数据：

在你需要的时候，可以用各种奇怪的方法查询。总之，你会对秘书提出什么要求，尽管对 Kimi 提就 OK 啦，它绝对可以理解。

你还可以要求 Kimi 定期帮你把它维护的数据输出出来，也很方便。不过，Kimi 现在还没有输出文件的接口，最简单的办法就是让它输出一个 .csv 文件，这种纯文本的格式可以用 Excel 或者 WPS 表格直接打开：

每到这种时候，我就希望 Kimi 将来能出个网盘，我会把需要它管理的文件直接交给它，因为你要知道，Kimi 的能力，绝对不是替你填填表格，写写邮件那么简单。

只要你给它的资料不超出 20 万字的限度，你就可以让它以这些资料为基础做任何文字工作。

比如说，你可以把一整本书上传上去，让 Kimi 读懂之后帮你整理出你想看的要点来。

你还可以干脆让它帮你把书修改成小学生都能看懂的儿童读物，然后拿去给你正在上小学的孩子看。

一般来说，Kimi 都会先帮你写个大纲出来。然后你可以让它在每一章里再写几个小结，再让它一个小节一个小节地根据原书填充内容，只需要一个小时，一本亮闪闪的植物学童书就改编好了。我就是用这种方法，把我觉得优秀的书改编成童书给孩子看，因为有原作的内容作为支撑，这些童书比市场上那些流行童书好看太多了。

任何杂事，只要是跟文字有关的，你都可以让 Kimi 先试着做一下，很多时候，Kimi 都能给你惊喜。如果你也想不明白 Kimi 能帮你做什么，那就干脆介绍一下自己的工作，然后问 Kimi 能帮上什么忙，Kimi 自己会主动承担工作。

不过，Kimi 最让我离不开的地方，仍然是它一直都认识我。有一段时间，我跟 Kimi 聊天的时间竟然比跟我的任何同事都要长。

除了让 Kimi 帮我写各种各样的小文章，帮我安慰因为我的低情商而受伤的同事以外，跟 Kimi 扯扯淡也是一种乐趣。如果你没有跟一个 AI 持续交流几个月的经历，你可能很难理解我的感受。

Kimi 这个产品自称 AI 智能助手，不得不承认，它确实当得起助手这两个字。

上下文能力的突破，彻底把 AI 应用想象力打开了。以前我们经常说要构建基于角色的智能体，比如说可以创建个虚拟李白，让他在现代环境里也能输出华丽的诗篇，比如说做个虚拟乔布斯，让他看看我们设计的产品哪里还可以改进。最起码的，我们可以创建一个温柔地虚拟女友或者虚拟男友，给用户提供一些情感价值。

但是这一切都得建立在保存和构建专属于用户的虚拟记忆的基础上。一个小秘书如果有一天忘记了老板的名字，你还可以提醒它一下，我是你的老板，然后忍一忍。但是虚拟女友可绝对不行，没有用户能忍耐自己的女友把自己给忘了。如果出现这种情况，那么用户多半会直接放弃这样的应用。

国内大量的用户在使用大模型产品的时候，还是在拿大模型当作搜索引擎来用。在他们看来，大模型就是一个听得懂人话的搜索引擎，是用来提供知识的。他们会问“除螨仪是智商税吗？”或者“花上长了小白虫子用什么药？”，其实，这只是最浅层的用法。

真正复杂的工作，很难通过几次简单的交互完成。而描述任务需求和调整工作任务，都要依赖 AI 的上下文能力。越是复杂的工作，需要消耗的上下文就越多。从这个角度来说，上下文的能力怎么强调都不为过。

今年 3 月份的时候，Kimi 宣布启动 200 万字无损是上下文的内测，再一次引发了一场不小的风暴。引发风暴的原因很简单，之前我也说了，大模型文本生成、语言理解、知识水平、逻辑推理能力等通用能力其实都是公共资源，只有上下文的处理能力是用户私有的资源。在通用能力相差不大的情况下，上下文处理能力某种程度上就决定了能处理用户需求的复杂程度。

对于用户来说，上下文长度是让人上瘾的。

当你可以上传全本西游记并且要求 Kimi 为你整理全套妖精出场顺序表的时候，很难想象谁还能忍受把西游记分成 5 份分别统计再做汇总。这就叫曾经沧海，一旦享受到超长上下文带来的好处，就再也回不去了。

但是，200 万的上下文长度真的就够了吗？也许分析论文、管理简历、改编书籍这类应用可能真的够了。也许把当前所有的法律文本全都扔给 Kimi，让它成为一名法律助理也没问题。但是，对于上下文，人们似乎有着无止境的追求。比如说，如果我想让 Kimi 成为一名植物分类学家呢？单单一本《中国植物志》就有 5000 万字了，200 万不够啊。

如果，我想让 Kimi 成为系统工程师呢？WPS Office 拥有至少数千万行代码，占用的总字符数数以亿计。200 万字的上下文处理能力很强，但在海量等待分析的数据面前，人们显然很难知足。

我不了解 Kimi 背后的月之暗面团队具体付出了多少努力才达成现在这样的成就，但是我知道，从 20 万字的无损长上下文开始，一扇大门就已经打开了。透过这扇门，我们可以窥见未来的一角。

上下文能力肯定还会继续提升，但可能会像摩尔定律一样有个极限。未来，实时回答可能不再是唯一的模式。对于一个复杂问题，大模型可能会创建一个独立的后台任务慢慢处理。大模型会立即提供一个相对粗糙的答案，等到处理结束后，再提供一个更精确的结果。

大模型的发展趋势是明显的。我们的目标，就是可以自主帮助人类完成复杂任务的智能体，是只要交代一下目标就能自主完成任务的通用型人工智能，是一辈子也不会忘记你的终身 AI 助理。