AI 在研发和工程上，到底能帮我们做多少？\n\n今天中午我们把做了好几个月的墨问时间知识库发了，具体可以看这里：\n嗷嚎，我们又做了个新产品\n\n这个产品是今年的计划之一，一方面我不希望星球上的三年创作就那么沉下去了，我自己还得看呢。另一方面是把 AI 知识库这件事弄清楚，未来这个应该是墨问的基础能力之一，创作类型的产品，没有 AI 知识库不太像话。\n\n产品发布之后，很多用户私信问我，这玩意怎么做的？企业做知识库很需要啊，还有你们怎么梳理数据，分类做标签？怎么实现问答召回，干这些脏活累活，AI 能帮咱们干多少？如何让 AI 打败（构建） AI 产品呢？\n\n这是个系统工程，我可以简单说说我们的做法。\n\n完成这个产品构建的基础是 260 万高质量成体系的文字，大约 1300 篇笔记。内容维度分为横向和纵向，横向是大的分类，比如对谈、书评、实践案例和创业手记等，这个手工做就搞定了，纵向我定位为标签，我们提取了 100 多个公共 tag，这个事儿借助了 AI 技术。\n\n先把每篇笔记喂给 AI，让大模型提取 3~10 个相关度最高的关键词。这时候产生的关键词比较发散，除了个别关键词，大部分关键词都只关联少部分笔记，聚合度是不够的。\n\n然后写脚本统计词频，从全部关键词里找出词频最高的 n 个关键词。这个步骤会从词频最高的 n 个关键词里，剔除一些特别“泛”的关键词（你我他然后所以等），这时候需要人工介入，最终形成一个关键词库。然后让 AI 通过这个关键词库，给每一篇笔记打标签，这样，基于标签 <——> 笔记的多对多的网状关系就建好了，聚合度也好很多。\n\n接下来需要对笔记的格式和内容进行清洗，短文本、长文章和问答形式的帖子，都得整理成符合墨问笔记的格式，有些内容还需要舍弃，这个需要工程师编写程序完成。\n\n把这些都搞完，一个干净漂亮的知识库数据集就搞出来了。\n\n然后开始做知识库底层技术的选型，这时候字节的火山团队正在推广他们的向量库和记忆库，本来大家也认识，那就合作一把，这样问答和召回、包括深度思考这部分也就搞定了。\n\n向量库是个很好的技术，可以做高效的、跨模态的语义检索。具体原理简单说就是，很多数据切片被分配到高维数学空间中，相似的物体（如“iPhone”和“智能手机”）在空间中距离很近，就可以被检索到，并返回给用户。\n\n有了这些你还需要设计 UI，完成交付给用户的工程产品，就是墨问时间知识库。那么，AI 帮我们做了多少呢？这么看，还真不少呢。
MacTalk约 2 分钟AI 在研发和工程上，到底能帮我们做多少？
今天中午我们把做了好几个月的墨问时间知识库发了，具体可以看这里：
嗷嚎，我们又做了个新产品
这个产品是今年的计划之一，一方面我不希望星球上的三年创作就那么沉下去了，我自己还得看呢。另一方面是把 AI 知识库这件事弄清楚，未来这个应该是墨问的基础能力之一，创作类型的产品，没有 AI 知识库不太像话。
产品发布之后，很多用户私信问我，这玩意怎么做的？企业做知识库很需要啊，还有你们怎么梳理数据，分类做标签？怎么实现问答召回，干这些脏活累活，AI 能帮咱们干多少？如何让 AI 打败（构建） AI 产品呢？
这是个系统工程，我可以简单说说我们的做法。
完成这个产品构建的基础是 260 万高质量成体系的文字，大约 1300 篇笔记。内容维度分为横向和纵向，横向是大的分类，比如对谈、书评、实践案例和创业手记等，这个手工做就搞定了，纵向我定位为标签，我们提取了 100 多个公共 tag，这个事儿借助了 AI 技术。
先把每篇笔记喂给 AI，让大模型提取 3~10 个相关度最高的关键词。这时候产生的关键词比较发散，除了个别关键词，大部分关键词都只关联少部分笔记，聚合度是不够的。
然后写脚本统计词频，从全部关键词里找出词频最高的 n 个关键词。这个步骤会从词频最高的 n 个关键词里，剔除一些特别“泛”的关键词（你我他然后所以等），这时候需要人工介入，最终形成一个关键词库。然后让 AI 通过这个关键词库，给每一篇笔记打标签，这样，基于标签 <——> 笔记的多对多的网状关系就建好了，聚合度也好很多。
接下来需要对笔记的格式和内容进行清洗，短文本、长文章和问答形式的帖子，都得整理成符合墨问笔记的格式，有些内容还需要舍弃，这个需要工程师编写程序完成。
把这些都搞完，一个干净漂亮的知识库数据集就搞出来了。
然后开始做知识库底层技术的选型，这时候字节的火山团队正在推广他们的向量库和记忆库，本来大家也认识，那就合作一把，这样问答和召回、包括深度思考这部分也就搞定了。
向量库是个很好的技术，可以做高效的、跨模态的语义检索。具体原理简单说就是，很多数据切片被分配到高维数学空间中，相似的物体（如“iPhone”和“智能手机”）在空间中距离很近，就可以被检索到，并返回给用户。
有了这些你还需要设计 UI，完成交付给用户的工程产品，就是墨问时间知识库。那么，AI 帮我们做了多少呢？这么看，还真不少呢。