入群标准，以及手搓阿毗达磨AI的小目标
王路在隐身约 5 分钟前天我写了篇《考虑建个手搓阿毗达磨AI群》。不少读者发邮件表示兴趣。但我有必要解释一下，这个群不是讨论学习阿毗达磨的群，完全不是，也不是交流使用AI经验的群，更不是讨论佛法的群。为了让群符合建立的初衷，需要设立明确的准入门槛，而且越往后，标准要越严格。
前一篇文章说过：进群资格，要求同时满足以下两点：
1、对阿毗达磨有最基本的了解。（表现为手里有完整而干净的《俱舍》《正理》《婆沙》的TXT。）
2、对机器学习有最基本的了解。（表现为微调过大语言模型。）
标准没有变，但要更详细地解释一下。具体来说，“手搓阿毗达磨AI”，什么叫“手搓”？
正式的说法应该叫“训练”。但是，“训练”这个词没法用，它势必会造成误解。因为现在很多人把和现成的AI对话叫“训练”，或者“调教”——问AI一个问题，“你答错了！再好好想想！”，“step by step”，“说人话！”——很多人已经习惯把这些叫“训练”。就像驯一条狗。
在和AI对话中，如果你问得足够有技巧，加上大模型生成内容的随机性，确实能让回答的质量高一些。但这也只是“使用”，并不能提升大模型本身的能力。就像一个开奥拓的人，你可以车技非常佳，是车神，但车神开的奥拓也还是奥拓，不是奥迪。我一向把这叫“使用”，或者“测试”。我们和AI对话，可以熟悉AI的特点和能力，知道它的表现，利用它的长处。但作为用户，永远不能提升它的能力。
只有你是一个开发者，你才能提升它的能力。这叫“训练”。具体来说，就是改变模型参数的权重。我们和AI对话，不管对话是一万次还是一亿次，都不会改变模型参数的权重。除非，开发者收集你和AI的对话，去作为数据来改变AI的权重。
今天凌晨，Anthropic出了Claude 3.7 Sonnet。我用两道题测试了下：1、根据《俱舍论》，色界见灭所断无漏缘惑有哪些？2、乐根在十五部中的几部，乐根缘识、乐根缘缘识呢？
Claude第一题回答得半对，能答出色界见灭所断邪见、见取，但漏掉了彼相应及不共无明。第二题它完全没理解。我发朋友圈说：“每出一个大模型，我都会用这两道题测一下。目测这两道题还能用一年。”
这两题在阿毗达磨中是什么难度呢？第一题是基础题。第二题是中级里面偏基础的。如果现在最强的大模型像O3，Grok3，Claude 3.7 Sonnet，R1等能答对这些，我们其实没有必要去针对性地搞小模型（参数量小的大模型）。
我说的“训练”或者“手搓”，是指普通人作为开发者，去调整开源模型的权重，以让它达到在特定目标上更顺手的目的。有些领域是可以通过知识库来解决的。但对阿毗达磨来说，效果不佳。为什么能力越来越强的模型，在某些本来可以表现更好的方面还表现得如此普通？这是一个有意思的问题。——我说的“本来可以表现更好的方面”当然不包括文学之类，因为文学很难找到固定的、明确的标准，但阿毗达磨是有标准的。换句话说，很多问题有唯一的、明确的解。如果用小参数量的模型去解决文学写作问题，我觉得那是扯淡，不现实。但是你看，会下围棋的模型不需要多少参数，你让deepseek去跟下围棋的AI比下棋，deepseek根本不行。deepseek只会说，我这一手对你发动了量子攻击，但基本的死活题上它依然拉胯。
所以说，建“手搓阿毗达磨AI”群，完全不是要学习讨论阿毗达磨，更不是学习讨论佛法，而是要改变大语言模型的参数权重，以让它在阿毗达磨问题上表现得更好。方法有很多种，一个人不可能挨个试过来，最好集思广益，引入锦标赛机制。当然，这种锦标赛纯粹是兴趣和热情驱动的，没有任何奖金。就是玩。——本来学阿毗达磨也是这样。你学会阿毗达磨能干什么？能找到一份好工作吗？能涨工资吗？能减肥吗？能割韭菜吗？都不能。甚至连吹牛都不能，因为人家听不懂。但如果你对一个问题产生兴趣，闲着无聊，也不妨尝试一二。
所以呢，我就打算在群里设定第一个小目标——跟钱没有任何关系：让10B以下参数的模型能准确回答出“根据《俱舍论》，九十八随眠有哪些”。
这个问题对大参数的模型已经不成问题了。但10B以下参数量的模型，貌似还都回答不对。我尝试过用lora方式微调和全参数微调，效果暂时都不行。——这和自己懂阿毗达磨是两码事。就像deepmind团队里，貌似也没有围棋九段吧？其实，当deepmind最初的AI刚能下过樊麾的时候，技术上就已经完全具备超越人类的水准了。但那时候聂卫平那帮人还远远不能理解这一点，只会觉得“樊麾太菜”。
所以，本群根本不是探讨阿毗达磨的群。但又和针对一般任务的机器学习不同。解决这个问题，确实非常需要机器学习专家，但也不是对阿毗达磨完全缺乏了解的机器学习专家可以独立搞定的。就像AlphaGo团队里，不需要围棋高手，但起码得有会下围棋的。
这个问题的重点，大概在几方面：阿毗达磨数据集的构建，阿毗达磨数据的清洗和处理，特定分词器的设计，奖励函数的设计。我自己是不会写代码的，写代码可以丢给AI，人可以从写代码中解放出来，去考虑问题的设计和解决思路本身。
不管你懂不懂阿毗达磨，如果你能率先让一个10B以下参数量的模型准确回答出“根据《俱舍论》，九十八随眠有哪些”这个问题，你可能就是世界上最有望解决阿毗达磨问题的人。更重要的是，解决阿毗达磨问题并不仅仅是为了解决阿毗达磨问题。就像deepmind研究AI下围棋远远不是因为围棋本身。
之所以限定在10B以下参数量，是因为大参数的模型已经搞定这种基础问题了。不过，就像人类选手下过樊麾和下过柯洁，中间隔着十万八千里，而AI下过樊麾和下过柯洁，中间连一层纸都不隔。如果AI能用正确的方式搞定阿毗达磨的基础问题，就能搞定高级问题，和参数量是3B还是671B关系没那么大。另一个更现实的原因是，10B以下参数量的模型，每个人都有条件去调整它的权重。它不是一个要烧GPU和钱的事情。
接下来要加群的人，请在自我介绍之外，在邮件或微信中附上自己微调过的代码（可以和阿毗达磨无关），局部截图也行。邮箱：[email protected]。