收获不止数据库

警惕!对AI大模型的错误认知正在误导你

引言
DeepSeek的横空出世引爆国内大模型热潮,但乱象也随之浮现。
老胡:自从采纳了两位老师的建议,引入大模型技术后,我们团队的编程和运维效率就得到大幅提升,工作变得轻松多了(详见链接:《A+B=C》,《DBA—>DBA²》,《AI✖️数据= ∞》 )。但最近也有烦心事,家中孩子即将高考,数学成绩不佳,让我有些焦虑。
小涂:您在工作中运用AI得心应手,为什么不试着在孩子的教育上也用用呢?现在网上很多自媒体都在说,DeepSeek的能力远超学校老师,能在高考各科中取得满分。甚至有人说教育界要变天了,只要孩子们跟着DeepSeek学,人人都能考上清华北大。老胡,您得抓紧机会啊。
Image

1

全军覆没——大模型征战高考数学卷

弘老师:一个月前,我刚用大模型测试了2024年的高考数学I卷,我让DeepSeek、通义千问、豆包、Kimi、文心一言、GPT-o3、Claude-3.5-Sonnet这七款大模型分别参与解答,你们猜结果如何?
小涂:全部满分?
弘老师:全军覆没!表现最好的大模型离及格线还差十多分,还没考生的平均分高。
Image
小涂:这么差?这跟我们看到的信息差距也太大了!
彬老师:很惊讶吧?你们可以自己试试,就会发现弘老师所言不虚。现在很多自媒体为了吸引眼球、博取流量,往往未经验证就急于追逐热点,发表意见,导致以讹传讹,误导大众。有趣的是,如果你问这些大模型考2024年数学高考卷能考多少分时,它们大多觉得自己能拿135分以上。下图中DeepSeek对高考数学各题型分数比例显然是错误,一般人就难以识别出来。
Image
有的甚至认为自己能拿满分。总之,个个自信满满。
Image
老胡:哈,AI们自我感觉这么好,看来这种自信也在以讹传讹上助推波助澜了,真是不可思议!
弘老师:更不可思议的是,一个月前的测试结果和今天的抽样测试相比,DeepSeek的准确率突然暴涨,已经接近满分了。不过,其他大模型的表现依然很糟。
老胡:为啥?DeepSeek忽然变聪明了?
弘老师:这应该是因为DeepSeek依据2024系列高考题,对模型进行了微调。不多,当我我对题目稍做调整,就会发现DeepSeek又开始出错了。
小涂:这么神奇,说明什么?DeepSeek并没有真正的掌握,只是记住了答案?
弘老师:大模型“记住答案”其实就是更新参数的过程,你这么理解也算对。斯坦福大学曾发表了相关论文《Putnam-AXIOM: A Functional and Static Benchmark for Measuring Higher Level Mathematical Reasoning》,指出,当题目稍作变换,准确率则会大幅下降。有兴趣的朋友可以下载阅读,深入了解。
Image
小涂:啊,水这么深啊!
彬老师:其实,不止是高考,就连小学3年级以下的奥数题,各大模型的正确率也基本只能维持在50%左右,大家可以自行验证。但是你看下图,一位主播正眉飞色舞地分享如何用DeepsSeek教孩子学数学,还让DeepsSeek来出相似题目来考孩子,这样做,瞎出题的概率极高,很可能适得其反。
Image
弘老师:或许,未来DeepSeek真可以达到数学无所不知的水平,但至少当下是不行的。这里需要引起注意的是,为什么错误认知可以广泛传播?本质上是因为大多数人无法判断真伪,就好比这位主播,如果她是一位数学老师,或许很快就会发现大模型解题中存在的错误了。
小涂:啊..我也刷到过大量类似这样的视频啊,而且我还真信了,以后我再也不用DeepSeek了。
彬老师:千万不要从一个极端到另一个极端。从目前来看,至少对于语文、英语、历史等文科类知识而言,大模型还是非常强的。当然,正确的问法也能更容易得到正确答案,这一点后续可以专门展开来说。
现如今,多数人对AI大模型的认知不足,仍然以高考数学为例,我来考考大家,如果用同一款大模型多次测试同一道数学题,你们觉得每次解题的答案会保持一致吗?
老胡:肯定一致啊,不然岂不是一会儿对一会儿错?
弘老师:其实未必,真可能时对时错,这取决于三大因素。
小涂:哪三大因素?

2

三大因素——保障模型推理质量的关键

弘老师:在解答之前,得澄清一个概念,AI大模型分为训练和推理两个阶段。训练是学会知识的过程,推理是思考如何回答的过程,两者都需要GPU算力支持,大家能听明白吗?
老胡:明白。
弘老师:如果GPU算力充足,模型能深入思考,回答质量更高;算力不足时,则质量下降,甚至可能出错。所以,第一个影响AI推理的关键因素是——GPU算力。
小涂:弘老师,我平时用APP或网页版提问,也会遇到算力问题吗?
弘老师:会。比如凌晨5点访问平台时,用户少,系统资源充足,模型有足够算力进行复杂推理,答案可能更准确;而在白天高峰期,用户多,算力紧张,准确性可能下降。在企业本地部署中,这种现象更明显,当算力不足时,模型可能会跳过关键步骤、降低计算精度,甚至直接罢工。解决办法只能是增加显卡,提升GPU算力。
Image
小涂:原来如此,那第二个因素呢?
弘老师:大模型通过学习海量数据让自己变“聪明”,但它并不是死记硬背去存储这些“原始数据”,而是将学习到的知识以参数的形式保存下来,这些参数往往高达数千亿,在训练期间被不停的更新。
老胡:弘老师,参数是什么意思?我有点听不懂。
弘老师:这个话题比较复杂,简单说,语言是由有限的单词组合而成,以“苹果”为例,一方面,大模型会不断完善“苹果”的维度,比如读了《苹果树的故事》一书,就知道苹果能吃;读了《乔布斯传》后,就知道“苹果”还是个品牌....这样的维度有成千上万个。另一方面,会完善“苹果”的空间位置,比如发现苹果和梨子常一起出现、一起被吃,于就会让它们的空间位置上更接近。无论是维度还是空间位置,都是大模型的参数,这些参数就是大模型学到的知识。
但训练结束后,这些参数就固定了。比如某个大模型是2024年10月训练完成的,它就不知道11月的事(详见链接:《AI识字说》,《AI读心术》,《AI修仙传》,《AI断案路》)。
小涂:不能实时学习吗?
弘老师:可以,但需要访问外部的数据(详见链接:《AI海马体》 )。比如企业数据或互联网数据。所以,第二个影响AI推理质量的因素是——外部访问。如果允许模型上网搜索,它可能从做错变成做对。
image1
小涂:哈,就是抄答案嘛。
弘老师:可以这么理解,不过搜索不会让它记住,断开外部访问后,它还是不会!
小涂:为啥,哦...我明白了! 因为记住等同于对其内部参数进行更新,这个过程代价很大,所以不会实时进行,对吗?
弘老师:小涂很聪明!更新参数的过程就叫微调,属于模型训练阶段,而非推理。
小涂:那第三个因素是啥?
彬老师:我来说,第三个因素是——专家交互。弘老师是清华大学高材生,对数学研究很深,他能给出专业提示词,引导模型找到正确答案。比如今年高考最后一题,在弘老师引导下,部分大模型就能解出正确答案。但是我怎么试都不成功。也就是说,同样的模型和题目,弘老师能让AI表现更好。
Image
小涂:我明白了。这就像彬老师您之前说的,不同人让 AI 大模型写 SQL,效率差别很大。您是 SQL 专家,能合理引导、纠正不完善的地方,最后得到效率更高的 SQL,这和大模型做高考题的引导是一个道理。(详情点链接:《SQL人生》 )
彬老师:对,总结得很好!

3

云泥之别——当下垂直领域专用AI碾压大模型

老胡:我还是不敢相信AI做高考数学题这么“拉胯”,太意外了!
彬老师:我要纠正一下,是大模型做高考数学很差,不是所有的AI都这样。认知误区又来了!
老胡:啊?可把我弄糊涂了。
彬老师:Google的DeepMind团队开发的Alpha-Geometry2,在国际数学奥林匹克竞赛(IMO)的几何体测试中,首次超越人类金牌得主的水平,你们听说过吗?
老胡:我就记得在哪听过AI在国际奥数很厉害,那高考数学怎么不行?
彬老师:我们说的DeepSeek等是通用大语言模型,而非专用AI。
老胡:哦,专用AI能拿国际奥数金牌,高考数学肯定不在话下。
彬老师:这是数学领域的几何专项工具,解高考几何题肯定是没问题的。不仅是在数学领域,DeepMind旗下的AlphaGo,围棋水平远超人类顶尖棋手(详见链接《狗大师崛起》 ,《狗大师修仙》)。而大模型虽然通过阅读大量围棋电子书籍也懂下棋,但水平也就5级左右(大模型们的自我判断),相差甚远!还有AlphaFold,能够预测含有蛋白质结构,为药物研发带来了新的可能,其CEO哈萨比斯还因此获得了诺贝尔奖。
老胡:这些专用AI要么打败奥数金牌得主,要么碾压人类围棋顶尖高手,要么拿诺贝尔奖,太神了,为什么通用大模型就达不到它们的能力呢?
Image
弘老师:这里原因比较复杂,我先重点说一个关键——数据,DeepMind训练数学AI的大部分数据都是合成的,这样就能生成无穷无尽的数据供 AI 训练,自然容易让 AI 变得强大。
小涂:训练数据为什么可以合成?
弘老师:这里不展开细说,简单举个例子,人类发现三角形内角之和等于180度、两边之和大于第三边、勾股定理等等。其实有足够多的图形数据和尝试,AI也能发现这些规律的,而且可能发现得更多。所以,合成数学数据是可行的。
Image
小涂:太不可思议了!
弘老师:其实AlphaGo的训练方式——左右手互搏完成数千万盘对局,不断总结进步,这些自我对弈的棋谱也是一种合成数据。
小涂:有道理。
弘老师:AlphaFold则是在专门的蛋白质数据库上完成训练,这不是合成数据,但属于领域专业数据,通用大模型不一定能获取到。
除了数据,专用领域往往需要一些特定的专业处理模式,以便高效的发挥其性能,这就是第二个要点,这里不展开了。
小涂:那有没有可能,通用大模型也能达到这些专用AI的能力呢?
彬老师:这是必然的,实现的方法也有很多,前期可能是整合多种能力的混合架构模式。目前,科学界的主流看法是,未来3-5年内即可实现。也就是说,大模型训练完毕后,便能在数学领域超越奥数金牌选手,在蛋白质折叠研究上与AlphaFold媲美,在围棋竞技中毫无悬念地战胜世界冠军...要是这些都成为现实,那就标志着通用人工智能AGI时代的初级阶段已然来临。
老胡:那还只是初级阶段?那达到怎样的程度才算算高级阶段呢?
弘老师:我们刚才提到那些专业领域的重大突破,其实都是人类能够预想到的。当AI取得了远远超出人类认知范围,让大家连想都想不到的成就时,那便是进入高级阶段了。
老胡:期待那一天的到来!

总结(三点认知)
1. 对当下大模型学科能力的认知

目前,通用大模型在高考数学方面表现仍处“学渣”水平。不仅如此,在物理、化学、生物等科目上成绩也难以及格。不过,其在语文、英语、历史等科目中表现相对不错,准确率可达80%。

2. 模型与个人能力强相关的认知

当下,善用AI的人优势将进一步扩大,个人能力水平越高,向AI提出的提问越有智慧,就越能从AI那里获得高质量的回复(专家介入)。而且,对AI大模型运行原理了解得越深入(GPU算力,外部访问...),你就越清楚如何让它更顺畅地运行,发挥出更好的效果(详见链接 《AI大揭秘》 )。

3. 对大模型与专用AI差异的认知

虽说专用AI和大模型都采用了深度神经网络技术,但是两者架构差异很大。目前专用AI在垂直领域的能力远超通用大模型(“奥数拿金牌” vs “数学不及格”,“碾压顶尖棋力” vs “围棋业余5级”,“诺贝尔奖” vs “略懂皮毛”...)。不过,未来大模型必定能一统江湖之时,其实,这和关系型数据库能开始融合各个专用数据库场景,走向超融合(一体化),是一个道理。到那时,就是通用人工智能时代到来之际(详见链接:《穿越者》 ,《未来已来》 )。


倡议(从我做起)

在未来的网络环境中,虚假和错误的观点可能会愈发泛滥。一方面,部分博主为追逐热点,盲目传播未经证实的信息;另一方面,大模型本身也可能给出诸多错误回复。因此,我们必须保持持质疑精神,不轻易接受和传播未经核实的内容。只有通过亲自动手确认、多AI交叉验证及查找第一手信息源(详见链接:《乱象》),才能有效避免被误导。

或许不久后,大模型就能达到高考数学满分的能力,但即使如此,大家也应自行验证其对错。如果无法判断数学题的正确性,可以请教相关专家或通过权威平台核实。不要盲目相信未经验证的答案。

令人担忧的是,我提到的那两个视频号主播的视频转发量竟已超过10万+。虽然他们的初衷可能是好的,但实际上却误导了孩子们。希望大家在发布信息时保持严谨,对分享的内容负责,共同维护健康、真实的网络环境。

更值得警惕的是,大模型通过微调可以“记住答案”,但稍作修改就可能出错,说明它并未真正掌握知识。因此,大家在使用时更要擦亮眼睛,系统学习,勤于思考,多向老师或领域专家请教

在当前大模型尚不成熟的情况下,孩子们仍应以请教老师为主,尤其在理科方面。即便大模型给出了正确答案,其讲解过程也可能存在错误,孩子们难以分辨。现阶段,更需要专业教师的引导,优化教学方法,帮助孩子们正确认识AI,拥抱变化,积极创新。

文末

感恩身边的每一个人,一直以来对我的宽容以待。刚好有在 IF-CLUB 社区平台录制视频的机会,借此简单和大家分享个人感悟。

更多精彩原创内容见公众号
    点关注   Image  不迷路
往期回顾,欢迎留言与转发