抽象，太抽象了！
why技术约 4 分钟转自：Jack Cui
前段时间，阿里巴巴数学竞赛中姜萍的事件闹得沸沸扬扬，很多人也让AI尝试挑战这些竞赛题，虽然表现还是不够看，但也能看出来，AI 对于数据库里已有的题目，还是发挥不错的。
不过，近日有人发现，各大 AI 大模型居然在小学生都会的简单数学常识中接连翻车。
这个问题就是，9.11 和 9.9 谁大？
对于人们心目中的天花板 GPT-4 和 GPT-4o，回答丝毫不拖泥带水：
9.11居然比9.9大！我们再看看 Gemini Advanced 的回答：
好的，又是斩钉截铁的给出了一个错误答案。再看到，Claude 3.5 Sonnet 并不像前两位那样直接给出了错误答案，而是开始分析：
分析了一通，拆开还是对的，怎么到了答案，又拉垮了...
经过测试，各大国产大模型也没有幸免于难。
Kimi:
ChatGLM:
通义：
元宝：
豆包：
不过令人意外的是，免费版本的百度文心 3.5，居然保持了清醒，一边分析一边破题，解释和答案完全正确。
不过看网上消息，它之前也是错的，等我试的时候已经是正确的了。如果是这样，那这解 case 的速度，是真快啊。
这个问题是由 Riley Goodside 发现的，有史以来第一个全职提示词工程师。目前在硅谷独角兽Scale AI 工作。
这样一个常识问题，为什么到了 AI 手上就变得如此难缠？
网友给出了解释：AI 都是工程师开发的，对于版本号来说，9.11 确实比 9.9 更大；对于书本的目录来说，9.11 也确实排在 9.9 后面。
在大量的训练集中，常识的输入可能确实不如这些样本多，导致了 AI 把版本号、书籍目录的理解方式代入了常识。
而众所周知，大模型使用 token 的方式理解文字。OpenAI 使用开源的 Tokenizer ，可以用来观察大模型是如何理解这个问题的。
可以看出，9 和小数点分别被分配为“24”和“13”，小数点后的 9 同样也是“24”，而 11 被分配到“994”。
这样问题就很清晰了，模型先比较了 9，发现大小相同，然后比较小数点后面的部分，发现 11 比 9 大，就给出了 9.11 更大的结论。
知道了问题所在，只要向 AI 解释这是一个“双精度浮点数”，它们就能很明确地解决问题了。
只要有了额外条件，AI 似乎就能正确判断这两个数的大小。而 Goodside 在反复试验后说到，想让 AI 上这个当，需要把选项放在提问前面，如果调换顺序，就不会出错。
这个问题让人不禁联想到前些年网上热传的 0.8 x 0.5 等于几，现在轮到 AI 开始反常识了。
AI 大模型发展的道路，至少在数学方面，依旧是任重而道远啊。
歪师傅说
昨天歪师傅看到这个话题的时候，第一反应是想到了前几天看到的这个图片：
上周五的《歌手》，竞演结果孙楠得票率 13.8%，Moore小姐姐得票率是 13.11%。
有网友发出了质疑：13.8% 比 13.11% 小啊，孙楠应该排在第四才对。
然后这个评论下面有 5258 个回复，吵得不可开交。
这真的，怎么说呢？很难评，真的很难评。
这玩意都能吵起来？
让我想起了一个叫做大春的“老朋友”：
13.8% 和 13.11% 比，9.11 和 9.9 比。
但凡是一个认真听过讲的小学生，都不会做错。
但是，在网上冲浪的大人会做错，AI 也会做错。
怎么解释呢？
我只能说：知识太多，都学杂了。
另外，前面提到了这么的国内外 AI 大模型的回答，歪师傅再给大家补一个。
我也是前几天才知道的，中国电信搞了一个叫做“星辰慧答”的大模型。
当我知道这个大模型的访问方式的时候，我整个人都是麻的。
你绝对想不到，它的入口，是特么的“短信”。
文艺复兴啊，这波操作是绝对的文艺复兴。
在“中国电信”的官方公众号上还专门解释了为什么要推出短信大模型：
需要注意的是：星辰慧答给您的回复不收取任何费用，您主动发送的上行短信按照您套餐的相关资费标准收取。
也就是歪师傅，花了一毛钱的短信费，问了星辰慧答这个问题：
好在，它的回答至少是正确的。
这波迷之操作，让我莫名其妙的想起了小时候，那个属于小灵通和 2G 网络的时代。
在 2.5 元一本的《故事会》里面会有几页彩打的纸，上面全是类似这样的广告：“姓名配对测试缘分，发送双方姓名，如 Why+Max 到 1000088886666，即可测试双方缘分”。
如果你不知道这个广告，也不知道啥是《故事会》，那我羡慕你，你这个令人羡慕的“00”后，甚至是“10”后。
反正中国电信这波老活新整，确实是开了脑洞的。
文艺复兴啊，这波操作是绝对的文艺复兴。
在下佩服。
·············· END ··············
推荐👍：Spring官方竟然真的支持Bean的异步初始化了！
你好呀，我是歪歪。我没进过一线大厂，没创过业，也没写过书，更不是技术专家，所以也没有什么亮眼的title。
当年高考，随缘调剂到了某二本院校计算机专业。纯属误打误撞，进入程序员的行列，之后开始了运气爆棚的程序员之路。
说起程序员之路还是有点意思，可以点击蓝字，查看我的程序员之路。