SiliconScope:Mac 跑本地大模型,终于能看到 ANE 和内存带宽了
SiliconScope 这个点就挺准:神经网络引擎、媒体引擎、内存带宽。 这三个指标,平时跑本地大模型最容易让人抓狂。
你看 CPU 不高,以为没事;GPU 曲线也还行;结果模型就是慢,风扇开始吵,电池掉得像漏水。到底是带宽顶住了,还是算力不够,还是温度压频?系统自带活动监视器基本不给你讲清楚。
SiliconScope 补的就是这个窟窿。它是 Apple Silicon 专用的原生 SwiftUI 监控面板,不需要 sudo,直接把 ANE、Media Engine、内存带宽这些 Mac 特有信号拎出来看。README 里写得也很直:Activity Monitor 和常见终端监控工具没露出来的东西,它专门露出来。
啧,这地方才是重点。
以前折腾本地 LLM,很多人只盯 tok/s。其实 tok/s 低不一定是模型废,也可能是内存带宽吃满了,或者机器已经热到开始缩。SiliconScope 内置 AI Workload 视图,会给出 bandwidth-bound、compute-bound、thermal-throttled、memory-pressured 这类判断。说白了,不只是看数值,是告诉你瓶颈在哪。
不过也别急着吹满。ANE 这块 Apple 没开放完整占用率,所以项目里也写了,ANE “usage”是基于功耗的估计,不是硬装成百分比。这种诚实我反而更放心一点。监控工具最怕假精确,看着专业,实际全靠猜。
另一个我比较在意的是菜单栏。
它不只是开一个大面板给你看热闹,而是能把 CPU、GPU、内存、网络、SSD、传感器、电池这些卡片单独钉到菜单栏,每个都有实时小图和下拉详情。README 里甚至直接说,它已经能当 iStat Menus 的替代品用。
安装也没搞开发者折磨那套。下载 DMG,拖进 Applications,运行。项目页写明已经 Developer ID 签名并经过 Apple notarize,要求是 Apple Silicon + macOS 14 以上。
我会把它放在两个场景里试:一个是 MacBook 跑 Ollama / LM Studio 这类本地模型,另一个是长时间视频转码、字幕、语音转写。别指望它让模型变快,但它至少能告诉你慢在哪里。
这就很现实。
GitHub地址:kennss/SiliconScope