一颗 ESP32,会聊天也会干活:XiaoZhi × MCP 的实战范儿。。。
今天看到一个事儿,有点意思…XiaoZhi-ESP32。对,就是那个把「便宜的 ESP32 小板子」接进 MCP 生态、硬凹成一只会说话、能管家电、还能认出是谁在说话的小家伙。它不是“把模型塞进芯片里硬跑”,而是——用 ESP32 做个超轻巧的语音入口,ASR/LLM/TTS 都走云端,设备这边当个聪明的「手脚与耳口」,再把能力通过 MCP 标准化暴露出去,给大模型“按键办事”。一句话版:让一颗 ESP32 会用 MCP 指挥家里的一切,嘴上能聊、手上能控。
等等,我先说个事…它的形态跟很多人想的不太一样:不是在板子里塞个“缩水大模型”,更不是本地烧个神经网络啃算力,而是设备端只做采听/播放、唤醒词、编解码、MCP 工具这些能高频稳定跑的活,真正的理解和说话丢给云端(Qwen、DeepSeek 之类),走 WebSocket 或 MQTT+UDP 的低延迟通道,交互是流式的。最妙的是,它不仅能用“设备端 MCP”直接控音量、灯光、GPIO、电机,还能透过“云端 MCP”去干更重的活,比如控制 PC、搜知识、发邮件,整套就是“轻端 + 重云 + 标准工具”的实用主义拼法。
它到底会啥:
语音唤醒 + 流式对话:离线唤醒词(ESP-SR),然后走 ASR → LLM → TTS 的全链路流式语音交互,回话几乎不停顿。OPUS 编解码在路上节省带宽,音质还行; 声纹识别:能分谁在说话,像“我”和“室友”说同一句,后面的工作流可以走不一样的分支; 两套链路协议:WebSocket 或者 MQTT+UDP,按你场景选; 多端控制:设备端 MCP 控硬件;云端 MCP 则把“电脑桌面/知识搜索/邮件/智能家居云”等都串起来; 多板适配 + 多语言:ESP32-C3 / S3 / P4 都能上,屏可表情,中文/英文/日文都行。
安装就这几步:
选块板子:S3 最常见,N16R8 之类的便宜货就能跑,官方列了 70+ 款兼容硬件(M5Stack、乐鑫 S3-BOX3、Waveshare、LILYGO…随便挑个顺眼的); 烧固件:去 Releases 下直接刷免开发环境的固件,开箱即用(默认接入 xiaozhi.me 官方服务器,个人用户能用 Qwen 实时模型)。不想搭 SDK 的先这样跑最省心; 登控制台:登录 xiaozhi.me 配好大模型、TTS、联网等参数,想改唤醒词、表情、字体,还有网页端的 Assets 生成器一把梭; 真要开发:装 VS Code/Cursor + ESP-IDF 5.4 以上,按它的 C++ 代码风格来,Linux 编译更顺。
哦对了,版本这块要注意:现在主线是 v2,跟 v1 的分区表不兼容,OTA 不能直接从 v1 飞到 v2;v1 的稳定版 1.9.2 会维护到 2026 年 2 月,老硬件可以手动烧录上 v2。别在这儿卡住。
家里设备“摸底 + 控制”:先让它自我介绍下可用 MCP 工具,再试着“开客厅灯调 30% 暖白”“把风扇开到 2 档”“电视音量调小 10 格”。声纹不同的人触发不同预设,挺像样; 桌面代理:云端 MCP 接上 PC 侧的工具(比如窗口控制/剪贴板/发邮件),一句话“帮我把简历 pdf 发给 Alice 并说我今晚再补 Portfolio”,它就按键做; “小闹钟”升级版:麦克风+扬声器的小盒子做起居提醒、天气播报、清单管理;Assets 换一套你队标/萌宠表情,情绪值直接飙升; 离线/弱网场景:没 Wi-Fi 时,可上 ML307 Cat.1 4G;MQTT+UDP 的链路也适合“局域网自建服务”那味。
开场:用一句“介绍下你能控制的设备和命令”,让它把 MCP 工具列清 → 中段:让它执行两三件小事(开灯、播歌、查待办),顺便把设备侧/云侧 MCP 的“命令 + 返回片段”贴回对话 → 收尾:给它改名、改唤醒词、换表情包,并把当前配置导出存档。第二天你就是“有模板的人”。
v1 ↔ v2:别惦记 OTA 一步到位,分区不兼容,老机器要手动烧,看清说明书再动手; SDK 版本:ESP-IDF 记得 5.4+,不然各种奇怪报错; 麦克风/喇叭走线:有的第三方板子 MIC 朝向和灵敏度千奇百怪,别把“唤不醒”怪到模型头上。官方 README 里适配了一堆社区板,能抄就抄; 网络链路:WebSocket 和 MQTT+UDP 任选其一先跑通,别两个都开着还抓包怀疑延迟; 4G 扩展:要走蜂窝,官方还把 ML307 Cat.1 的组件独立出来了(MQTT/HTTP/WebSocket 都有),但天线/供电别掉以轻心。
这玩意为啥“像样”:
说白了,它把“语音入口 + MCP 工具箱”做成了一个可大可小的标准件:便宜板子 + 云上大模型,成本打下来了;MCP 把动作抽象为“工具调用”,生态任意叠。要做“把遥控器全扔了”的家里中控?OK。要做“给 PC 派活”的桌面代理?也行。甚至你还可以不走官方云,自己在 PC/树莓派跑社区服务器(Python/Java/Go 三选一),把“私有化”做到骨子里。
安全边界:
这还是桥 + 协议,不是“隐私保险箱”。敏感对话/控制权限要自己分级;设备端 MCP 工具别开成“谁都能调用”;云端 API Key 管紧(最好单独 Key、单独额度);在公网暴露服务?那至少先过一遍访问控制。项目是 MIT 开源,方便,但权责也到你手上了。
仓库很活,上周还在发 v2.0.4(我写稿这天是 2025-10-29),Star/Fork 水位肉眼可见地涨;新板支持、协议文档、装机教程、第三方自建服务都在持续填。你要玩社区周边,M5Stack、Waveshare、LILYGO 这些厂子的“现成模组”也在疯狂适配,拿来即用的门槛已经很低了。
五分钟开车指南:
买块 S3 小板(带 MIC/喇叭就更省事)。 Releases 下刷最新固件 → 设备联网 → 控制台选 Qwen(或你自己的 LLM/TTS)。 在对话里跑一条 SOP:“列工具 → 做两件小事 → 改唤醒词/表情 → 导出配置”。 当天就能在周会上秀一个“有证据、有回执、有动作”的小 demo。剩下的,再慢慢把家里、桌面、乃至办公室的琐碎流程都切给 MCP。
对了,顺带一提…要是你喜欢“更私有/更自动化”的味儿,官方 README 里顺手给了三种自建服务器(Python/Java/Go),甚至你能把蜂窝模组挂上去户外玩;等你把 SOP 走顺了,再去折腾那些就好。
——反正就这样。你要是一键 Star + 刷个固件,今晚回家就能让“桌上这颗 50 块钱的 ESP32”帮你关灯、播歌、记待办;明天,再让它学会认你是谁、听谁的话。剩下的,就你和它,一起把细节抻开来。