罗福莉又上分了!小米连甩4款模型,让AI超逼真配音
智东西4月24日报道,今日,小米MiMo-V2.5家族语音模型系列正式发布:MiMo-V2.5-TTS Series、MiMo-V2.5-ASR,前者可免费体验,后者发布即开源。其中TTS Series包括语音、语音设计、语音克隆模型三款。
就在昨天,小米MiMo官宣MiMo-V2.5中旗舰推理模型MiMo-V2.5、全模态Agent模型V2.5-Pro开启公测、即将开源,再加上今天的4款语音模型,该系列共计6款模型。
小米此次发布的几大模型,均为智能体场景打造,其在官方文章里透露了几大模型可以搭配使用的智能体式创作链路:用MiMo-V2.5-Pro作为规划与编剧,拆任务、写剧本、排节奏、决定剪辑顺序;用MiMo-V2.5-TTS Series提供音色与素材,VoiceDesign生成音色、VoiceClone合成内容;MiMo-V2.5扮演裁判,听反馈的音频中角色一不一致、节奏对不对、有没有跟用户初衷偏离。
其放出了一条经这一套链路生成的音频:
不过音频中,有出现主人公边说边自己旁白的情况,且爷爷的声音特点并没有在整个说话环节都保持一致,中间会突然背离需求的“嗓门哑、拖长音”,语气突然变快等。
小米MiMo大模型负责人是原DeepSeek核心成员、被业内称为“天才少女”的罗福莉,今天凌晨,她在社交平台转发了大语言模型智能体端到端透明基准测试框架Claw-Eval、香港应用科技大学博士生Lei Li的帖子,其帖子提到,MiMo V2.5 Pro目前在Claw-Eval排名第3,MiMo V2.5排5,接下来是DeepSeek V4吗?
语音模型均可以在MiMo-Studio免费体验,面向开发者,MiMo-V2.5-TTS、MiMo-V2.5-TTS-VoiceDesign、MiMo-V2.5-TTS-VoiceClone均在Xiaomi MiMo API开放平台限时免费提供。
在开源方面,MiMo-V2.5-ASR目前已开源模型权重和代码,MiMo-V2.5-TTS相关模型的接入Skill全面开源。
MiMo-V2.5-TTS Series包含三款模型,MiMo-V2.5-TTS、MiMo-V2.5-TTS-VoiceDesign、MiMo-V2.5-TTS-VoiceClone。
三款模型的相同之处在于,其拥有统一的风格指令遵循、音频标签控制与文本理解能力。
不同之处在于针对的创作需求:
MiMo-V2.5-TTS内置多款音色,支持语速、情绪、语气等精细化控制,开箱即用,能满足多场景表达;MiMo-V2.5-TTS-VoiceDesign支持一句话快速定义并生成全新音色;MiMo-V2.5-TTS-VoiceClone能通过少量样本高保真复刻目标音色,同时保持稳定的风格指令遵循与音频标签控制能力。
MiMo-V2.5-ASR发布即开源。根据小米官方信息,该模型在中英双语、中文方言、Code-Switch、强噪音、多说话人等复杂真实场景下的语音识别性能达到业界领先水平。
智东西选择了知性女声,上传的指令是“声音轻柔舒缓,语速很慢,带着安抚人心的温度,说话时像在给客人递一杯热咖啡,语气温柔又有耐心,像开了几十年书店的老板娘。”
整体来看,音频中的三句话都符合前面的音频标签特征,但每一句之间的衔接仍有优化的空间,会出现声音突然从高变低,又突然拔高的情况。
生成的音频确实声线慵懒,听起来是一位年轻女气,但说话时仍然是普通话,没有南方软语的特征。其声音为了刻意保持慵懒松弛,会在尾音时可以压低声音,会减弱松弛感。
此外,小米官方给出了一段示例,其提示词是“一位年迈的老先生,说带北方口音的普通话,语速缓慢而沉稳,嗓音略带沙哑和沧桑感,仿佛一位饱经风霜的老爷爷在讲故事,充满岁月的智慧”。
音色克隆模型MiMo-V2.5-TTS-VoiceClone,用户可以让其复刻一位真人播客、配音演员、品牌代言人,或者用户本人的声音。
其只需提供一段数秒的参考音频,无需额外的训练、标注或微调过程,复刻后的声音可以保留原始说话人的音色身份,以及气息、节奏、习惯性停顿等个人特征。
1、更大规模的语音预训练与强化学习后训练:MiMo-V2.5-TTS-Series 证明了大规模预训练与后训练的巨大收益,扩大这两者的规模:通过更多的数据、更大的模型、更强的算力,让更强大的语音智能从规模中涌现;更加精细的奖励建模与强化学习算法,推动模型迈向更高阶的语音表达智能。
2、通用音频生成:语音只是第一步,他们正在将能力扩展到更广义的音频生成:环境音效、动作声、氛围铺底,乃至短乐句与旋律片段,逐步建模出一个完整的声音世界。他们认为真正的通用音频模型,不是把语音、音效、音乐简单拼在一起,而是让它们在同一套空间里彼此理解、协同创作。
3、上下文理解能力:上下文理解意味着模型不再只是一个“逐句执行的工具”,而是一个懂得故事语境的表达者。这是其迈向真正通用语音智能的关键一步。
4、通用语音理解能力:他们的目标是,让方言、噪音、中英混杂这些“真实世界的常态”不再成为语音识别的短板。未来,他们将持续扩展更多方言覆盖、并深化上下文感知能力。