腾讯掀桌!0.4G翻译模型,手机断网都能跑,比谷歌翻译得好
智东西4月29日报道,今日,腾讯混元开源翻译模型Hy-MT1.5-1.8B-1.25bit。该模型仅0.4G,就实现了33种语言高质量互译,且下载后可直接在手机本地离线运行,翻译表现优于谷歌翻译。
▲开源项目主页
▲演示设备:高通骁龙7+gen2,16GB内存
Hy-MT1.5是腾讯混元团队打造的专业翻译大模型,原生支持33种语言、5种方言及1056个翻译方向,包含中英互译以及对法语、日语、阿拉伯语、俄语,甚至藏语、蒙古语等各种语言的翻译。
▲翻译模型演示,设备:高通骁龙865,8GB内存
原始1.8B模型在FP16精度下会占用3.3GB内存,为了不占用手机内存,研究人员进行了量化压缩。
其将模型里原本用16位数字(16-bit)表示的参数转用更低位数字储存。这就像把一幅高清照片压缩成缩略图,虽然文件小但还是能看清楚内容。
此外,针对不同的手机用户,腾讯还推出了2-bit与1.25-bit两种量化压缩方案。其实测显示,量化压缩后的两款模型表现效果远超同体积或更大体积大模型的翻译效果。
2-bit适用的中高端机型,模型体积压缩至574MB。
根据官方介绍,2-bit模型采用拉伸弹性量化(SEQ),将模型参数量化至{-1.5,-0.5,0.5,1.5},并结合量化感知蒸馏,在将模型体积压缩至574MB的同时,实现了几乎无损翻译质量,效果超越上百GB的大模型。在支持Arm SME2技术的移动设备上,2-bit模型能够实现更快速、更高效的推理。
1.25-bit模型适用全系机型,模型体积为440MB。
这一模型基于Sherry(稀疏高效三值量化)技术,其核心逻辑在于“细粒度稀疏”策略:每4个模型参数,3个最重要的用1-bit储存,1个用0储存,平均每个参数仅需1.25-bit。
此外,其还搭载了腾讯为手机CPU设计的STQ内核,适配SIMD指令集。这使得该模型能长时间在后台停留。Sherry技术方案已经被NLP顶级学术会议ACL 2026录用。