智东西

用Arm Server解锁ModelScope中文大模型推理与加速实战|公开课

Image

当大模型从技术探索走向大规模产业应用,其部署与推理的效率与成本将成为决定成败的关键。

ModelScope 作为国内领先的模型开源社区,致力于为开发者与研究者提供一个集模型探索、体验、推理、训练、部署和应用的一站式服务平台。ModelScope 上汇聚了大量优质的中文大模型,其中高性能语音识别框架 FunASR 在中文场景下表现出色,已在语音转写、实时交互等业务场景中得到了广泛应用。

然而,如何将这类模型高效运行在 Arm 架构服务器上,并充分发挥其硬件特性以实现推理加速,仍是许多开发团队亟待突破的技术难点。

11月26日19点,智猩猩联合Arm策划推出的 「Arm 服务器大模型推理与云应用优化系列公开课」第3期将开讲,由 Arm 首席解决方案架构师沈纶铭主讲,主题为《用 Arm Server 解锁 ModelScope 中文大模型推理与加速实战》。Arm 资深开发者布道师象飞将为本次公开课带来开场致辞。

Image
Image

 主题介绍

主题:《用 Arm Server 解锁 ModelScope 中文大模型推理与加速实战》

内容概要:

本场技术分享将带领开发者深入掌握如何在 Arm 架构服务器上部署并优化来自 ModelScope 平台的语音识别方案 FunASR 中文大模型应用。课程聚焦于语音识别框架FunASR,展示如何善用 Arm Neoverse 的硬件特性,提升各类模型在推理阶段的性能与稳定性。本实战案例不仅凸显了 ModelScope 在中文语义理解上的应用潜力,也展现了 Arm 架构在成本控制、能效与算力密度方面的关键优势。

Image

 如何报名

对此次公开课感兴趣的朋友,可以扫描下方二维码添加小助手“小石头”进行报名。已经添加“小石头”的老朋友,可以给“小石头”私信,发送“ARM03”进行报名,报名通过后将给到公开课地址。

Image