梁文峰亲自下场！一站式门清deepseek注意力新机制论文！
研梦非凡约 4 分钟DeepSeek发布了最新的研究成果——原生稀疏注意力（Native Sparse Attention, NSA）直击当下推理模型的痛点：高数据成本及复杂架构复杂！
值得一提的是，幻方科技、DeepSeek 创始人梁文锋作为co-authors也亲自下场参与了。
传统 Attention 机制的计算复杂度随着序列长度的增加而呈平方级增长，这成为了制约 LLM 发展的关键瓶颈。
NSA 的核心亮点可以简单概括为：极致的降本增效，友好的硬件设计，挑战预训练Scaling Law规则，可以称得上是LLM 领域又一里程碑式进展！
NSA对应的KV-Cache是否也是稀疏的？
NSA的三个Attention各自目的是什么？是如何实现的？
NSA是否能减少超大的矩阵计算的空间复杂度问题NSA的training/forward/prefill/decoding各阶段的时空/计算复杂度是怎么样的？
NSA 的内核是如何减少对SRAM的访存的。
我整理了50+页的DeepSeek使用指南，涉及到部署、应用场景及技术解析，扫码免费领取⬇️（下滑还有更多福利）
为了帮大家解决包括但不限于以上疑问，研梦非凡3月7日晚（周五）邀请了手握10余篇顶会的杨导师给大家详细介绍NSA的设计原理、实验设置以及实验结果，希望能为大家DeepSeek在相关领域的技术发展带来一些启发。
扫码预约直播课👇
直播课内容概览
1. Native Sparse Attention的核心根据
2. 相关工作
3. 重新思考稀疏注意力模块
4. 算法框架
5. 实验要点
6. 总结与展望
导师介绍
杨导师
【简介】毕业于知名计算机名校。博士期间研究方向聚焦为计算机视觉，自然语言处理，高效的深度学习训练和推理方法，大语言模型轻量化与高效微调技术。
曾在多家公司担任算法研究员，并进行计算机视觉，高效模型压缩算法，多模态大语言模型的研究，包括模型量化，剪枝，蒸馏，编译以及高效稀疏化训练与推理。
【科研成果】在国际顶级会议CVPR,ICCV, EMNLP等发表13篇论文，并担任CVPR,ICCV,ECCV,ICML,ICLR, NeurIPS等重要会议和期刊的审稿人。
多项发明专利，指导学生有耐心，教学严谨，思维逻辑缜密，已经指导数十篇论文。对于成果好的学生，帮助学生写推荐信和指导申请硕/博申请。
研梦非凡可指导的研究方向
主流方向科研论文常用方法
扫码预约直播课领资料+福利
梦非凡科研论文指导方案
idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！
👇🏻全程1v1论文辅导扫码咨询助教
研梦非凡导师团队
研梦非凡的导师来自海外QStop50、国内华五、C9、985高校的教授/博士导师/博士后，世界500强公司算法工程师，以及国内外知名人工智能实验室研究员。
这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～～
<<< 左右滑动见更多 >>>
扫码预约研梦非凡1v1导师meeting
研梦非凡隶属于苏州研途教育，深耕考研辅导行业13年，累计服务1w+付费学员（60%高校学生/教师，40%职场精英）；科研为本，质量为先！我们有：500+ 国内外顶尖高校博士/教授，互联网大厂/独角兽公司的高级算法科学家组成的教师团队;深度定制的科研服务，根据每位学员的实际情况，提供个性化的科研辅导方案，确保交付结果;一站式、全方位科研支持，从选题到方案设计，从实验实施到论文撰写、成果发表，4V1全流程保姆式服务！