模型量化与量化在LLM中的应用 | 得物技术
模型的推理加速早已成为AI工程化的重要内容,而近年基于Transformer架构的大模型继而成为主流,大模型推理面临内存需求和并行性挑战,常见的推理优化方式中量化因可大大降低显存需求以及计算速度的提升成为神经网络及LLM的首选。
阅读全文 :模型量化与量化在LLM中的应用 | 得物技术
技术知识分享交流平台,与你一同走向技术的云端。
模型的推理加速早已成为AI工程化的重要内容,而近年基于Transformer架构的大模型继而成为主流,大模型推理面临内存需求和并行性挑战,常见的推理优化方式中量化因可大大降低显存需求以及计算速度的提升成为神经网络及LLM的首选。
阅读全文 :模型量化与量化在LLM中的应用 | 得物技术B端后台的配置在业务快速迭代过程中起到了重要的作用,若链接配置有误或未及时更新,会严重影响用户体验以及业务,那么业务侧的正确配置需特别关注和重点保障。技术侧各方链接都有对应的保障手段,通过梳理现有各端的保障手段,对其进行分析并不断优化完善。
阅读全文 :如何做配置链接的质量保障?看这篇就对了 | 得物技术本次无线沙龙聚焦于最新的技术趋势和实践,将在上海/线上为你带来四个令人期待的演讲话题。相信这些话题将对你的工作和学习有所帮助,我们期待着与你共同探讨这些令人兴奋的技术内容!快来报名吧~
阅读全文 :上海 · 无线沙龙专场报名开启!B端前端代码开发过程中开发者总会面临重复开发以及代码规范的痛点,而目前AI大模型的不断发展,已可以满足日常基础页面搭建的需要,提升通用场景业务开发效率。现分享大模型下B端前端代码辅助生成的思考与实践。
阅读全文 :大模型下B端前端代码辅助生成的思考与实践 | 得物技术我的App怎么这么卡,谁在代码里下毒了! 有一天突然发现debug包运行变的特别卡顿,经过下面的简单测试发现debug包在Android 14上出了问题。 就开始了一系列的问题排查并尝试解决。
阅读全文 :你的debug包在Android 14变卡了吗 | 得物技术谷歌在2007年发布Transformer架构的论文时,论文的标题是:Attention Is All You Need。重点说明了这个架构是基于注意力机制的。那么一起跟着笔者的脚步来深入理解Transformer的技术原理吧!
阅读全文 :深入理解Transformer技术原理 | 得物技术3月10日,由得物技术主办的「稳定生产专场」沙龙顺利举行。本次专题主要聚焦于各个互联网公司稳定性的最佳实践,来自货拉拉、云杉网络、云观秋毫以及得物的专家们带来了5个干货满满的话题分享,让我们一起回顾下活动现场的精彩内容吧!
阅读全文 :沙龙回顾|行“稳”致远,“生”生不息!得物稳定生产专场沙龙一直以来,体验都是得物技术部的关键词之一,对于前端开发而言,提高用户体验更是一项至关重要的工作。本文从本次交易后台性能优化实践出发,同时介绍应用整体架构和设计,希望可以给参与网站性能建设的同学提供一定的学习和参考价值。
阅读全文 :秒开率破90%-交易后台渲染性能优化 | 得物技术