Sota.AI Devs Meetup 1st in Shanghai|Event's Summary
# 活动背景
⏰ 时间:2023 年 5 月 14 日
🗺 地点:Shanghai
🙋 主办:Sota.AI
👥 联合主办:CSDN CMeet&CDC、全球青年领航计划、How+、5S SENSES
👭 本期合作单位:NVIDIA、达观数据、彬复资本、有新Newin
🎞 议题关键词:AIGC、知识图谱、TensorRT 基础、Triton 基础、LLM 推理加速、AIGC 生态现状、商业机会
王文广对通用人工智能(AGI)在大数据时代的优势与作用进行了比较分析,指出数据收集、算法设计、模型训练、模型评估、模型的部署和应用是实现通用人工智能的重要路径。他还提出以“神经网络大模型+知识图谱+强化学习”实现人本 AGI 的思路,从数据、计算、存储、人才等各个方面总结大语言模型的影响因素,并在会议结束时呼吁:“AI虽不能取代人类,然则善用AI者必将胜过不善用者!”🌲
——————— 2⃣️ ———————
何成杰,NVDIA 资深解决方案架构师,2017 年至今一直专注于 AI 领域的工程开发,项目落地。对于深度学习模型的训练,推理,部署等领域经验丰富。擅长 GPU 对于深度学习模型的加速。除此之外,对于 Linux 内核,云计算,大数据处理等方面也有多年的工作经验。
分享主题:《TensorRT 介绍及 LLM 的推理加速》
何成杰以基于 Transformer 结构的深度学习模型为例,对 TensorRT 推理加速引擎以及开源推理服务框架 TRITON 进行了深度讲解。
TensorRT 是可以在 NVIDIA 各种 GPU 硬件平台下运行的一个推理加速引擎,何成杰认为,通过算子融合、动态显存分配、精度校准、多 steam 流、矩阵卷积等的算法选择等操作,TensorRT 能够帮助用户大大提升模型在 GPU 上的推理速度;Triton 推理服务框架,则是 NVIDIA 推出的开源推理服务框架,它可以使用基于各种深度学习框架的模型文件执行推理工作,同时保持更高的吞吐量和系统利用率,已经成为推理服务领域事实上的主流方案。🌲
——————— 3⃣️ ———————
—end—
文案 | 瑞恒Ryan
排版 | Dora
审核|瑞恒Ryan
* 文中嘉宾排序遵照演讲顺序,同时也是确认出席时间顺序
* 全部图片来源于嘉宾提供照片与活动现场的演示 PPT