GPU 利用率(Utilization) 是一个误导性指标!
评估GPU使用时,许多人首看利用率,但它并不等于性能高。例如仅内存读写也会让GPU Util达100%,因此不能简单类比CPU Util,需结合更多指标(例如 SM Efficiency 和 MFU)全面判断。
阅读全文 :GPU 利用率(Utilization) 是一个误导性指标!
原力注入受原力觉醒和依赖注入(Dependency injection)启发,希望通过本平台及我们的努力将云原生技术的原力注入给广大技术从业者。
评估GPU使用时,许多人首看利用率,但它并不等于性能高。例如仅内存读写也会让GPU Util达100%,因此不能简单类比CPU Util,需结合更多指标(例如 SM Efficiency 和 MFU)全面判断。
阅读全文 :GPU 利用率(Utilization) 是一个误导性指标!在基于大语言模型构建应用时,一个核心痛点是数据与工具的接入困难。模型虽然能力强大,但通常处于“沙盒”状态,无法直接访问外部环境。为此,RAG、微调、插件等方案陆续诞生。而MCP的目标正是统一接口协议,以便标准化集成上下文、工具、服务与数据源
阅读全文 :LangChain + 模型上下文协议(MCP):AI 智能体 DemoFunction Calling、MCP 以及 AI Agent 是三个密切相关但层级分明的概念。我们可以把这三者类比为“调用指令 → 调度系统 → 自主执行者”,分别解决不同层级的问题。
阅读全文 :MCP、Function Calling 有什么区别?与 AI Agent 有什么关系?《大模型应用开发极简入门:基于GPT-4和ChatGPT(第2版)》一书为开发者提供了系统化的答案。作为热销2万册的经典升级版,本书不仅是初学者的“最小可用知识”手册,更是进阶者构建复杂AI应用的实战指南。
阅读全文 :好书推荐《大模型应用开发极简入门》该系统的核心价值在于将复杂的开发环境操作抽象为标准化工具集,通过严谨的流程控制和安全机制,使AI能在真实开发环境中可靠执行任务。其设计平衡了灵活性与安全性,特别适合作为AI辅助开发的基础平台。
阅读全文 :Cline 55k 系统提示词刷新了我对提示词工程的认知模型上下文协议(Model Context Protocol,简称MCP)是Anthropic于2024年推出的一种开放标准,旨在规范AI模型与外部数据源、工具之间的交互方式。
阅读全文 :【转载】MCP(Model Context Protocol)全面研究报告:概念、实践与未来趋势在检索增强生成(RAG)系统中,如何将长文档高效切分为适合嵌入和检索的小块,是提高系统性能的关键步骤。本文总结了 Chroma 技术报告的主要内容,重点讨论了文档分块策略对检索性能的影响,并提出了一种基于 token 级别的新型评估方法。
阅读全文 :Chroma 技术报告 - Evaluating Chunking Strategies for Retrieval 总结本文探讨嵌入技术,解析其本质特征,回顾从传统统计方法到现代技术的演进,考察实际应用,实现方式及核心技术,并展示大语言模型DeepSeek-R1-Distill-Qwen-1.5B的嵌入向量在图示化中的形态特征。
阅读全文 :LLM 嵌入技术详解:图文指南在数字化时代,理解用户行为是企业制定精准运营策略的关键。因此,将行为转化为可量化的指标,成为企业洞察用户特征、优化运营决策的第一步。在众多分析方法中,RFM模型(Recency、Frequency、Monetary)是被广泛采用的经典工具。
阅读全文 :【极客时间】零基础实战机器学习 - RFM 模型在用户消费行为分析中的应用在自然语言处理(NLP)领域,计算机无法直接理解文本信息,因此需要将文本转换为数值向量,以便进行后续的分析和计算。这一过程被称为文本特征向量化。常见的文本向量化方法包括词袋模型(BoW)、TF-IDF 以及Word2Vec
阅读全文 :文本特征向量化:词袋模型、Word2Vec 以及 TF-IDF 介绍引言在机器学习的世界里,数据决定了模型的上限,算法只是无限逼近这个上限。这句话深刻揭示了数据和特征工程的核心地位。
阅读全文 :《精通特征工程》:让数据真正为模型赋能我们来谈谈一些常见的误区和 AI 的现实: 1️⃣ 数据: 大多数人怎么想: 他们认为 AI 主要是收集和分析大量数据。 ✅ AI 实际上是什么: 数据对 AI 来说确实至关重要,但它不仅仅是数量问题。数据的质量、相关性和多样性,以及有效的数据管理实践,对于准确和有意义的 AI 驱动型见解至关重要 2️⃣ 数据科学:…
阅读全文 :大家眼中的 AI vs (牛马眼中)真实的 AI意图识别是NLP技术,专注于解析用户查询背后的核心诉求,在搜索与推荐系统领域具有重要地位,包括自然语言理解,即解析用户话语中隐含的语义;上下文分析,结合用户查询的上下文来精准识别意图;以及分类,将预定义标签或类别分配给用户输入及其预测意图
阅读全文 :基于大型语言模型的意图检测实战内容包括技术框架的介绍与选型、开发环境搭建与技术库安装、RAG 流程的代码实现。
阅读全文 :学习总结 - RAG 快速开发实战 - 《02|从0到1快速搭建RAG应用》层次聚类算法是一种重要的聚类分析方法,它通过构建一个层次结构(树形结构)来表示数据之间的相似性或距离关系。与划分聚类方法(如K-Means)不同,层次聚类无需预先指定聚类的类别数量,这使得它在某些特定场景下具有独特的优势。
阅读全文 :动手学机器学习层次聚类算法Kmeans 算法是聚类算法中的一种,其基本思想是将数据集划分为 K 个簇,每个簇由其质心(centroid)表示。算法通过迭代优化的方式,使得每个样本被分配到最近的质心所在的簇,并不断更新质心的位置,直到达到收敛条件。
阅读全文 :动手学机器学习 Kmeans 聚类算法混合专家系统是一种提升大型语言模型计算效率的架构,通过多个专精不同任务的专家单元协同工作。其核心包括专家集群,即由多个前馈神经网络组成的可动态调度专家单元,以及路由分配器,用于智能选择合适专家处理输入数据。
阅读全文 :混合专家系统(MoE)图解指南大型语言模型的规模通常过于庞大,难以在消费级硬件上运行。这类模型的参数量可达数十亿级别,通常需要配备大容量显存的GPU来加速推理过程。为此,越来越多的研究聚焦于通过优化训练方式、引入适配器等技术缩小模型规模。其中一项关键技术便是量化。
阅读全文 :大模型量化技术(Quantization)可视化指南