Spark on Kubernetes 简介
Apache Spark 可以在 K8s 集群上原生运行,利用 K8s 的原生调度器来管理 Spark 应用程序的资源分配和执行。这种架构提供了容器化的部署方式,使得 Spark 应用程序能够更好地利用云原生环境的优势。
阅读全文 :Spark on Kubernetes 简介
原力注入受原力觉醒和依赖注入(Dependency injection)启发,希望通过本平台及我们的努力将云原生技术的原力注入给广大技术从业者。
Apache Spark 可以在 K8s 集群上原生运行,利用 K8s 的原生调度器来管理 Spark 应用程序的资源分配和执行。这种架构提供了容器化的部署方式,使得 Spark 应用程序能够更好地利用云原生环境的优势。
阅读全文 :Spark on Kubernetes 简介本文系统梳理了社交网络 Feed 流系统架构从 2006 年至今的技术演进历程。通过分析业界主流公司的实际实施方案,总结了六个主要发展阶段的技术特点、性能表现和适用场景。
阅读全文 :Feed 流系统架构发展综述在 LSM Tree 中,MemTable 是前台读写路径的核心组件。它负责接收所有新增写入(Put、Delete)并以有序结构维护最新数据,使系统能够在内存中完成快速写入与低延迟查询。
阅读全文 :LSM Tree MemTable 的核心结构 SkipList:原理、优势与高并发实现本文是对 Google BigTable 论文的深度技术解析,系统性地分析 BigTable 的核心数据模型、分布式架构、存储引擎和实现机制。
阅读全文 :Google Bigtable: 分布式结构化数据存储系统深度解析与架构实现本次活动由 HAMi 社区和密瓜智能主办,CNCF特别支持。CNCF、密瓜智能、沐曦股份、蔚来、DaoCloud 道客、星环科技将齐聚现场进行主题分享,共同探索异构算力调度的高效解法,在思维碰撞中破解算力资源浪费难题,实现不卷算力卷效率!
阅读全文 :AI 时代 - 不卷算力卷效率!HAMi Meetup 上海站Markdown Reference MCP Server 是一个基于 MCP 的参考文献处理工具,专为 Markdown 文档设计,提供自动化的参考文献提取、引用重编号映射、参考文献列表生成以及相关文献推荐功能。
阅读全文 :又开发了一个 MCP Server,用于参考文献和引用的格式化本文将深入剖析 GPU 资源管理的三大核心技术:虚拟化、切分及远程调用。虚拟化技术通过 NVIDIA MIG等方案实现硬件级资源隔离;切分技术涵盖时间片分配、空间划分等策略;远程调用技术突破物理边界,实现跨节点的 GPU 资源共享。
阅读全文 :GPU 管理相关技术深度解析 - 虚拟化、切分及远程调用(v2)本文档构建了 K8s AIOps 大模型能力评估的完整框架,采用"知识验证、推理评估、场景测试"三位一体方法论,涵盖控制平面诊断、Pod 与容器故障诊断、节点级组件诊断、网络组件诊断、存储组件诊断、自动化运维与工具调用、安全与合规核心维度。
阅读全文 :Kubernetes AIOps 大模型能力评估框架在 AIOps 场景中,后训练的根本目标在于:让模型从"通用智能"转变为"懂运维、能诊断、会处理"的专业模型。AIOps 不仅仅是简单的模型对齐,而是要求模型具备以下七大核心能力!
阅读全文 :AIOps 大模型构想:后训练技术与潜在实践路径MCP OCR Server 项目成功展示了如何基于 MCP 标准化协议构建高性能、可扩展的 AI 服务。通过实践验证,MCP 协议在构建现代化 AI 基础设施方面展现出显著优势:统一的接口规范、无缝的工具集成能力以及出色的跨平台兼容性。
阅读全文 :DIY:基于 MCP 协议集成 Kimi 模型实现图片文字识别"AI 会不会取代程序员?"这个问题在《Cursor 与 MCP 快速入门》中找到了令人振奋的答案——AI 不是替代者,而是创造力的放大器。
阅读全文 :好书推荐:《Cursor 与 MCP 快速入门》- 让每个人都能成为 AI 时代的创造者在这篇文章中,我们将探讨上下文工程这一新兴艺术,并为构建可操控、有效的智能体提供精炼的心智模型。
阅读全文 :【Anthropic】面向 AI 智能体的高效上下文工程要让智能体真正具备技术文档的"理解与编辑"能力,关键在于从纯文本处理过渡到结构化表示层。通过构建结构化中间表示(SIR)并提供语义化操作接口,智能体可以安全、精确地修改文档内容,实现从传统的"文本编辑"到现代的"语义编辑"的根本性转变。
阅读全文 :从文本到语义:让智能体高效处理 Markdown 的结构化语义中间层本文档是 Spark 的系统性教学材料,全面介绍了 Spark 作为新一代大数据处理引擎的设计理念、核心技术和实现原理,从产生背景出发深入剖析 RDD 抽象、作业执行机制、内存管理策略及其在分布式计算中的应用,为读者构建完整的知识体系。
阅读全文 :Apache Spark 设计与实现(一)通过本项目的实践,我们深度验证了 MCP 协议在专业工具开发中的技术可行性和实际应用价值。本项目不仅是一个 MVP 功能的 Markdown 文档处理工具,更是一个 MCP 协议实践的完整示例,为开发者提供了从架构设计到部署运维的全流程参考
阅读全文 :从零构建 MCP 服务:为 TRAE IDE 添加智能 Markdown TOC 处理能力本文深入对比分析了 Apache YARN 和 K8s 两种主流资源管理平台的底层隔离技术实现机制。研究从 Linux 内核隔离基础出发,系统性分析了 YARN Container 和 K8s Pod 的资源抽象模型、隔离技术架构和实现细节
阅读全文 :从 Linux 内核到应用层:YARN 与 Kubernetes 资源隔离技术全栈解析(一)基于项目的源码解析文档和现有教程,制定了一个 14 天的循序渐进学习计划。每天包含理论学习、代码阅读、动手实践三个环节,确保深入理解 LSM Tree 的设计原理和实现细节。
阅读全文 :Java LSM Tree 14 天循序渐进学习计划基于项目的源码解析文档和现有教程,制定了一个 14 天的循序渐进学习计划。每天包含理论学习、代码阅读、动手实践三个环节,确保深入理解 LSM Tree 的设计原理和实现细节。
阅读全文 :Java LSM Tree 14 天循序渐进学习计划