Mooncake 分离式推理架构创新与实践
本文提到了 Mooncake 分离式推理架构通过优化长上下文处理和生成成本,在固定资源下显著提升了 AI 产品性能,实现了成本降低和用户体验提升。
阅读全文 :Mooncake 分离式推理架构创新与实践
ArchSummit全球架构师峰会是InfoQ中国团队推出的面向高端技术管理者、架构师的技术大会。2022年07月15-16日,ArchSummit全球架构师峰会将在深圳大中华喜来登酒店举办,敬请关注。
本文提到了 Mooncake 分离式推理架构通过优化长上下文处理和生成成本,在固定资源下显著提升了 AI 产品性能,实现了成本降低和用户体验提升。
阅读全文 :Mooncake 分离式推理架构创新与实践在 AI 快速发展下,数据架构需满足实时性、流动性和处理效率,支持实时特征工程和在线特征库,成为提升 AI 系统性能的核心。
阅读全文 :AI 时代下的架构变革,需要关注什么?借教师节与中秋双节之际,InfoQ 技术大会推出超划算福利套餐。活动期间,报名任意学习套餐,均可享受限时福利,技术大会助力你实现能力的跃迁和职业的发展!
阅读全文 :InfoQ 技术大会双节福利套餐来啦!无套路立享折扣优惠微众银行是国内首家实现核心系统“去 IOE”的银行,利用标准化硬件和开源软件,构建了国内首个基于安全可控技术的全分布式银行系统架构。
阅读全文 :探索 IT 架构治理之道:微众银行的实践与思考5月17日,AICon即将在北京举办,届时将有汪玉、贾扬清、刘威等嘉宾即将出席。而且,惊喜彩蛋在文末等待着你,赶快来领取大会门票吧!
阅读全文 :清华大学汪玉:大模型能效提升,有几条必经之路?天弘基金算法团队负责人平野分享了其团队在金融行业内开发的基于大模型的 AI Agent, 以及 AI Agent 的核心技术和在金融领域的实际应用案例。
阅读全文 :天弘基金:AI Agent 在金融场景下的新应用AI+ 金融,技术前沿 + 行业前沿、一站式体验。
阅读全文 :FCon x AICon 联诀来袭、干货翻倍,8 折倒计时最后 4 天2024 年过半,AI 大模型的发展和应用进度到哪了?与之相匹配的软件架构设计有哪些新的坑点、堵点和注意点?
阅读全文 :深度探索大模型时代的软件架构最佳范式,攻略就绪、就等你来|ArchSummit监控运维产出的海量数据常受数据质量波动、标注不足和链路上下文信息缺失等问题影响,这些挑战为 AIOps 的应用带来了不小的难题。
阅读全文 :大模型加持下的 AIOps 业务场景实践有哪些新“解法”?深度探索大模型时代软件架构最佳设计,6 月 14-15 日,不见不散!
阅读全文 :6 个必须参加 ArchSummit 深圳的理由,错过等 1 年作者|王良编辑 | 薛梁由于行业特殊性,金融机构在业务创新和技术应用过程中受到政策监管、数据隐私保护等诸多外
阅读全文 :大模型在金融支付 ToC 场景的应用探索:在技术创新与政策监管之间取得平衡本文整理自代晓磊老师采访,分享一些降低数据库成本、提高效率的关键策略,以及知乎团队如何通过优化数据库配置、采用新技术、实施自动化管理等方式来实现降低成本的。
阅读全文 :两年怒省上千万,知乎数据库降本增效实战随着边缘计算的流行,越来越多的服务在下沉边缘,服务离用户更近,延迟体验越来越好。
阅读全文 :字节跳动 RTC 场景下高可用云边通信实践 | ArchSummit