AI4DB、DB4AI 应用场景及相关论文

AI4DB、DB4AI 应用场景及相关论文

作为一名资深数据库行业老油条, 显然能感觉到目前数据库行业所处的内卷阶段, 主要原因可能是僧多肉少, 有志者竞相开辟新赛道, 例如向量数据库、时序数据库、超融合多模态数据库、HTAP、等等.

但是新开辟赛道即便是在数据库行业资本热时也并非易事, 而且有了投资后马上就会有后来者涌入, 竞争只能用惨烈形容.

卷新赛道实际上就是卷新场景, 如今随着大模型的飞速发展, 不管是数据库作为AI的基础设施, 还是AI4DB, 或AI与数据库融合, 都必须是数据库从业者重点考虑的场景.

那么如何快速进入新赛道?

个人认为可以从这几个方面开始熟悉:

• AI的行业应用场景有哪些?
• AI 与 数据库的融合, 为什么能更好的支撑AI解决各行业的业务问题.
• AI4DB、DB4AI 的应用场景有哪些? 解决了什么痛点?
• 有哪些相关的开源项目或商业产品?
• 有哪些相关的论文?
• 这个开源项目整理了一些ML与数据库相关论文, 可以参考: https://github.com/LumingSun/ML4DB-paper-list

先放个活动消息

6.27,28 PG数据库高峰论坛

我与崔博士是28号下午AI•DB融合分论坛出品人, 欢迎大家到场与各位专家交流. 

大会于2025年 6月 27日在济南隆重举行。本届大会以开源链接世界为核心主题，预计吸引全球1500+开发者、500+企业决策者及50+国际开源组织代表齐聚，共同绘制开源数据库的未来图景，探索开源技术与产业融合的新范式。  

详细会议介绍见： https://howconf.cn 

下面来自AI对上述问题的分析

好的，我们来探讨一下 AI 的行业应用、AI 与数据库的融合，以及相关的技术和产品。

AI的行业应用场景

AI 技术正在渗透到各行各业，以下是一些主要的应用场景：

• 医疗健康: 疾病诊断与预测（如医学影像分析、癌症早期筛查）、个性化治疗方案、药物研发、智能健康管理、手术机器人。
• 金融服务: 智能风控（反欺诈、信用评估）、量化交易、智能投顾、个性化保险定价、自动化客户服务（智能客服）。
• 零售电商: 智能推荐系统、精准营销、智能客服、供应链优化、无人商店、需求预测。
• 制造业: 智能制造（工业机器人、预测性维护）、质量控制、供应链管理、产品设计优化、生产流程优化。
• 交通出行: 自动驾驶、智能交通管理系统、公共交通调度优化、共享出行平台智能匹配、物流路径规划。
• 教育: 个性化学习平台、智能辅导系统、AI 助教、教育内容生成、智能测评。
• 媒体娱乐: 个性化内容推荐（新闻、视频、音乐）、内容创作辅助（AI 写作、AI 绘画、AI 视频生成）、智能审核。
• 农业: 精准农业（智能灌溉、病虫害监测）、农产品产量预测、农业机器人。
• 能源与公共事业: 智能电网、能源消耗预测与优化、公共安全监控与预警。
• 客户服务: 智能客服机器人、语音助手、情感分析、工单自动分类与处理。

AI 与数据库的融合：更好地支撑 AI 解决行业业务问题

传统的 AI 应用开发流程中，数据通常存储在数据库中，AI 模型则在独立的计算环境中训练和部署。这种分离导致了诸多问题，而 AI 与数据库的融合 则能有效地解决这些痛点，从而更好地支撑 AI 解决各行业的业务问题。

为什么能更好支撑？

1. 数据处理效率提升:

• 减少数据移动: 在数据库内部署 AI 算法，可以直接在数据存储的地方进行模型训练和推理，避免了大规模数据的抽取、转换、加载 (ETL) 过程，显著降低了数据传输的开销和延迟。
• 利用数据库优化能力: 现代数据库系统拥有强大的查询优化、索引、并行处理等能力，AI 算法可以利用这些能力来加速数据预处理和特征工程。

• 统一的接口: 通过 SQL 或类 SQL 语言来调用 AI 功能，降低了 AI 技术的门槛，使得熟悉数据库的开发人员也能快速上手 AI 应用开发。
• 更快的迭代周期: 数据准备、模型训练、部署和监控可以在一个统一的平台内完成，简化了 MLOps 流程，加速了 AI 应用的迭代速度。

• 数据不出库: 敏感数据可以在数据库的安全边界内进行处理和分析，减少了数据泄露的风险。
• 统一的数据管理: 可以利用数据库现有的数据权限管理、审计、备份恢复等机制来统一管理 AI 所使用的数据。

• 流处理与 AI 结合: 对于需要实时响应的场景（如实时欺诈检测、实时推荐），数据库内的 AI 可以直接对流数据进行分析和决策，提供更快的响应速度。

• 利用数据库的复杂数据类型和函数: 现代数据库支持地理空间数据、时序数据、图数据等复杂数据类型，并内置了丰富的分析函数，这为构建更强大的 AI 模型特征提供了便利。

简而言之，AI 与数据库的融合使得 数据成为了真正的一等公民，AI 能力被内嵌到数据管理和处理的核心流程中，从而实现了更高效、更便捷、更安全、更实时的智能应用。

AI 与数据库的融合：AI4DB 与 DB4AI 的前沿探索

人工智能（AI）与数据库（DB）的深度融合正在重塑数据管理与智能应用的未来。这种融合主要体现在两大方向：**AI for DB (AI4DB)**，即利用AI技术优化数据库自身；以及 **DB for AI (DB4AI)**，即利用数据库技术更好地支持AI应用。

本文将详细介绍这两个领域的应用场景及相关研究论文，参考了 LumingSun/ML4DB-paper-list GitHub项目，并补充了该项目未明确涵盖或近年来新兴的应用与研究。

🧠 AI4DB：让人工智能赋能数据库系统

AI4DB的核心目标是构建更智能、更自治的数据库系统。通过引入机器学习等AI技术，数据库能够自我优化、自我管理、自我修复，从而显著提升性能、降低运维成本。

AI4DB 应用场景

参考 GitHub 项目及补充调研，主要应用场景包括：

1. 学习型查询优化 (Learned Query Optimization):

• 相关论文: "Bao: Learning to Steer Query Optimizers" (CIDR 2019), "Neo: A Learned Query Optimizer" (VLDB 2019)。

• 相关论文: GitHub项目中 "Query Optimization -> Cost Estimation"。

• 相关论文: GitHub项目中 "Query Optimization -> Cardinality Estimation" 目录下有大量论文，例如 "Deep Unsupervised Cardinality Estimation" (VLDB 2020), "Learned Cardinalities: A New Perspective on an Old Problem" (VLDB 2019)。

• 基数估计 (Cardinality Estimation): 利用机器学习模型（如深度学习模型MSCN、混合模型LW-XGB/LW-NN, Fauce）更准确地估计查询中间结果集的大小，从而生成更优的查询执行计划。
• 代价估计 (Cost Estimation): 学习更精确的查询操作代价模型，替代传统基于启发式规则或简单模型的代价计算。
• 查询计划选择 (Plan Selection/Enumeration): 直接学习选择最佳查询计划或优化搜索过程。例如，利用强化学习探索查询计划空间。
• SQL重写与提示 (SQL Rewriting & Hinting): 自动重写查询语句或推荐优化提示。

• 利用机器学习模型（如贝叶斯优化、强化学习、高斯过程回归）自动调整数据库的数百个配置参数，以适应不同硬件和工作负载。
• 代表性系统/论文: OtterTune (SIGMOD 2017), CDBTune (VLDB 2019)。GitHub项目的 "Configuration Tuning" 部分。

• 提出用机器学习模型（如神经网络）替代传统的B-Tree、Hash等索引结构，特别是在特定数据分布下有望实现空间和查询性能的提升。
• 开创性论文: "The Case for Learned Index Structures" (SIGMOD 2018) by Kraska et al.
• 后续研究: 关注多维索引、混合索引、可更新性、鲁棒性等。GitHub项目的 "Learned structure Index" 和 "Index" 部分有诸多改进和扩展，如 "SOSD: A Benchmark for Learned Index Structures" (VLDB 2021)。

• 相关论文: "AI Meets Database: AI4DB and DB4AI" (SIGMOD 2021 Tutorial) 中提及相关工作。GitHub项目的 "Physical Design" 包含此类研究。

• 索引推荐 (Index Recommendation): 基于查询负载和数据特性，自动推荐创建或删除哪些索引。
• 物化视图推荐与设计 (Materialized View Recommendation & Design): 自动选择合适的物化视图以加速查询。
• 数据分区 (Data Partitioning): 智能地对数据进行分区以优化查询性能和管理。

• 利用AI进行性能异常检测、瓶颈诊断、故障预测和根因分析。
• 相关论文: "AI Meets Database: AI4DB and DB4AI" (DSpace@MIT, Tsinghua NetMan Lab) 提及此方向。

• 将学习的思想应用于数据库内核的其他组件，如缓存管理（Learned Cache Eviction）、排序、连接算法、调度等。
• 相关论文: GitHub项目的 "Cache related", "Query Execution" (e.g., "Learning Scheduling for Database Operations" - VLDB 2022)。

• 为上述基于学习的数据库组件自动生成高质量的训练数据。
• 相关论文: GitHub项目的 "Training data" 部分。

• 允许用户使用自然语言查询数据库，AI模型负责将其转换为SQL语句。
• 相关论文: GitHub项目的 "Text-to-SQL SQL Related" 提及此为新兴领域。许多NLP和DB会议上有相关研究，如 "Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task" (EMNLP 2018)。

• 应用AI检测SQL注入、异常访问、敏感数据泄露等安全威胁。
• 相关论文: "AI Meets Database: AI4DB and DB4AI" (Survey) 中有讨论。

• 这是AI4DB的终极目标，旨在构建完全自我管理、自我优化、自我修复的数据库系统。整合了上述多种AI4DB技术。
• 代表性系统/概念: Google's "Self-driving databases", Oracle Autonomous Database。
• 相关论文: "PilotScope: Steering Databases with Machine Learning Drivers" (VLDB 2024) 提出了一个部署AI4DB任务的框架。

📊 DB4AI：让数据库更好地支撑AI应用

DB4AI的核心目标是增强数据库系统对AI应用生命周期的支持，包括数据准备、模型训练、模型部署与推理、以及模型管理等环节，使得AI应用开发更高效、数据更易于管理、性能更优。

DB4AI 应用场景

这部分内容在 LumingSun/ML4DB-paper-list 项目中未明确分类，以下根据广泛的学术和工业界研究进行总结：

1. 数据库内AI (In-Database AI/ML):

• 相关论文: "AI-oriented declarative language" (提及于 "AI Meets Database" 教程)。

• 代表性系统/技术: Apache MADlib, Google BigQuery ML, Microsoft SQL Server Machine Learning Services, openGauss DBMind。
• 相关论文: "DB4ML: An In-Database Machine Learning Platform" (SIGMOD 2012), "MLSQL: A SQL-like Language for Machine Learning" (ICDE 2020), "Exploration of Approaches for In-Database ML" (EDBT 2023).

• 模型训练与推理: 直接在数据库内部执行机器学习模型的训练和推理，避免数据迁移，利用数据库的并行处理能力和数据管理能力。通常通过UDFs (User-Defined Functions) 或新的SQL扩展实现。
• 声明式AI语言 (Declarative AI Languages): 提供类似SQL的声明式接口，简化AI模型的定义、训练和调用过程。

• 相关论文: "The Emerging Landscape of Feature Stores for Machine Learning" (SIGMOD Record 2022).

• 数据发现与准备: 利用数据库技术辅助AI进行数据发现、清洗、集成、标注、版本控制和血缘追溯。
• 特征工程与存储 (Feature Engineering & Feature Stores): 高效管理和提供AI模型所需的特征，支持特征的创建、共享、版本化和在线/离线访问。
• 数据质量保证: 确保用于AI训练和推理的数据的质量。

• 利用数据库优化: 通过数据库的查询优化、并行执行、索引、数据压缩等技术加速AI任务。
• 硬件加速集成: 结合新型硬件（如GPU, TPU, FPGA）在数据库内加速AI计算。
• 面向AI的数据布局与存储: 优化数据在磁盘或内存中的存储格式和布局，以适应AI算法的访问模式。

• 代表性系统: Milvus, Pinecone, Weaviate, ChromaDB, Faiss。
• 相关论文: 许多关于ANN（Approximate Nearest Neighbor）索引和向量数据库架构的论文，如 "GSI: A GPU-Accelerated Index for Vector Search with High Recall and Throughput" (VLDB 2023)。

• 向量数据库与相似性搜索 (Vector Databases & Similarity Search): 高效存储和检索高维向量数据（Embeddings），支持图像、文本、音视频等非结构化数据的语义搜索，是RAG（Retrieval Augmented Generation）等LLM应用的关键。
• 多模态数据管理 (Multi-modal Data Management): 支持对文本、图像、视频、图等多种类型数据的统一存储、管理和联合分析。
• 图数据库与图神经网络 (Graph Databases & GNNs): 为图结构数据提供高效存储和计算平台，支持图神经网络等AI应用。

• 在数据库中管理AI模型的元数据、版本、依赖关系，并提供模型部署和服务接口。
• 相关论文: "Ease.ml: A Lifecycle Management System for Machine Learning" (CIDR 2019) 虽然不是纯DB系统，但体现了模型生命周期管理的需求。

超越与补充

• HTAP (Hybrid Transactional/Analytical Processing) 与 AI 的融合: HTAP系统本身强调实时分析，结合DB4AI可以进一步增强对实时AI应用（如实时推荐、欺诈检测）的支持。
• Serverless 数据库与 AI: Serverless 数据库的弹性伸缩特性可以更好地适应AI工作负载的波动性。
• 数据联邦与分布式AI: DB4AI技术需要支持在数据不出域的情况下进行联邦学习或分布式模型训练。
• AI驱动的数据合成与增强: 利用数据库中的真实数据，结合AI生成高质量的合成数据，用于模型训练或隐私保护。

AI4DB、DB4AI 的应用场景及解决的痛点

这两个概念代表了 AI 与数据库融合的两个主要方向：

AI4DB (AI for Database): 利用 AI 技术优化数据库自身

• 应用场景:

• 智能调参 (Self-tuning Databases): AI 算法自动调整数据库的各种配置参数（如缓存大小、并行度、查询优化器参数），以适应不断变化的工作负载，提升数据库性能。
• 智能索引推荐与创建 (Automated Indexing): AI 分析查询模式和数据分布，自动推荐、创建或删除索引，以提高查询效率。
• 智能查询优化 (Learned Query Optimizers): 利用机器学习模型替代传统的基于成本估算的查询优化器，生成更优的查询执行计划。
• 智能调度与资源管理: AI 预测数据库负载，智能分配计算、存储和网络资源。
• 异常检测与故障预测: AI 监控数据库运行状态，及时发现异常行为，预测潜在故障，提高数据库的可用性和可靠性。
• 智能数据分区与存储: 根据数据访问模式和特性，自动优化数据的存储布局和分区策略。

• 解决的痛点:

• 数据库管理的复杂性: 传统数据库需要经验丰富的 DBA 进行手动配置和优化，耗时耗力且容易出错。AI4DB 旨在实现数据库的自治管理。
• 性能瓶颈: 面对复杂多变的应用负载，传统优化手段难以达到最优性能。AI4DB 可以动态适应并持续优化。
• 高昂的运维成本: 自动化和智能化可以显著降低人工运维的成本。
• 对 DBA 经验的过度依赖: AI4DB 可以将专家经验沉淀到系统中，降低对顶尖 DBA 的依赖。

DB4AI (Database for AI): 让数据库更好地支撑 AI 应用

• 应用场景:

• 数据库内机器学习 (In-database Machine Learning): 直接在数据库中使用 SQL 或扩展语言调用机器学习算法进行模型训练和推理，无需将数据导出到外部 AI 平台。例如，在数据库中进行用户画像、产品推荐、风险评分等。
• 向量数据库 (Vector Databases): 专门用于存储、索引和查询高维向量数据的数据库。广泛应用于大语言模型 (LLM) 的知识库、相似性搜索、推荐系统、图像检索、自然语言处理等场景。
• 特征存储 (Feature Stores): 集中管理和提供机器学习模型所需的特征数据，确保特征的一致性、可重用性和版本控制，简化特征工程。
• AI 友好的数据湖/数据仓库: 提供高效的数据接入、转换、存储和查询能力，并集成 AI 计算引擎，方便进行大规模数据分析和模型训练。
• 支持复杂数据类型的 AI 分析: 例如，利用图数据库进行知识图谱推理，利用时序数据库进行时间序列预测。

• 解决的痛点:

• 数据孤岛和数据移动成本: 传统 AI 流程中数据在不同系统间流转，效率低下且风险高。DB4AI 致力于将计算推向数据。
• AI 应用开发门槛高: 需要掌握多种工具链。DB4AI 通过提供更统一和便捷的接口（如 SQL）降低门槛。
• 实时性不足: 数据导出和模型部署的延迟难以满足实时 AI 应用的需求。DB4AI 通过在库计算提升实时性。
• 特征工程复杂且低效: 特征的生成、管理和共享困难。Feature Store 等 DB4AI 方案致力于解决此问题。
• 新兴 AI 场景（如 LLM）对数据管理的新需求: 向量数据库等专门为这些场景设计。

相关的开源项目或商业产品

AI4DB 代表性项目/产品:

• OtterTune (CMU): 开源项目，专注于数据库自动调优。
• Query2Vec (MIT): 研究项目，探索用机器学习进行查询优化。
• DBOS (MIT, Stanford, CMU): 一个以操作系统方式构建的数据库，内置 AI 能力进行自我管理和优化。
• 一些云数据库的自治功能: 例如阿里云的 DAS (Database Autonomy Service)、腾讯云的 DBbrain、AWS RDS Performance Insights 和 DevOps Guru for RDS，以及 Google Cloud SQL Insights 都在不同程度上应用了 AI 技术进行数据库的监控、诊断和优化建议。

DB4AI 代表性项目/产品:

• 数据库内机器学习平台:

• SQLFlow (蚂蚁集团): 开源项目，扩展 SQL 语法以支持端到端的机器学习。
• Apache MADlib: 开源的、可扩展的数据库内分析库，支持 PostgreSQL 和 Greenplum。
• Google BigQuery ML: 允许用户使用标准 SQL 在 BigQuery 中创建和执行机器学习模型。
• Microsoft SQL Server Machine Learning Services: 支持在 SQL Server 中运行 R 和 Python 脚本。
• Oracle Machine Learning (OML): 在 Oracle 数据库中提供机器学习功能。
• ClickHouse: 虽然不是专门的机器学习平台，但其强大的分析性能和对数组、lambda 函数的支持，也使其可以用于一些在库机器学习任务。

• 向量数据库:

• Milvus: 开源的向量数据库，专为大规模向量相似性搜索设计。
• Pinecone: 商业化的向量数据库服务。
• Weaviate: 开源的向量搜索引擎，支持图数据模型。
• Qdrant: 开源的向量相似性搜索引擎。
• Chroma: 开源的 AI 原生嵌入式数据库。
• FAISS (Facebook AI Similarity Search): 虽然是一个库而不是完整的数据库，但它是许多向量数据库底层所依赖的核心技术之一。
• pgvector: PostgreSQL 的开源扩展，使其能够存储和搜索向量嵌入。

• 特征存储:

• Feast: 开源的特征存储系统，与 Tecton (商业版) 相关。
• Hopsworks Feature Store: 开源平台，包含一个特征存储。

• 支持 AI 的数据湖/数据仓库:

• Databricks Lakehouse Platform: 结合了数据湖的灵活性和数据仓库的管理特性，并深度集成了 Apache Spark 和 MLflow 等 AI 工具。
• Snowflake: 云数据仓库，也逐步增强其对 AI/ML 工作负载的支持，例如 Snowpark。

相关的论文

由于 AI 与数据库融合是一个快速发展的领域，新的研究成果不断涌现。以下是一些具有代表性或开创性的论文方向和关键词，你可以通过学术搜索引擎 (如 Google Scholar, ACM Digital Library, IEEE Xplore) 查找具体的论文：

AI4DB 相关论文方向:

• "Automatic Database Tuning" / "Self-Tuning Databases": 搜索相关综述和具体方法的论文，例如基于强化学习、贝叶斯优化的调参方法。
• e.g., Pavlo, A., et al. "Self-driving database management systems." CIDR 2017. (奠基性论文之一)
• "Learned Query Optimization" / "Cardinality Estimation with Deep Learning": 关注如何使用机器学习改进查询优化器的组件。
• e.g., Marcus, R., et al. "Neo: A learned query optimizer." VLDB 2019.
• "Automated Indexing" / "Learned Index Structures": 研究 AI 如何自动选择和创建索引，甚至是用学习结构替代传统索引。
• e.g., Kraska, T., et al. "The case for learned index structures." SIGMOD 2018.
• "Database Knob Tuning": 通常指数据库参数调优。
• "AI for DB Security/Anomaly Detection": AI 在数据库安全监控和异常检测方面的应用。

DB4AI 相关论文方向:

• "In-Database Machine Learning" / "In-Database Analytics": 讨论在数据库内部执行机器学习的架构、系统和算法。
• e.g., Hellerstein, J. M., et al. "The MADlib analytics library or MAD skills, the SQL." VLDB 2012. (MADlib 相关)
• 可以关注各大数据库厂商在 SIGMOD, VLDB 等会议上发布的关于其数据库内 ML 功能的论文。
• "Vector Databases" / "Similarity Search for High-Dimensional Data": 关于向量数据的高效索引和查询技术。
• 可以搜索 Milvus, Pinecone 等项目背后的技术论文，以及关于 Approximate Nearest Neighbor (ANN) 算法的论文。
• "Feature Stores for Machine Learning": 关于特征存储的设计理念、架构和挑战。
• "Data Management for Machine Learning": 更广义地讨论机器学习对数据管理系统的需求。
• "MLOps" / "Data-centric AI": 虽然不直接是数据库论文，但其讨论的问题与 DB4AI 密切相关，强调数据在 AI 生命周期中的核心作用。

建议关注数据库领域顶级会议 (如 SIGMOD, VLDB, ICDE) 和机器学习领域顶级会议 (如 NeurIPS, ICML, ICLR) 的论文集，其中经常有跨领域的研究成果发表。

AI4DB与DB4AI是相辅相成、互相促进的两个方向。AI4DB致力于让数据库本身更智能，而DB4AI则致力于让数据库成为AI应用的坚实基础和高效平台。随着这两个领域的不断发展，我们可以期待更加智能、易用、高效的数据基础设施来支撑日益复杂的AI应用需求。

参考

https://github.com/LumingSun/ML4DB-paper-list

 以上内容基于DeepSeek、QwQ及诸多AI生成, 轻微人工调整, 感谢杭州深度求索人工智能、阿里云等公司. 

 AI 生成的内容请自行辨别正确性, 当然也多了些许踩坑的乐趣, 毕竟冒险是每个男人的天性.