数据库架构选型与落地，看这篇就够了

架

行舟2022年02月09日约 14 分钟

大家好，我是Jensen，今天分享一篇数据库架构硬核干货。

随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的磁盘、IO、系统开销，甚至性能上的瓶颈，而单台服务器的资源终究是有限的。

因此在面对业务扩张过程中，应用程序对数据库系统的健壮性，安全性，扩展性提出了更高的要求。

以下，我从数据库架构、选型与落地来让大家入门。

0x1

数据库架构有哪些

不妨想一想，数据库会面临什么样的挑战呢？

业务刚开始我们只用单机数据库就够了，但随着业务增长，数据规模和用户规模上升，这个时候数据库会面临IO瓶颈、存储瓶颈、可用性、安全性问题。

IO瓶颈：大规模的用户查询和写入，由于单机数据库的IO有限无法支撑；
存储瓶颈：大量数据的存储让数据库原有的逻辑结构已经无法适用，性能急剧下降；
可用性：重点业务系统对数据库的要求是不间断地提供服务，一旦遇到突发事件时系统可以快速恢复；
安全性：数据的容灾能力，保证数据在任何时候不会丢失（避免运维删库跑路）；

为了解决上述的各种问题，数据库衍生了出不同的架构来解决不同的场景需求。

一、主从架构

将数据库的写操作和读操作分离，主库接收写请求，使用多个从库副本负责读请求，从库和主库同步更新数据保持数据一致性，从库可以水平扩展，用于面对读请求的增加。

这个模式也就是常说的读写分离，针对的是小规模数据，而且存在大量读操作的场景。

因为主从的数据是相同的，一旦主库宕机的时候，从库可以切换为主库提供写入，所以这个架构也可以提高数据库系统的安全性和可用性；

优点：

结构简单，技术成熟，市面上大多数数据库都支持这个方案；
业务入侵最低；
数据拥有多个容灾副本，提高数据安全性;
当主服务器故障时，可立即切换到其他服务器，提高系统可用性;

缺点：

无法支持大量写的场景，因为主库无法水平扩展；
从库的数据都是全量并且重复的，浪费存储空间；
数据一致性问题；
数据同步延迟问题；

二、垂直分库

在数据库遇到IO瓶颈过程中，如果IO集中在某一块的业务中，这个时候可以考虑的就是垂直分库，将热点业务拆分出去，避免由热点业务的密集IO请求影响了其他正常业务，所以垂直分库也叫业务分库。

优点：

业务清晰，专库专用，契合服务化的拆分；
冷热数据分离，业务数据相互独立各不干扰；
独立的数据库便于日常迭代和维护；

缺点：

数据之间无法联表，只能在程序中多次查询组合或者冗余数据；
需要解决分布式事务问题；

三、水平分片

在数据库遇到存储瓶颈的时候，由于数据量过大造成索引性能下降。

这个时候可以考虑将数据做水平拆分，针对数据量巨大的单张表，按照某种规则，切分到多张表里面去。

但是这些表还是在同一个库中，所以库级别的数据库操作还是有IO瓶颈（单个服务器的IO有上限）。

所以水平分表主要还是针对数据量较大，整体业务请求量较低的场景。

优点：

单表数据量减少，性能得到提升；
数据都在同个数据库中，没有跨库事务问题；

缺点：

需要解决跨片查询问题；
数据分片在扩容时需要迁移；
存在IO瓶颈，无法处理大量业务请求；

四、分库分表

在数据库遇到存储瓶颈和IO瓶颈的时候，数据量过大造成索引性能下降，加上同一时间需要处理大规模的业务请求，这个时候单库的IO上限会限制处理效率。

所以需要将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。

分库分表能够有效地缓解单机和单库的性能瓶颈和压力，突破IO、连接数、硬件资源等的瓶颈。

优点：

单表数据量减少，性能得到提升；
数据分散在多个服务器，提高了整体系统的负载能力；

缺点：

需要解决跨片查询问题；
数据分片在扩容时需要迁移；
需要处理广播表（公共表）问题；
需要解决分布式事务问题；

注：分库还是分表核心关键是有没有IO瓶颈。

分片方式都有什么呢？

RANGE（范围分片）

将业务表中的某个关键字段排序后，按照顺序从0到10000一个表，10001到20000一个表。最常见的就是按照时间切分（月表、年表）。

比如将6个月前，甚至一年前的数据切出去放到另外的一张表，因为随着时间流逝，这些表的数据被查询的概率变小，银行的交易记录多数是采用这种方式。

优点：

天然便于水平扩展，后期想对整个分片集群扩容时，只需要添加节点即可，无需对其他分片的数据进行迁移；
使用分片字段进行范围查找时，连续分片可快速定位分片进行快速查询，有效避免跨分片查询的问题。

缺点：

热点数据成为性能瓶颈。连续分片可能存在数据热点，例如按时间字段分片，有些分片存储最近时间段内的数据，可能会被频繁地读写，而有些分片存储的历史数据，则很少被查询。

HASH（哈希分片）

将订单作为主表，然后将其相关的业务表作为附表，取用户id然后hash取模，分配到不同的数据表或者数据库上。

优点：

数据分片相对比较均匀，不容易出现热点和并发访问的瓶颈。

缺点：

后期分片集群扩容时，需要迁移旧的数据，容易面临跨分片查询的复杂问题。比如上例中，如果频繁用到的查询条件中不带用户id时，将会导致无法定位数据库，从而需要同时向所有库发起查询，再在内存中合并数据，取最小集返回给应用，分库反而成为拖累。

讲到这里，我们已经知道数据库有哪些架构，解决的是哪些问题，因此，我们在日常设计中需要根据数据的特点，数据的倾向性，数据的安全性等来选择不同的架构。

那么，我们应该如何选择数据库架构呢？

虽然把上面的架构全部组合在一起可以形成一个强大的高可用，高负载的数据库系统，但是架构选择合适才是最重要的。

混合架构虽然能够解决所有的场景的问题，但是也会面临更多的挑战，你以为的完美架构，背后其实有着更多的坑。

所以，在选择数据库架构之前，我们先思考一下，实际上会面临什么样的难题？

1、对事务支持

分库分表后（无论是垂直还是水平拆分），就成了分布式事务了，如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价（XA事务）；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担（TCC、SAGA）。

2、多库结果集合并（group by，order by）

由于数据分布于不同的数据库中，无法直接对其做分页、分组、排序等操作，一般应对这种多库结果集合并的查询业务都需要采用数据清洗、同步等其他手段处理（TIDB、KUDU等）。

3、数据延迟

主从架构下的多副本机制和水平分库后的聚合库都会存在主数据和副本数据之间的延迟问题。

4、跨库join

分库分表后表之间的关联操作将受到限制，我们无法join位于不同分库的表（垂直），也无法join分表粒度不同的表（水平），结果原本一次查询就能够完成的业务，可能需要多次查询才能完成。

5、分片扩容

水平分片之后，一旦需要做扩容时。需要将对应的数据做一次迁移，成本代价都极高的。

6、ID生成

分库分表后由于数据库独立，原有的基于数据库自增ID将无法再使用，这个时候需要采用其他外部的ID生成方案。

0x2

数据库的选型与落地

那么，从技术种类上看，都有哪些呢？大厂的选择又会是怎样的呢？

一、应用层依赖类（JDBC）

这类分库分表中间件的特点就是和应用强耦合，需要应用显示依赖相应的jar包（以Java为例），比如知名的TDDL、当当开源的sharding-jdbc、蘑菇街的TSharding等。

此类中间件的基本思路就是重新实现JDBC的API，通过重新实现DataSource、PrepareStatement等操作数据库的接口，让应用层在基本不改变业务代码的情况下透明地实现分库分表的能力。

中间件给上层应用提供熟悉的JDBC API，内部通过sql解析、sql重写、sql路由等一系列的准备工作获取真正可执行的sql，然后底层再按照传统的方法（比如数据库连接池）获取物理连接来执行sql，最后把数据结果合并处理成ResultSet返回给应用层。

优点

无需额外部署，只要和应用绑定一起发布即可；
任意数据库都可以使用；

缺点

不能跨语言，比如Java写的sharding-jdbc显然不能用在C#项目中；
数据库连接数消耗高（各个应用节点的连接池不共享）；

二、中间层代理类（Proxy）

这类分库分表中间件的核心原理是在应用和数据库的连接之间搭起一个代理层，上层应用以标准的MySQL协议来连接代理层，然后代理层负责转发请求到底层的MySQL物理实例，这种方式对应用只有一个要求，就是只要用MySQL协议来通信即可。

所以用MySQL Navicat这种纯的客户端都可以直接连接你的分布式数据库，自然也天然支持所有的编程语言。

在技术实现上除了和应用层依赖类中间件基本相似外，代理类的分库分表产品必须实现标准的MySQL协议，某种意义上讲数据库代理层转发的就是MySQL协议请求，就像Nginx转发的是Http协议请求。

比较有代表性的产品有开创性质的Amoeba、阿里开源的Cobar、社区发展比较好的Mycat（基于Cobar开发）等。

优点

跨语言，任何编程语言都可以使用；
数据库连接数消耗低（连接池由代理层持有，所以可以复用）；

缺点

只支持少量数据库（MYSQL/PostgreSQL）；
需要单独部署，形成中心化架构（一旦宕机系统将不可用）；
多了一层代理层，性能下降；

接下来谈谈落地方案。

JDBC方案：无中心化架构，兼容市面上大多数关系型数据库，适用于开发高性能的轻量级 OLTP 应用（面向前台）。

Proxy方案：提供静态入口以及异构语言的支持，适用于 OLAP 应用（面向后台）以及对分片数据库进行管理和运维的场景。

混合方案：在大型复杂系统中存在面向C端用户的前台应用，也有面向企业分析的后台应用，这个时候就可以采用混合模式。

JDBC 采用无中心化架构，适用于 Java 开发的高性能的轻量级 OLTP 应用；Proxy 提供静态入口以及异构语言的支持，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。

ShardingSphere

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成，他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。

ShardingSphere提供的核心功能：

数据分片
分库 & 分表
读写分离
分片策略定制化
无中心化分布式主键
分布式事务
标准化事务接口
XA强一致事务
柔性事务

Sharding-Proxy

定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。

目前已提供MySQL版本，它可以使用任何兼容MySQL协议的访问客户端(如：MySQL Command Client, MySQL Workbench, Navicat等)操作数据，对DBA更加友好。

对应用程序完全透明，可直接当做MySQL使用。

适用于任何兼容MySQL协议的客户端。

Sharding-JDBC

定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。
支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer，PostgreSQL以及任何遵循SQL92标准的数据库。

应用案例

以电商SaaS系统为例，前台应用采用Sharding-JDBC，根据业务场景的差异主要分为三种方案。

分库（用户）

问题解析：头部企业日活高并发高，单独分库避免干扰其他企业用户，用户数据的增长缓慢可以不分表。

拆分维度：企业ID分库

拆分策略：头部企业单独库、非头部企业一个库

分库分表（订单）

问题解析：订单数据增长速度较快，在分库之余需要分表。

拆分维度：企业ID分库、用户ID分表

拆分策略：头部企业单独库、非头部企业一个库，分库之后用户ID取模拆分表

单库分表（附件）

问题解析：附件数据特点是并发量不大，只需要解决数据增长问题，所以单库IO足以支撑的情况下分表即可。

拆分维度：用户ID分表

拆分策略：用户ID取模分表

随之而来的问题

问题一：分布式事务

分布式事务过于复杂也是分布式系统最难处理的问题，由于篇幅有限，后续会开篇专讲这一块内容。

问题二：分布式ID

简单粗暴的UUID：生成足够简单，本地生成无网络消耗，具有唯一性。缺点：无序、无业务意义、过长
基于Redis模式：利用redis的 incr命令实现ID的原子性自增。缺点：需要开启持久化，有可能丢失
雪花算法：Snowflake ID组成结构：正数位（占1比特）+ 时间戳（占41比特）+ 机器ID（占5比特）+ 数据中心（占5比特）+ 自增值（占12比特），总共64比特组成的一个Long类型。
美团leaf：提供雪花和程序自增方案，其中雪花依赖ZK，程序自增依赖数据库。

问题三：跨片查询

举个例子，以用户id分片之后，需要根据企业id查询企业所有用户信息。

索引表法：建立索引表，存储用户id和企业id的关系。查询时先通过索引表找到对应用户id之后，再查询数据库。缺点：多一次数据库查询，性能下降。用户和企业关系变动时，需要维护数据。
基因法：截取用户id的部分数据加入到企业id，例如用户id后3位直接加到企业id中，然后分片时根据用户id后3位计算分片，这个时候使用企业id也可以提取这三位数来计算分片位置，缺点是，只能针对单一字段，并且对数据有一定的入侵干扰。
宽表法：使用NOSQL建立宽表（全量表），提供对应的查询能力。异构下的读写分离，缺点是，引入中间件成本、数据一致性问题，数据延迟问题；

sharding针对跨片查询也是能够支持的，本质上sharding的跨片查询是采用同时查询多个分片的数据，然后聚合结果返回，这个方式对资源耗费比较大，特别是对数据库连接资源的消耗。

假设分4个数据库，8个表，则sharding会同时发出32个SQL去查询。一下子消耗掉了32个连接；

特别是针对单库分表的情况要注意，假设单库分64个表，则要消耗64个连接。如果我们部署了2个节点，这个时候两个节点同时查询的话，就会遇到数据库连接数上限问题（mysql默认100连接数）

问题四：分片扩容

随着数据增长，每个片区的数据也会达到瓶颈，这个时候需要将原有的分片数量进行增加。由于增加了片区，原先的hash规则也跟着变化，造成了需要将旧数据做迁移。

假设原先1个亿的数据，hash分64个表，现在增长到50亿的数据，需要扩容到128个表，一旦扩容就需要将这50亿的数据做一次迁移，迁移成本是无法想象的。

问题五：一致性哈希

首先，求出每个服务器的hash值，将其配置到一个 0~2^n 的圆环上（n通常取32）

其次，用同样的方法求出待存储对象的主键 hash值，也将其配置到这个圆环上。

然后，从数据映射到的位置开始顺时针查找，将数据分布到找到的第一个服务器节点上。

一致性hash的优点在于加入和删除节点时只会影响到在哈希环中相邻的节点，而对其他节点没有影响。

所以使用一致性哈希在集群扩容过程中可以减少数据的迁移。