10万+实例的抉择:为什么我们正在用SQLite替换PostgreSQL?
SQLite打败了PostgreSQL?是的,的确,在我目前的这个工作环境中完败。公司PostgreSQL的实例不多,10万多个。对,你没有听错,10万多。线下终端全部是PostgreSQL,不过马上就要改朝换代了,SQLlite是新的研究对象了。好了,单位的机密就不能继续说了,还是说技术吧。
SQLite 和PostgreSQL比功能,计算能力,应用场景,SQLite就是一个菜鸡,但是要比数量,使用的人数,适应的场景,PostgreSQL完败。我们会来找一期说说 postgreSQL在终端市场上的一些问题。
SQLite起初也是一个企业因为没有合适的线下终端数据库,而自己研发的一款数据库,目的就是嵌入式。它的起源是2004年,3.0到2025年已经发展到了3.51版本,而这些版本之间的不同和操作系统是有关系的。
为什么要搞清楚版本的问题,主要是每个sqllite的版本和操作系统之间的关系非常紧密,不同的SQLite提供的功能和能力与本身和操作系统密切相关。
https://www.sqlite.org/src/taglist
| major-release | 2025-11-04 | ||||||
| version-3.51.0 | 2025-11-04 | ||||||
| version-3.42.1 | 2025-08-06 | ||||||
| version-3.44.5 | 2025-07-24 | ||||||
| version-3.50.4 | 2025-07-30 | ||||||
| version-3.50.3 | 2025-07-17 | ||||||
| version-3.50.2 | 2025-06-28 | ||||||
| version-3.50.1 | 2025-06-06 | ||||||
| version-3.50.0 | 2025-05-29 | ||||||
| version-3.49.2 | 2025-05-07 | ||||||
| patch-release | 2025-02-19 | ||||||
| version-3.49.1 | 2025-02-18 | ||||||
| version-3.49.0 | 2025-02-06 | ||||||
| version-3.48.0 | 2025-01-14 | ||||||
| version-3.47.2 | 2024-12-07 | ||||||
| version-3.47.1 | 2024-11-25 | ||||||
| version-3.47.0 | 2024-10-21 | ||||||
| version-3.46.1 | 2024-08-13 | ||||||
| version-3.46.0 | 2024-05-23 | ||||||
| version-3.45.3 | 2024-04-15 | ||||||
| version-3.44.3 | 2024-04-05 | ||||||
| version-3.45.2 | 2024-03-12 | ||||||
| version-3.45.1 | 2024-01-30 | ||||||
| version-3.45.0 | 2024-01-15 | ||||||
| version-3.44.2 | 2023-11-24 | ||||||
| version-3.44.1 | 2023-11-22 | ||||||
| version-3.44.0 | 2023-11-01 | ||||||
| version-3.43.2 | 2023-10-10 | ||||||
| version-3.43.1 | 2023-09-11 | ||||||
| version-3.43.0 | 2023-08-24 | ||||||
| version-3.42.0 | 2023-05-16 | ||||||
| version-3.41.2 | 2023-03-22 | ||||||
| version-3.41.1 | 2023-03-10 | ||||||
| version-3.41.0 | 2023-02-21 | ||||||
| version-3.40.1 | 2022-12-28 | ||||||
| version-3.40.0 | 2022-11-16 | ||||||
| version-3.39.4 | 2022-09-29 | ||||||
| version-3.39.3 | 2022-09-05 | ||||||
| version-3.39.2 | 2022-07-21 | ||||||
| version-3.39.1 | 2022-07-13 | ||||||
| version-3.39.0 | 2022-06-25 | ||||||
| version-3.38.5 | 2022-05-06 | ||||||
| version-3.38.4 | 2022-05-04 | ||||||
| version-3.38.3 | 2022-04-27 | ||||||
| version-3.38.2 | 2022-03-26 | ||||||
| version-3.38.1 | 2022-03-12 | ||||||
| version-3.38.0 | 2022-02-22 | ||||||
| version-3.37.2 | 2022-01-06 | ||||||
| version-3.37.1 | 2021-12-30 | ||||||
| version-3.37.0 | 2021-11-27 | ||||||
| version-3.36.0 | 2021-06-18 | ||||||
| version-3.35.5 | 2021-04-19 | ||||||
| version-3.35.0 | 2021-03-12 | ||||||
| version-3.34.1 | 2021-01-20 | ||||||
| version-3.34.0 | 2020-12-01 | ||||||
| version-3.33.0 | 2020-08-14 | ||||||
| version-3.32.0 | 2020-05-22 | ||||||
| version-3.31.0 | 2020-01-22 | ||||||
| version-3.30.0 | 2019-10-04 | ||||||
| version-3.29.0 | 2019-07-10 | ||||||
| version-3.28.0 | 2019-04-16 | ||||||
| version-3.27.0 | 2019-02-07 | ||||||
| version-3.26.0 | 2018-12-01 | ||||||
| version-3.25.0 | 2018-09-15 | ||||||
| version-3.24.0 | 2018-06-04 | ||||||
| version-3.23.0 | 2018-04-02 | ||||||
| version-3.22.0 | 2018-01-22 | ||||||
| version-3.21.0 | 2017-10-24 | ||||||
| version-3.20.0 | 2017-08-01 | ||||||
| version-3.19.0 | 2017-05-22 | ||||||
| version-3.18.0 | 2017-03-28 | ||||||
| version-3.17.0 | 2017-02-13 | ||||||
| version-3.16.0 | 2017-01-02 |
这个部分我看完也有点懵,怎么版本号低的在后面,版本号高的在前面?是的,官方文档就是这样。
| 3.0 (2004) | |||
| 3.6.x (2008) | |||
| 3.7.x (2010) | |||
| 3.8.x (2013) | |||
| 3.9~3.15 (2015–2016) | |||
| 3.24+ (2018) | |||
| 3.33+ (2020) | |||
| 3.39+ (2022) | |||
| 3.45+ (2024) |
研究了这么一番,我目前得出的结论是,3.45这个版本会比较适合,原因也很简单。这个版本可以兼容大部分现在流行的操作系统,同时也不会特别地落后。特别新的操作系统就算了,行业的原因,这里不解释。
下一步就是安装,现在这里找到的就是LINUX下的编译安装。在编译安装时遇到一个问题,就是tcl测试环境的问题,这里的查询可以不将这个进行编译。
See any operating system documentation about shared libraries formore information, such as the ld(1) and ld.so(8) manual pages.----------------------------------------------------------------------echo '#ifndefUSE_SYSTEM_SQLITE' >tclsqlite3.ccat sqlite3.c >>tclsqlite3.cecho '#endif/* USE_SYSTEM_SQLITE */' >>tclsqlite3.ccat /data/sqllite345/src/tclsqlite.c >>tclsqlite3.ctclsh8.6 /data/sqllite345/tool/buildtclext.tcl --destdir "" --cc "gcc" -g -O2 -DSQLITE_OS_UNIX=1 -DSQLITE_ENABLE_MATH_FUNCTIONScan't read "@": no such variablewhile executing"subst $cmd"invoked from within"if {$tcl_platform(platform)=="windows"} {# We are only able to install, uninstall, and list on Windows.# The build process is handled by the Mak..."(file "/data/sqllite345/tool/buildtclext.tcl" line 69)make: *** [Makefile:1603: tclextension-install] Error 1
编译时./configure --disable-tcl 去掉tcl测试环境,再进行make make install就可以了,版本3.45 Rocky linux 8.10。
安装完毕,我就开启了自学模式,也感谢群里的同学,我问有没有sqllite的群,然后就给我拉到QQ群了。这个同学叫“小明”。
Sqlite 架构
Sqllite 由两个部分组成,一个是主体,另一个是测试单元。在编辑的时候我们抛弃的就是测试的单元,测试单元与数据库没有必然的联系,从图中也可以看出。
下面开始快速地对一些我们感兴趣的问题进行快速的梳理,今天只是一部分,下期我们继续。
1 并发的问题,在PG上并发那不是问题,对于sqlite来说,那就是一个大问题。sqlite有两种模式,rollback-journal 和 wal模式,这个是通过命令PRAGMA journal_mode = WAL; 来控制的。
那么这两个模式有什么区别,一句话:
rollback-journal 模式会产生读和写的库锁,你没有看错,库锁。 wal 模式会产生多读 并发和多写的库锁。
2 在测试中很容易就会出现数据库的锁
测试的方法也很简单,两个SQL,然后批量进行运行。
测试分为 reader.sql writer.sql 读写的操作,然后还有一个sh 脚本来调用。
#!/bin/bashfor i in {1..50}; dowhiletrue; dosqlite3 /data/data/test.db < /data/data/writer.sqldone &done# 50 并发查询for i in {1..50}; dowhiletrue; dosqlite3 /data/data/test.db < /data/data/reader.sqldone &done
SELECT count(*)FROM test_dataWHERE value > (abs(random() % 50000));
BEGIN TRANSACTION;INSERT INTO test_data (name, value)VALUES ('writer_' || random(), abs(random() % 100000));COMMIT;
在测试中一开始就产生了大量的database locks:
数据库锁
所以我们会出一期,如何使用sqlite开发,还有一期sqllite如何进行运维和使用的文章,敬请期待吧。sqllite 是世界装机量最大的数据库,这会在我们这边也要被印证了。我们会有一期再分析一下,为什么SQLite 打败了PostgreSQL?
作者介绍
刘华阳,20年经历风霜雨打的 DBA,5年的 DBA 架构和团队管理经验,只要是数据库都喜欢学习。PostgreSQL ACE,MongoDB 狂热者,10年的 MYSQL 工作经验,现在在玩 POLARDB 与时俱进。