共同探讨DuckDB轻量级分析引擎的优势及局限
KEEP THE THREAD GOING
来自同一个声音
DuckDB 月报:全球建筑扫一遍,只花 2 MB 流量
43 GB 全球建筑一条 GROUP BY 扫完 7.1 亿行只拉 2.2 MB;S3 万级小文件 2.0 提速近 3 倍;Kelsey Hightower 说它可能是他的 SQLite 替代品
阅读全文 ↗:DuckDB 月报:全球建筑扫一遍,只花 2 MB 流量DuckDB 写 Lance 两条路:社区扩展写入快 2.6 倍
官方扩展管读和检索,社区扩展把 COPY 变成转换管道:建索引、采样、并行写,800 万行实测快 2.6 倍,文件层互通。
阅读全文 ↗:DuckDB 写 Lance 两条路:社区扩展写入快 2.6 倍JSON 塞在字符串列里,DuckDB 三条 SQL 摊开成表
VARCHAR 列里的 JSON 不用导出成文件,结构推断加类型修补加摊开成列,解析一次管所有查询
阅读全文 ↗:JSON 塞在字符串列里,DuckDB 三条 SQL 摊开成表tantivy 进了 DuckDB:不建索引也能 BM25 搜索
tantivy 扩展进 DuckDB 社区库:BM25 排序、分词、词干提取全在 SQL 里,实测三行数据起步
阅读全文 ↗:tantivy 进了 DuckDB:不建索引也能 BM25 搜索DuckDB 等了三年的 Hudi,一个社区扩展补上了
等了三年的功能请求落地:hudi 扩展进社区库,COW/MOR、时间旅行、增量读取全支持,本机实测全通过
阅读全文 ↗:DuckDB 等了三年的 Hudi,一个社区扩展补上了DuckDB 搬进 S3 之后,worker 随便加,数据只一份
DuckDB 搬进 S3 之后,worker 随便加,数据只一份
阅读全文 ↗:DuckDB 搬进 S3 之后,worker 随便加,数据只一份