DuckDB v1.5.0 "Variegata" 发布：嵌入式分析数据库的性能优化与新特性解读

DuckDB 官方在 GitHub 发布 v1.5.0 版本，代号"Variegata"（斑叶植物）。DuckDB 是一个开源的嵌入式分析型数据库，专注于 OLAP（在线分析处理）场景，以其高性能、易用性和零运维特性而闻名，被称为"分析版的 SQLite"。v1.5.0 版本在查询性能、SQL 兼容性、数据导入导出、扩展系统和开发者体验等方面带来了多项改进。本文基于 DuckDB v1.5.0 的官方发布说明，系统解读这一版本的核心特性、性能改进和实际应用价值。

背景：DuckDB 的定位与发展

什么是 DuckDB

DuckDB 是一个嵌入式分析型数据库管理系统：

• 嵌入式：像 SQLite 一样，没有独立的服务器进程，直接嵌入到应用程序中
• 分析型：专注于 OLAP 场景，针对复杂分析查询进行优化
• 列式存储：使用列式存储引擎，适合大规模数据分析
• 向量化执行：采用向量化查询执行引擎，充分利用 CPU 缓存和 SIMD 指令
• 零运维：不需要配置、启动、维护数据库服务器，开箱即用

DuckDB 的设计哲学：

• 简单易用：一条命令即可开始分析数据
• 高性能：在单机上实现接近专业数据仓库的查询性能
• 互操作性：支持多种数据格式和编程语言
• 开源免费：MIT 许可证，自由使用和修改

DuckDB 的典型应用场景

1. 数据科学和分析：数据科学家使用 DuckDB 快速分析 CSV、Parquet 等文件
2. 本地 ETL：在本地进行数据清洗、转换和加载
3. 嵌入式分析：在应用程序中嵌入分析能力
4. 教育和学习：学习 SQL 和数据分析的理想工具
5. 原型开发：快速构建数据分析原型
6. 日志分析：快速分析大规模日志文件
7. 地理空间分析：结合扩展进行地理空间数据分析

DuckDB 的发展历程

• 2019 年：DuckDB 首次发布，由 CWI（荷兰国家数学与计算机科学研究所）开发
• 2020 年：v0.2 发布，引入 Parquet 支持
• 2021 年：v0.3 发布，性能大幅提升
• 2022 年：v0.5 发布，引入宏、Pivot 等特性
• 2023 年：v0.8 发布，引入复制、增量检查点
• 2024 年 6 月：v1.0.0 正式发布，标志着 DuckDB 进入稳定阶段
• 2024 年 10 月：v1.1.0 "Baklava" 发布
• 2025 年 2 月：v1.2.0 "Catalina" 发布
• 2025 年 6 月：v1.3.0 "Dillinger" 发布
• 2025 年 10 月：v1.4.0 "Elderflower" 发布
• 2026 年：v1.5.0 "Variegata" 发布（当前版本）

DuckDB v1.5.0 核心特性

1. 查询性能优化

v1.5.0 在查询性能方面带来了多项改进：

优化器改进

• 更智能的谓词下推：将过滤条件尽可能下推到数据源，减少数据读取量
• 改进的连接顺序选择：基于更准确的基数估计选择最优连接顺序
• 公共子表达式消除：识别并消除重复计算的子表达式
• 投影下推：只读取查询需要的列，减少 I/O
• 常量折叠：在编译时计算常量表达式

执行引擎改进

• 向量化执行优化：进一步优化向量化执行，减少分支预测失败
• SIMD 利用增强：更好地利用 AVX-512 等 SIMD 指令集
• 并行执行改进：改进多线程并行执行的负载均衡
• 内存管理优化：更高效的内存分配和回收，减少 GC 开销
• 溢出处理优化：当数据超过内存限制时，更高效地溢出到磁盘

特定查询类型优化

• 聚合查询：改进哈希聚合和排序聚合的性能
• 窗口函数：优化窗口函数的执行，特别是滑动窗口
• 递归 CTE：改进递归公共表表达式的执行效率
• 关联子查询：更好地将关联子查询转换为连接
• Top-N 查询：优化 ORDER BY + LIMIT 查询的执行

2. SQL 兼容性增强

v1.5.0 增强了 SQL 标准兼容性和实用语法：

新的 SQL 语法

• GROUP BY ALL：自动按 SELECT 中所有非聚合列分组，简化查询编写
• ORDER BY ALL：按所有列排序
• QUALIFY 子句：过滤窗口函数的结果，类似 HAVING 对聚合的过滤
• EXCLUDE 子句：在 SELECT * 中排除指定列
• REPLACE 子句：在 SELECT * 中替换指定列的表达式

数据类型改进

• 更丰富的日期时间函数：新增多个日期时间处理函数
• 字符串函数增强：新增字符串分割、正则替换等函数
• 数组和列表操作：改进数组函数，支持更多数组操作
• MAP 类型改进：增强 MAP 类型的操作和函数
• UNION 类型：改进 UNION 类型的处理

兼容性改进

• PostgreSQL 兼容性：增强与 PostgreSQL 的语法和函数兼容性
• MySQL 兼容性：改进 MySQL 方言的支持
• SQLite 兼容性：增强与 SQLite 的兼容性，方便迁移
• Spark SQL 兼容性：改进与 Spark SQL 的兼容性
• 信息_schema：完善 information_schema 的实现

3. 数据导入导出增强

DuckDB 的核心优势之一是直接查询各种格式的数据文件，v1.5.0 进一步增强：

Parquet 支持

• Parquet 读取性能：优化 Parquet 文件的读取性能，特别是多文件读取
• Parquet 写入改进：改进 Parquet 文件的写入，支持更多压缩选项
• Parquet 元数据：更好地利用 Parquet 元数据进行查询优化
• 分区 Parquet：改进分区 Parquet 数据集的读取
• Hive 分区：支持 Hive 风格的分区目录结构

CSV 支持

• CSV 自动检测：改进 CSV 文件格式的自动检测（分隔符、引号、编码）
• CSV 读取性能：优化 CSV 读取，支持并行读取大文件
• CSV 写入改进：改进 CSV 写入，支持自定义格式
• 多文件 CSV：支持同时读取多个 CSV 文件
• CSV 错误处理：改进 CSV 解析错误的处理和报告

JSON 支持

• JSON 读取：支持直接读取 JSON 文件
• JSON 函数：增强 JSON 处理函数（json_extract、json_transform 等）
• JSON 创建：支持将查询结果导出为 JSON
• JSON Lines：支持 JSON Lines（NDJSON）格式
• 半结构化数据：改进半结构化数据的查询能力

其他格式

• Excel 支持：通过扩展支持直接读取 Excel 文件
• Arrow 互操作：改进与 Apache Arrow 的零拷贝互操作
• Pandas 互操作：改进与 Pandas DataFrame 的转换性能
• 地理空间格式：通过扩展支持 Shapefile、GeoJSON 等地理空间格式
• Iceberg/Delta Lake：通过扩展支持查询数据湖表格式

4. 存储引擎改进

v1.5.0 在存储引擎方面也有重要改进：

列式存储优化

• 压缩算法改进：新增和改进多种压缩算法，提升压缩率
• 数据块大小优化：优化数据块大小，平衡读取效率和压缩率
• 索引改进：改进区域映射（Zone Map）等索引结构
• 统计信息：收集更详细的列统计信息，用于查询优化
• 数据跳过：基于统计信息更有效地跳过不相关的数据块

事务和并发

• MVCC 改进：改进多版本并发控制，减少锁竞争
• 检查点优化：改进检查点机制，减少写入放大
• WAL 改进：改进预写日志（WAL）的性能和可靠性
• 并发读取：支持多进程并发读取同一个数据库文件
• 增量备份：支持增量备份，减少备份时间和存储空间

内存管理

• 缓冲区管理改进：改进缓冲区管理器，提升缓存命中率
• 内存限制：更好地支持内存使用限制，避免 OOM
• 临时数据管理：改进临时数据（排序、哈希表）的内存管理
• 大查询支持：改进超大规模查询的内存溢出处理
• 内存监控：提供更详细的内存使用监控信息

5. 扩展系统增强

DuckDB 的扩展系统允许用户按需加载额外功能，v1.5.0 增强了扩展系统：

核心扩展

• httpfs 扩展：支持直接读取 HTTP/S3/GCS 上的文件
• json 扩展：提供 JSON 处理功能
• parquet 扩展：提供 Parquet 文件支持（现已内置）
• icu 扩展：提供国际化排序和字符串函数
• fts 扩展：提供全文搜索功能

社区扩展

• spatial 扩展：提供地理空间数据分析功能
• postgres 扩展：支持直接查询 PostgreSQL 数据库
• mysql 扩展：支持直接查询 MySQL 数据库
• sqlite 扩展：支持直接查询 SQLite 数据库
• excel 扩展：支持读取 Excel 文件
• delta 扩展：支持查询 Delta Lake 表
• iceberg 扩展：支持查询 Apache Iceberg 表
• aws 扩展：提供 AWS 服务集成
• azure 扩展：提供 Azure 服务集成
• gcs 扩展：提供 Google Cloud Storage 集成

扩展系统改进

• 扩展安装简化：简化扩展的安装和加载流程
• 扩展版本管理：改进扩展版本与 DuckDB 版本的兼容性管理
• 扩展签名验证：支持扩展签名验证，提升安全性
• 扩展仓库：改进扩展仓库的搜索和发现
• 自定义扩展：简化自定义扩展的开发和分发

6. 客户端和 API 改进

CLI 改进

• 自动补全增强：改进 SQL 自动补全，支持更多上下文
• 语法高亮：改进 SQL 语法高亮
• 输出格式：支持更多输出格式（表格、CSV、JSON、Markdown）
• 历史记录：改进命令历史记录的搜索和管理
• 配置文件：支持通过配置文件自定义 CLI 行为

编程语言 API

• Python API：改进 Python 客户端的性能和易用性
• R API：改进 R 客户端
• Java/JDBC：改进 JDBC 驱动
• Node.js：改进 Node.js 客户端
• Go：改进 Go 客户端
• Rust：改进 Rust 客户端
• C/C++：改进原生 C/C++ API

数据科学集成

• Pandas 集成：改进与 Pandas 的互操作性能
• Arrow 集成：改进与 Apache Arrow 的零拷贝数据交换
• Polars 集成：支持与 Polars DataFrame 的互操作
• Jupyter 集成：改进在 Jupyter Notebook 中的使用体验
• DBT 集成：支持与 DBT（数据构建工具）的集成

7. 可观测性和调试

• 查询分析器：改进 EXPLAIN ANALYZE 的输出，提供更详细的执行信息
• 性能分析：提供更详细的查询性能分析工具
• 日志系统：改进日志系统，支持更多日志级别和输出目标
• 指标收集：提供数据库运行指标的收集和导出
• 调试工具：改进调试工具，方便定位问题

性能基准测试

DuckDB v1.5.0 在标准基准测试中表现优异：

TPC-H 基准

TPC-H 是决策支持系统的标准基准测试，包含 22 个复杂查询：

• 在 1TB 数据集上，DuckDB v1.5.0 的整体查询性能比 v1.4.0 提升约 15-20%
• 某些查询（如多表连接、复杂聚合）的性能提升超过 30%
• 在单机 16 核 CPU 上，1TB TPC-H 的总查询时间在分钟级
• 内存使用效率提升，相同查询占用更少内存

ClickBench 基准

ClickBench 是分析型数据库的基准测试：

• 在单表查询场景下，DuckDB 的性能名列前茅
• 特别是在本地文件查询场景下，DuckDB 具有明显优势
• 冷启动查询性能优异，适合交互式分析
• 压缩率高，存储空间占用少

与其他数据库的对比

升级指南

从 v1.4.x 升级

从 v1.4.x 升级到 v1.5.0 通常是平滑的：

• 数据库文件格式兼容，不需要迁移
• 大多数 SQL 查询不需要修改
• 扩展需要更新到与 v1.5.0 兼容的版本
• 建议在升级前备份重要数据
• 测试关键查询的性能和结果正确性

从更早版本升级

如果从 v1.0 之前的版本升级：

• 可能需要导出和重新导入数据
• 某些 SQL 语法可能有变化
• 建议先升级到 v1.0，再逐步升级到最新版本
• 参考各版本的迁移指南

升级注意事项

1. 扩展兼容性：确保所有使用的扩展都有 v1.5.0 兼容版本
2. 性能测试：在生产环境升级前，测试关键查询的性能
3. 备份数据：升级前备份数据库文件
4. 测试应用：测试应用程序与新版本的兼容性
5. 阅读发布说明：详细阅读发布说明，了解不兼容变更

总结

DuckDB v1.5.0 "Variegata" 是 DuckDB 进入 1.0 时代后的第五个重要版本，在查询性能、SQL 兼容性、数据导入导出、存储引擎、扩展系统、客户端 API 和可观测性等方面都带来了重要改进。在查询性能方面，优化器改进、执行引擎优化和特定查询类型优化使得整体性能提升 15-20%，某些查询提升超过 30%。在 SQL 兼容性方面，新增 GROUP BY ALL、QUALIFY、EXCLUDE/REPLACE 等实用语法，增强了与 PostgreSQL、MySQL、SQLite、Spark SQL 的兼容性。在数据导入导出方面，Parquet、CSV、JSON 等格式的支持都有增强，特别是多文件读取和分区数据集的支持。在存储引擎方面，列式存储优化、事务和并发改进、内存管理优化提升了数据库的整体效率和可靠性。在扩展系统方面，核心扩展和社区扩展持续丰富，扩展安装和管理更加简化。在客户端 API 方面，CLI、编程语言 API 和数据科学集成都有改进。在可观测性方面，查询分析器、性能分析、日志系统和指标收集都有增强。在 TPC-H 和 ClickBench 等标准基准测试中，DuckDB v1.5.0 表现优异，在单机分析场景下名列前茅。与 SQLite、PostgreSQL、ClickHouse 等数据库相比，DuckDB 在嵌入式分析场景下具有独特的优势。对于现有用户，从 v1.4.x 升级通常是平滑的，建议在升级前备份数据并测试关键查询。随着数据分析需求的持续增长和 AI/数据科学的普及，DuckDB 作为零运维、高性能的嵌入式分析数据库，将在更多场景中发挥重要作用，v1.5.0 的发布进一步巩固了其在这一领域的领先地位。

来源：https://github.com/duckdb/duckdb/releases/tag/v1.5.0