目录
DuckDB 2.0 LTS 引入了基于 Quack 的客户端/服务器连接、面向远程读取的异步 I/O,以及面向半结构化数据的原生 VARIANT 类型。这个代号为“Cinnamon Teal”的版本还带来了可扩展的 SQL 解析器,并明确承诺至少支持到 2027 年 10 月。
要点#
- 借助 Quack,多个 DuckDB 客户端可以连接到运行在另一台机器上的 DuckDB 实例。
- 异步 I/O 提升了远程读取的并发度,但实际效果因工作负载和存储服务而异。
- VARIANT 以专为高效压缩和查询处理设计的格式存储半结构化数据。
- 这个 LTS 版本新增了触发器和解析器扩展,但现有应用在升级前需要先确认兼容性。
Quack 让共享访问成为可能#
Quack 为 DuckDB 提供了客户端/服务器模式的选项。本地 DuckDB 客户端可以连接远程 DuckDB 实例,服务器也能同时接受多个客户端的连接。
这样一来,团队无需为每位用户维护一份本地副本,就能更方便地共用一个分析数据库。工作数据集可以集中放在一台机器上,供多个分析环境访问。嵌入式和本地用法依然有其价值,服务器部署则为运行 DuckDB 提供了一种新方式。
共享端点也带来了运维上的考量。部署前,请查阅文档,弄清认证、加密、连接数上限以及并发访问时的行为。所提供的发布资料介绍了服务器连接,却没有说明这些细节。仅凭支持客户端/服务器模式,并不能证明你的部署满足安全性和可用性要求。
异步 I/O 瞄准远程读取#
DuckDB 2.0 借助异步处理,把查询处理和 I/O 更有效地解耦。其目标是提升读取并发度,尤其是在文件位于 Amazon S3 等远程对象存储上的场景。
如果工作负载有大量时间花在等待远程数据上,那么在继续处理查询的同时,就能推进更多请求,从而缩短等待时间。以本地计算为主的查询,收益可能不大。
所提供的资料中没有可复现的基准测试,也没有量化的加速数据,因此请把性能和成本方面的改进视为有待验证的说法。用相同的数据集、查询、机器配置和存储区域对比新旧版本。记录耗时和峰值内存占用,并单独核对存储请求数和费用。查询变快了,成本不一定随之下降。
用 VARIANT 应对多变的数据#
新的 VARIANT 类型面向字段和值类型各不相同的半结构化记录。据官方公告,它会识别数据中的共同结构,并借此高效地存储和查询数据。
因此,对于字段不统一的事件记录或导入的文档,值得拿它评估一下。实际效果取决于数据的结构,以及查询要读取哪些字段。
在转换生产数据集之前,先用有代表性的样本试一试。将它与当前的表示方式在存储大小、导入时间、查询结果和查询执行时间上逐项对比。样本里要包含缺失字段、显式 null、嵌套值和混合类型。整齐划一的测试数据往往发现不了的兼容性问题,这些情况可能会暴露出来。
SQL 扩展与触发器#
DuckDB 2.0 用基于解析表达式文法(Parsing Expression Grammar,PEG)的解析器取代了原有的解析器。此次发布说明了对扩展所定义的语句、子句和关键字的支持,为扩展开发者添加 SQL 语法留出了更大空间。
对应用开发团队来说,眼下要关心的是兼容性。请在新版本上运行现有 SQL,尤其是自动生成的查询和依赖扩展的查询。语法解析负责检查语法并构建语句的内部表示;表名解析和类型检查则在查询处理的其他阶段进行。
所提供的报道还提到了触发器,即在数据变更时执行预定义操作的机制。一个典型用途是把变更记录写入审计表。在依靠触发器保障审计完整性或数据一致性之前,请先确认它支持哪些事件、事务行为如何,以及有哪些限制。
规划 LTS 升级#
明确的支持期限至少到 2027 年 10 月。这为团队制定维护计划提供了参考,但即便是 LTS,大版本升级同样需要测试。
首次迁移测试请使用现有数据库的副本。对照官方迁移指南,确认数据库文件是否兼容、扩展是否可用,以及应用驱动是否支持。用新版本打开生产文件之前,先准备好可恢复的备份。
把升级验证和新功能引入分开进行。先确认现有查询能返回预期结果,并且性能可以接受。之后再分别测试 Quack、异步读取和 VARIANT,这样出了问题也能定位原因。
下一步#
在敲定升级日程之前,用数据集副本在 DuckDB 2.0 LTS 上运行最关键的分析查询,并与当前版本对比结果和执行时间。
来源:https://www.publickey1.jp/blog/26/duckdb_20_ltsquack.html
目录
