随着大数据领域的不断发展，新的数据处理和分析工具不断涌现。在这些工具中，DuckDB 是个亮点，它是一个开源的数据库管理系统，使用 SQL 作为查询语言，旨在提供内存中分析的高性能解决方案。DuckDB 还支持与 pandas DataFrame 的无缝集成，可以便捷地与 pandas 等工具进行数据处理和分析。因此，DuckDB 是一个非常值得关注和探索的数据库管理系统。

1 DuckDB的崛起

DuckDB 是个正在快速崛起非常受欢迎的内置 SQL 分析引擎。统计数据如下：

• 每月在 PyPI 上有 170 万次下载
• 在 GitHub 上有 13,800 个星标，在短短几年内已与 Postgres 达到了同样的欢迎程度

DuckDB 与 Postgres 的比较 - GitHub Star Rating

在可比的两年时间内，DuckDB 的增长速度与 Snowflake 相当，据 DB-Engines 趋势报告显示，DuckDB很可能在未来几年内成为主流，并至少取代目前在传统数据仓库中处理的一些负载。

DuckDB 与 Snowflake 的比较 - DB Engines 排名

DuckDB 的 MIT 许可证保证其永久开源，这也增加了它的吸引力。

2 DuckDB 的优势

• 易于安装：运行 DuckDB 只需执行一行命令brew install duckdb。
• 低复杂性：由于没有服务器（DuckDB 只是一个二进制文件），因此不需要处理凭证、访问控制列表、防火墙配置等问题。
• 通用兼容性：DuckDB 几乎没有依赖性，可以在浏览器中运行。
• 与 Pandas DataFrame 集成：DuckDB 的 Python 库具有查询 Pandas DataFrames 的能力。这种集成还使 DuckDB 能够在自己和其他无法直接查询的系统之间起到统一层或 "粘合剂" 的作用，促进了数据处理中的转换步骤。
• 扩展：DuckDB 具有灵活的扩展机制，这对于直接从 JSON 和 Parquet 或直接从 S3 读取数据特别重要，能够大大提高开发人员的体验。
• 稳定性和效率：DuckDB 旨在处理超出内存限制（虽然有一些限制）的工作负载。这在分析数据集大于可用 RAM 但小于磁盘容量的情况下特别重要，这使得分析工作可以使用 "便宜"且随时可用的硬件（如笔记本电脑）来完成。

3 DuckDB：实际数据流中的高效数据处理引擎

与基于云的系统相比，DuckDB 更具吸引力，因为它对硬件的要求较低且成本效益较高。从开发人员的笔记本电脑到生产设置，DuckDB 在各种环境中都保持一致，这与基于云的解决方案形成了鲜明对比，后者往往会随着时间的推移、数据的陈旧或无效而发生漂移。

DuckDB 可以在几乎任何地方轻松运行，有效地绕过分布式系统中常见的挑战，例如将数据移动到计算节点、VM/作业编排和故障处理。现代机器（基于云或由苹果公司 M1 SoC 驱动的机器）的能力进一步增强了 DuckDB 的实用性，可以在单机处理场景下处理大量数据集。尽管只有少数客户每天需要处理 TB 级别的数据，但实际上所需的计算能力超出了所有公有云现有的能力。

4 SQL "语法糖"

DuckDB 的相对新颖性使其能够灵活地引入新的 SQL 语法增强功能，如GROUP BY ALL、SELECT * EXCLUDE、ASOF JOINS等。这些新增功能使 SQL 查询更直观、更易读；请看下面的代码段：

-- 在 ANSI SQL 中按多个字段分组
SELECT country, city, region, postal_code, AVG(price) AS avg_price
FROM customers
-- 这里需要重复非分组字段
GROUP BY country, city, region, postal_code;

-- 在 DuckDB 中按所有字段分组
SELECT country, city, region, postal_code, AVG(price) AS avg_price
-- Fields are only listed once; maintaining the code becomes easier
GROUP BY ALL;