0

0

SQL数据库聚合算子实现_hash与sort对比

冷炫風刃

冷炫風刃

发布时间:2026-01-07 17:40:03

|

709人浏览过

|

来源于php中文网

原创

SQL聚合底层主要有Hash Aggregate和Sort-Aggregate两种策略:前者基于哈希表,适合高基数、无序输入,内存充足时高效但输出无序;后者先排序再扫描,适合低基数、已排序输入或需有序输出,内存可控且结果天然有序。

sql数据库聚合算子实现_hash与sort对比

在SQL数据库中,聚合操作(如 GROUP BYSUMCOUNT 等)的底层实现通常依赖两种主流策略:基于哈希的聚合(Hash Aggregate)和基于排序的聚合(Sort-Aggregate)。二者核心差异在于数据组织方式与适用场景,直接影响性能、内存消耗和结果有序性。

Hash Aggregate:适合无序分组、高基数场景

哈希聚合通过构建哈希表来归集相同键值的行,对每个键维护一个聚合状态(如累加器、计数器)。它不要求输入有序,可流式处理,适合中间结果无序或无法提前排序的情况。

  • 内存友好:若哈希表能完全放入内存,效率极高;但数据量超限时可能触发磁盘哈希(spill to disk),显著拖慢速度
  • 不保证输出顺序:结果顺序取决于哈希桶遍历顺序,与原始数据或分组键字典序无关
  • 适合高基数分组(如按用户ID聚合百万级用户),因哈希查找为O(1)平均复杂度
  • 常见于PostgreSQL(HashAggregate)、SQL Server(Hash Match Aggregate)、ClickHouse(AggregatingHash

Sort-Aggregate:适合低基数、需有序输出或已排序输入

排序聚合先按分组键排序,再顺序扫描——相同键必然相邻,只需一次遍历即可完成累加。它天然依赖排序稳定性,也常复用已存在的索引排序或上游排序算子。

先锋多用户商城系统
先锋多用户商城系统

修改自网上仿乐购商城,新增功能:1、数据库在线备份与导入功能,可以随时备份数据库,数据受损可以导入数据库,确保数据安全;2、增加组合商品概念,可以用于组配商品销售(比如外套有蓝色和红色,鞋子有40码和41码等),买一送一、组合销售(比如上衣+围巾+长裙做为一个套装商品)和加价购买等销售方式;3、按照商品重量和送货距离实时计算精确运费,并可在订单中予以显示,使运费金额实现实时动态准确显示、清晰明了;

下载
  • 内存开销更可控:排序阶段可能使用外部归并排序,但聚合阶段仅需O(1)额外空间(只存当前组状态)
  • 输出天然有序:结果严格按分组键升序(或指定排序方向)排列,省去后续 ORDER BY
  • 低基数分组更优:当分组键取值少(如按“省份”聚合全国订单),排序成本低,且缓存局部性好
  • 若输入已按分组键排序(如走索引扫描),可跳过排序阶段,直接流式聚合,性能极佳

选择依据:看数据特征与执行上下文

优化器不会凭空决策,而是结合统计信息(如分组键的NDV——唯一值数量)、可用内存、输入是否有序、是否需要输出排序等综合判断。

  • NDV高 + 输入乱序 + 内存充足 → 倾向 Hash Aggregate
  • NDV低 / 输入已按 GROUP BY 键排序 / 查询含 ORDER BY GROUP BY 键 → 倾向 Sort-Aggregate
  • 内存不足时,Hash Aggregate 可能退化为多轮磁盘哈希,而 Sort-Aggregate 的外部排序更稳定,但整体变慢
  • 某些引擎(如MySQL 8.0+)默认优先尝试 sort-agg,除非估算哈希更优;而 Presto/Trino 默认启用 hash agg 并自动 fallback

手动干预与调优提示

虽然多数现代数据库自动选择,但在特定场景下可通过Hint或配置引导:

  • PostgreSQL:用 SET enable_hashagg = off 强制禁用哈希聚合
  • SQL Server:查询提示 OPTION (HASH GROUP)OPTION (ORDER GROUP)
  • ClickHouse:在 GROUP BY 后加 WITH TOTALS 或调整 max_bytes_before_external_group_by 控制哈希溢出阈值
  • 观察执行计划:认准 HashAggregateSortAggregateStreamingAgg(表示输入已排序)等节点名称

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

676

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

320

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

346

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1093

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

357

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

674

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

571

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

412

2024.04.29

Golang 分布式缓存与高可用架构
Golang 分布式缓存与高可用架构

本专题系统讲解 Golang 在分布式缓存与高可用系统中的应用,涵盖缓存设计原理、Redis/Etcd集成、数据一致性与过期策略、分布式锁、缓存穿透/雪崩/击穿解决方案,以及高可用架构设计。通过实战案例,帮助开发者掌握 如何使用 Go 构建稳定、高性能的分布式缓存系统,提升大型系统的响应速度与可靠性。

53

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.7万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 785人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号