Go中优化数据库批量操作的核心是复用连接、合并SQL语句、分段事务和预编译语句，通过减少连接获取、事务开销及SQL解析提升吞吐3–10倍。
在 Go 中优化数据库批量操作，核心是减少事务启动次数和连接频繁获取/释放的开销。关键不在于单条 SQL 多快，而在于让“一次事务 + 一批语句”承载尽可能多的有效工作。
复用连接，避免每次操作都 NewConn
数据库连接（尤其是通过 sql.DB 获取的）本身已内置连接池，但若在循环中反复调用 db.Exec 或 db.Query，仍可能触发多次连接获取与上下文切换。更糟的是手动 db.Conn() + defer conn.Close()，会绕过连接池管理。
- 直接使用
*sql.DB的方法（如ExecContext），由连接池自动复用空闲连接 - 避免在循环内显式取连接；如需强一致性控制（例如跨多条语句的隔离），再用
db.BeginTx获取一个事务对象，复用它执行全部批量语句 - 确认
sql.DB.SetMaxOpenConns和SetMaxIdleConns设置合理（例如批量写入场景可适当调高）
合并语句，用原生批量语法替代循环 Exec
多数关系型数据库支持单条 SQL 插入/更新多行，性能远高于 N 次单行执行。Go 的 database/sql 本身不拼 SQL，需手动构造或借助工具。
- 插入：用
INSERT INTO t(col1,col2) VALUES (?,?),(?,?),...;—— 一行含 100~500 组值较稳妥（注意 MySQL max_allowed_packet 限制） - 更新：可用
INSERT ... ON DUPLICATE KEY UPDATE（MySQL）或INSERT ... ON CONFLICT DO UPDATE（PostgreSQL）实现 upsert 批量 - 慎用
sql.Named+ struct 切片：它底层仍是逐行绑定，未真正合并 SQL；应手动生成带多个 value 占位符的语句
控制事务粒度：大批次分段提交，而非全包一个事务
一个事务包几万行看似省事，实则风险高：锁持有时间长、WAL 日志暴涨、OOM、回滚代价大。理想做法是“够大但可控”。
立即学习“go语言免费学习笔记（深入）”；
- 按 1000–5000 行为一组，每组显式开启并提交一个事务
- 用
tx, err := db.BeginTx(ctx, &sql.TxOptions{Isolation: sql.LevelDefault})开启，复用该tx执行所有本组语句 - 成功后
tx.Commit()，失败则tx.Rollback()，不影响其他组 - 分组逻辑放在应用层（如切片分块），不依赖数据库 LIMIT/OFFSET 分页（那会扫描冗余数据）
启用预编译语句（Prepare），尤其高频批量场景
如果同一批处理逻辑反复执行（如定时导入任务），提前 Prepare 可跳过 SQL 解析与计划生成，降低服务端压力。
- 对固定结构的批量插入，用
stmt, err := db.Prepare("INSERT INTO t(x,y) VALUES (?,?)")一次，后续用stmt.Exec(args...) - 注意：
Prepare返回的*sql.Stmt是并发安全的，可被多个 goroutine 复用 - 长期运行服务建议缓存 stmt（如存在全局变量或 sync.Pool），避免重复 Prepare
不复杂但容易忽略：批量的本质是“用空间换时间、用聚合减调度”。把连接、事务、SQL 结构这三层的复用做扎实，吞吐常能提升 3–10 倍。
