通过唯一键约束、位点记录、并发控制和状态标记，可有效避免MySQL归档重复：1. 归档表设唯一索引，用INSERT IGNORE防止重复插入；2. 用元数据表记录最大ID或时间戳，确保断点续传；3. 分批处理时使用GET_LOCK保证同一时间仅一个进程运行；4. 源表增加archived字段，先标记再归档后删除，实现流程可控。核心是幂等设计与状态协同。
在MySQL归档数据时，避免重复插入或重复处理是关键问题。一旦出现重复，不仅浪费资源，还可能导致数据不一致。核心思路是确保归档过程具备幂等性，并通过唯一标识控制流程。
1. 使用唯一键约束防止重复插入
归档表应设计合理的主键或唯一索引，通常基于业务主键或时间戳+ID组合。例如：
- 在归档表中添加与源表一致的主键，或创建唯一复合索引
- 使用 INSERT IGNORE 或 ON DUPLICATE KEY UPDATE 语句避免报错并控制行为
示例：
INSERT IGNORE INTO archive_table SELECT * FROM source_table WHERE date < '2023-01-01';
这样即使重复执行，也不会插入已存在的记录。
2. 记录归档位点或最大ID
维护一个元数据表记录上次归档的位置，比如最大ID或时间戳：
- 每次归档前查询该值，只处理大于该值的数据
- 归档完成后更新位点，确保下次从断点继续
例如：
SELECT MAX(id) FROM archive_table;
然后源表查询条件为 WHERE id > last_archived_id AND status = 'completed'，避免漏读或重读。
3. 分批处理并加锁控制并发
大批量归档建议分页进行，同时防止多个归档任务同时运行：
- 使用数据库锁（如 GET_LOCK('archive_lock', 10)）确保同一时间只有一个归档进程执行
- 每批次处理完成后提交事务，并更新进度
这能避免因脚本重复触发导致的重复归档。
4. 归档后标记或删除源数据
更安全的做法是在源表中增加归档状态字段，如 archived TINYINT DEFAULT 0：
- 先将需归档的数据标记为已归档（UPDATE + 条件）
- 再从已标记的数据中提取到归档表
- 最后可选择性删除源数据
这种方式通过状态控制流程，大幅降低重复风险。
基本上就这些。关键是设计好归档键、记录位置、控制并发和状态管理，就能有效避免MySQL归档过程中的数据重复问题。
