MyBatis批量插入数据详细优化方案

看不見的法師

发布时间：2025-07-13 18:10:03

584人浏览过

来源于php中文网

原创

mybatis批量插入数据提升效率的核心方法包括：1. 使用executortype.batch，重用statement并缓存多条sql一次性提交；2. 调整jdbc.batch_size参数优化批次大小；3. 利用数据库支持的单条多值插入语法配合mybatis的标签；4. 避免在循环中调用mapper方法，应组织成list一次性传递；5. 使用数据库连接池减少连接开销；6. 关闭自动提交减少事务开销；7. 根据情况选择使用存储过程或优化sql语句。同时需注意处理自增主键、内存溢出和性能监控问题，最终根据实际场景测试选择最合适的方案。

MyBatis批量插入数据详细优化方案

MyBatis批量插入数据，核心在于提升效率，减少数据库交互次数。优化方案围绕减少网络开销、利用数据库特性和MyBatis本身的配置展开。

解决方案：

使用ExecutorType.BATCH: 这是最基础也是最关键的一步。MyBatis默认的ExecutorType是SIMPLE，每次执行SQL都会创建一个新的Statement。BATCH模式下，MyBatis会重用Statement，将多个SQL语句缓存在一个Statement中，然后一次性提交给数据库。

SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream);
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    YourMapper mapper = sqlSession.getMapper(YourMapper.class);
    List list = ...; // 你的数据列表
    for (YourObject obj : list) {
        mapper.insert(obj);
    }
    sqlSession.commit();
} catch (Exception e) {
    sqlSession.rollback();
    // 处理异常
} finally {
    sqlSession.close();
}

调整jdbc.batch_size: 这个参数控制了BATCH模式下，多少条SQL语句会被合并到一个批次中提交。默认值通常较小，可以根据实际情况适当增大。注意，这个值并非越大越好，过大的批次可能导致内存占用过高，反而降低性能。需要根据数据量和数据库服务器的性能进行测试，找到最佳值。

在MyBatis配置文件中：
```
    
        
         
    
```
利用数据库批量插入语法: 某些数据库支持一条SQL语句插入多条数据，例如MySQL的INSERT INTO table_name (column1, column2) VALUES (value1, value2), (value3, value4), ...。 MyBatis可以配合标签生成这样的SQL语句。
```
    INSERT INTO your_table (column1, column2) VALUES
    
        (#{item.column1}, #{item.column2})
    
```
这种方式比ExecutorType.BATCH效率更高，因为它只需要执行一条SQL语句。但需要注意SQL语句的长度限制，避免超过数据库允许的最大长度。
避免在循环中执行Mapper方法: 这是新手常犯的错误。即使使用了ExecutorType.BATCH，如果在Java代码中循环调用Mapper的插入方法，仍然会造成大量的数据库交互。应该将数据组织成List，一次性传递给Mapper方法。
使用数据库连接池: 数据库连接的建立和销毁是比较耗时的操作。使用连接池可以避免频繁地创建和销毁连接，提高性能。常用的连接池有Druid、HikariCP等。
优化SQL语句: 确保SQL语句的效率。例如，避免使用SELECT *，只查询需要的列；使用索引加速查询；避免在WHERE子句中使用函数等。
关闭自动提交: 在批量插入数据时，可以先关闭数据库的自动提交，在所有数据插入完成后再手动提交。这样可以减少事务的开销。
```
connection.setAutoCommit(false);
// ... 插入数据 ...
connection.commit();
connection.setAutoCommit(true);
```
但需要注意，如果程序在插入过程中发生异常，需要手动回滚事务，否则可能会导致数据不一致。
考虑使用存储过程: 如果批量插入的逻辑比较复杂，可以考虑使用存储过程。存储过程在数据库服务器端执行，可以减少网络开销。
分析慢SQL: 定期分析数据库的慢SQL日志，找出性能瓶颈，并进行优化。

MyBatis批量插入数据时如何处理自增主键？

通常有两种策略：

数据库自增主键，MyBatis返回主键值: 如果数据库支持自增主键，并且需要在插入后获取主键值，可以使用MyBatis的标签。
```
    
        SELECT LAST_INSERT_ID()
    
    INSERT INTO your_table (column1, column2) VALUES (#{column1}, #{column2})
```
keyProperty指定了主键对应的属性名，order="AFTER"表示在插入语句执行后执行SELECT LAST_INSERT_ID()，获取自增主键的值。
预先生成主键，避免数据库自增: 有些场景下，不希望依赖数据库的自增主键，而是使用UUID或者雪花算法等方式预先生成主键。这样可以避免数据库的性能瓶颈，并且方便分布式系统的扩展。
```
YourObject obj = new YourObject();
obj.setId(generateId()); // 使用UUID或者雪花算法生成主键
mapper.insert(obj);
```
这种方式需要在插入前手动设置主键值。

SSP网店系统单用户免费普及版
前后台订单管理页添加商品缩图显示后台系统设置可直接对商品缩图大小进行设置去掉商品图片水印功能上传一张图片,可同时生成列表页缩图及商品详细页缩图,以不同的大小满足页面不同的需要商品收藏添加批量删除功能修改商品详细页会员等级显示BUG 优化缩图生成功能(注:因此次优化已更换上传内核,所以有可能会影响已上传商品图片数据) 加入简繁转换前台订单管理添加单订单在线支付功能修正VS081样式前台

下载

批量插入时遇到数据量过大导致内存溢出怎么办？

当数据量非常大时，即使使用了批量插入，也可能因为数据量过大而导致内存溢出。可以考虑以下几种解决方案：

分批处理: 将数据分成多个小批次，逐批插入数据库。这样可以减少每次加载到内存中的数据量，避免内存溢出。

List list = ...;
int batchSize = 1000; // 批次大小
for (int i = 0; i < list.size(); i += batchSize) {
    List batchList = list.subList(i, Math.min(i + batchSize, list.size()));
    yourMapper.batchInsert(batchList);
}

使用流式查询: 如果数据是从数据库中读取的，可以使用流式查询，每次只读取一部分数据到内存中。这样可以避免一次性加载所有数据到内存。
优化JVM参数: 可以适当调整JVM的堆内存大小，增加内存容量。但需要注意，过大的堆内存可能导致垃圾回收时间过长，影响性能。
使用更高效的数据结构: 如果数据结构设计不合理，可能会导致内存占用过高。可以考虑使用更高效的数据结构，例如使用StringBuilder代替String进行字符串拼接。
压缩数据: 在将数据插入数据库之前，可以先对数据进行压缩，减少数据量。常用的压缩算法有Gzip、Snappy等。

如何在MyBatis中监控批量插入的性能？

监控批量插入的性能，可以帮助我们发现性能瓶颈，并进行优化。可以使用以下几种方法：

使用MyBatis的拦截器: MyBatis提供了拦截器机制，可以拦截SQL语句的执行过程。我们可以编写一个拦截器，记录SQL语句的执行时间，并输出到日志中。

@Intercepts({@Signature(type = Executor.class, method = "update", args = {MappedStatement.class, Object.class})})
public class PerformanceInterceptor implements Interceptor {
    @Override
    public Object intercept(Invocation invocation) throws Throwable {
        long start = System.currentTimeMillis();
        Object result = invocation.proceed();
        long end = System.currentTimeMillis();
        MappedStatement mappedStatement = (MappedStatement) invocation.getArgs()[0];
        String sqlId = mappedStatement.getId();
        System.out.println("SQL: " + sqlId + ", 执行时间: " + (end - start) + "ms");
        return result;
    }
}

需要在MyBatis配置文件中配置拦截器：

使用数据库的监控工具: 大多数数据库都提供了监控工具，可以监控SQL语句的执行情况，例如MySQL的Performance Schema、Oracle的AWR等。
使用APM工具: APM（Application Performance Management）工具可以监控应用程序的性能，包括数据库操作的性能。常用的APM工具有SkyWalking、Pinpoint、CAT等。
自定义日志: 在代码中添加日志，记录SQL语句的执行时间。这种方式比较简单，但需要手动添加日志代码。

选择哪种批量插入方式更高效？

不同的批量插入方式的效率取决于具体的场景。

单条SQL插入多条数据（INSERT INTO ... VALUES (...), (...), ...）: 通常情况下，这种方式效率最高，因为它只需要执行一条SQL语句。但需要注意SQL语句的长度限制，避免超过数据库允许的最大长度。适用于数据量不大，且数据库支持该语法的情况。
ExecutorType.BATCH: 适用于数据量较大，且数据库不支持单条SQL插入多条数据的情况。 MyBatis会将多个SQL语句缓存在一个Statement中，然后一次性提交给数据库，减少网络开销。
存储过程: 适用于批量插入的逻辑比较复杂的情况。存储过程在数据库服务器端执行，可以减少网络开销。

总的来说，应该根据实际情况进行测试，选择最适合的批量插入方式。可以先尝试单条SQL插入多条数据，如果遇到SQL语句长度限制或者性能瓶颈，再考虑使用ExecutorType.BATCH或者存储过程。

在Java中如何开发在线图书借阅系统_在线图书借阅项目实战解析

java反射机制的应用场景

在Java中如何开发简易考勤与请假系统_考勤请假系统项目实战解析

在Java中如何开发在线图书管理系统_在线图书管理系统项目实战解析

Java里如何开发简易公告通知功能_公告通知项目实战解析