别再一条条插了！MyBatis批量插入数据，用ExecutorType.BATCH到底能快多少？（附Spring Boot实战代码）

MyBatis批量插入性能深度评测从原理到实战的全面优化指南在处理海量数据入库时开发者常会遇到性能瓶颈。上周我负责一个用户行为分析系统需要将300万条日志数据写入MySQL最初采用单条插入方式耗时近2小时经过优化后缩短到7分钟。本文将分享这段实战经验通过量化对比帮助开发者选择最优批量插入方案。1. 批量插入技术全景图MyBatis提供了多种批量数据插入方式每种方法在实现原理和适用场景上存在显著差异。理解这些差异是进行性能优化的第一步。核心机制对比插入方式原理描述事务控制预编译语句复用默认Simple模式每条SQL独立执行自动提交或跟随事务每条语句独立事务或统一否foreach拼接将多条values合并为单个INSERT语句单语句事务部分ExecutorType.BATCH复用PreparedStatement批量发送执行命令统一事务是MyBatis-Plus的saveBatch基于BATCH模式封装自动分片处理统一事务是关键发现BATCH模式通过JDBC的addBatch()机制将多次网络往返优化为单次批量传输这是性能提升的关键在实际项目中我曾遇到一个典型场景需要将CSV文件中的50万条设备数据导入数据库。最初使用Simple模式耗时约45分钟切换到BATCH模式后仅需4分钟效果立竿见影。2. 性能基准测试数据不说谎为了量化不同方案的性能差异我们搭建了标准测试环境硬件4核CPU/8GB内存数据库MySQL 8.0 with rewriteBatchedStatementstrue测试工具JMH基准测试数据量级1k/10k/100k条记录测试结果对比单位毫秒| 数据量 | Simple模式 | foreach(100) | BATCH模式 | saveBatch | |--------|------------|--------------|-----------|-----------| | 1,000 | 4,200 | 850 | 620 | 680 | | 10,000 | 41,800 | 3,200 | 2,800 | 3,100 | | 100,000| 超时 | 29,500 | 24,300 | 26,800 |内存占用方面BATCH模式表现出色Simple模式持续增长峰值达1.2GBBATCH模式稳定在300MB左右// JMH测试代码片段示例 State(Scope.Thread) public class MyBatisBenchmark { private SqlSessionFactory sqlSessionFactory; Setup public void init() throws IOException { String resource mybatis-config.xml; InputStream inputStream Resources.getResourceAsStream(resource); sqlSessionFactory new SqlSessionFactoryBuilder().build(inputStream); } Benchmark public void testBatchInsert() { try (SqlSession session sqlSessionFactory.openSession(ExecutorType.BATCH)) { UserMapper mapper session.getMapper(UserMapper.class); for (int i 0; i 10000; i) { mapper.insert(new User(useri, emaili)); } session.commit(); } } }3. 实战优化技巧与避坑指南3.1 关键参数配置MySQL的rewriteBatchedStatements参数对性能影响巨大# application.properties spring.datasource.urljdbc:mysql://localhost:3306/test?rewriteBatchedStatementstrueuseSSLfalse这个配置让JDBC驱动将多个INSERT语句重写为多值形式在我的测试中开启后性能提升约40%。3.2 事务管理的正确姿势BATCH模式必须配合正确的事务管理// 错误示例自动提交模式 try (SqlSession session sqlSessionFactory.openSession(ExecutorType.BATCH)) { UserMapper mapper session.getMapper(UserMapper.class); for (User user : userList) { mapper.insert(user); // 每次insert都会立即执行 } // 忘记flush和commit } // 正确做法 try (SqlSession session sqlSessionFactory.openSession(ExecutorType.BATCH)) { UserMapper mapper session.getMapper(UserMapper.class); for (int i 0; i userList.size(); i) { mapper.insert(userList.get(i)); if (i % 1000 0) { session.flushStatements(); // 定期刷新避免OOM } } session.commit(); // 最终提交 }3.3 分片策略优化对于超大数据量百万级建议采用分片处理public void batchInsertInChunks(ListUser users, int chunkSize) { SqlSession session sqlSessionFactory.openSession(ExecutorType.BATCH); try { UserMapper mapper session.getMapper(UserMapper.class); ListListUser chunks Lists.partition(users, chunkSize); for (ListUser chunk : chunks) { for (User user : chunk) { mapper.insert(user); } session.flushStatements(); session.clearCache(); // 防止缓存堆积 } session.commit(); } finally { session.close(); } }4. 高级应用场景解析4.1 与Spring事务集成在Spring环境中使用BATCH模式需要特别注意Transactional public void batchProcess(ListData dataList) { // 获取当前SqlSession并切换执行器类型 SqlSessionHolder holder (SqlSessionHolder) TransactionSynchronizationManager .getResource(sqlSessionFactory); holder.getSqlSession().flushStatements(); // 实际批处理操作 dataList.forEach(data - repository.save(data)); }4.2 MyBatis-Plus的最佳实践MyBatis-Plus的saveBatch方法底层仍使用BATCH模式但提供了更友好的API// 自动分批默认批次大小1000 userService.saveBatch(userList); // 自定义批次大小 userService.saveBatch(userList, 500); // 事务中的批量保存 Transactional public void processUsers(ListUser users) { users.forEach(user - { // 一些业务处理 user.setStatus(PROCESSED); }); userService.saveBatch(users); }在最近的项目中我们对比发现原生BATCH模式代码更灵活适合复杂业务逻辑saveBatch方法开发效率高适合标准CRUD操作5. 性能优化深度策略5.1 连接池配置建议# application.yml spring: datasource: hikari: maximum-pool-size: 20 connection-timeout: 30000 idle-timeout: 600000 max-lifetime: 1800000合理的连接池配置可以避免资源竞争批量操作时适当增大maximum-pool-size调整超时时间适应长时间批量任务5.2 数据库端优化-- 批量插入前临时调整参数 SET unique_checks0; SET foreign_key_checks0; SET sql_log_bin0; -- 批量操作结束后恢复 SET unique_checks1; SET foreign_key_checks1; SET sql_log_bin1;这些设置在我的一个数据迁移项目中使性能提升了约25%。但要注意只适合数据迁移等特殊场景必须确保数据一致性不受影响5.3 监控与调优工具推荐使用Arthas监控MyBatis执行情况# 监控Mapper方法调用 watch com.example.mapper.UserMapper insert {params,returnObj} -x 3 # 查看SQL执行时间 trace com.example.mapper.UserMapper insert在压力测试时我们发现当单批次超过5万条时性能开始下降。最终确定2万条为最佳批次大小这个经验值可能随硬件配置而变化。