解决JVM堆内存溢出：大数据量读取优化方案

本文旨在解决从数据库读取大量数据时遇到的JVM堆内存溢出问题。通过分析问题代码，我们将提供一种使用分页查询（LIMIT和OFFSET）的解决方案，以及相应的代码示例和注意事项，帮助开发者避免一次性加载大量数据，从而有效控制内存使用，提升系统稳定性。

在微服务架构中，处理大量数据迁移或归档任务时，一次性加载百万级甚至更多的数据记录很容易导致JVM堆内存溢出（Resource Exhaustion Event: the JVM was unable to allocate memory from the heap）。直接增加应用内存虽然可以暂时解决问题，但并非长久之计。更优的方案是采用分页查询，分批次处理数据，从而降低单次操作的内存消耗。

分页查询：LIMIT 和 OFFSET 的妙用

核心思想是将原本一次性读取所有数据的操作，分解为多次小批量读取。在SQL查询中，LIMIT 用于限制返回的记录数量，OFFSET 用于指定从哪条记录开始返回。

以下是一个简化的SQL示例：

MagickPen

在线AI英语写作助手，像魔术师一样在几秒钟内写出任何东西。

下载

SELECT *
FROM your_table
WHERE your_condition
ORDER BY your_order_column
LIMIT batch_size
OFFSET offset_value;

• your_table: 你要查询的表名。
• your_condition: 查询条件，例如 update_dts
• your_order_column: 用于排序的列，确保每次获取的数据都是连续的，避免重复读取。推荐使用自增主键ID，或者能确保数据顺序的列。
• batch_size: 每次读取的记录数，例如 1000。
• offset_value: 偏移量，表示从第几条记录开始读取。

Java代码实现分页读取

结合上述SQL，我们可以将原有的archiveTableRecords方法进行改造，实现分页读取：

@Value("${batch-size}")
private int batchSize;

public void archiveTableRecords(JdbcTemplate sourceDbTemplate, JdbcTemplate targetDbTemplate,
    ArchiveConfigDTO archiveObj) {
    try {
        String sourceTable = archiveObj.getSourceTable();
        String archive_months = archiveObj.getArchiveCriteriaMonths();
        String compareDate1 = getCSTDateNew(archive_months);
        String primaryKeyColumn = archiveObj.getPrimaryKeyColumn();

        logger.info("Archive criteria date: {}", compareDate1);

        int offset = 0;
        List> sourceRecords;

        do {
            // 构建分页查询SQL
            String sql = buildSQLQueryToFetchSourceRecords(sourceTable, compareDate1, batchSize, offset, primaryKeyColumn);
            sourceRecords = sourceDbTemplate.queryForList(sql);
            int sourceRecordsSize = sourceRecords.size();
            logger.info("Fetched {} {} record(s) from offset {}", sourceRecordsSize, sourceTable, offset);

            if (sourceRecordsSize > 0) {
                List