在企业级数据处理场景中，spring batch以其强大的批处理能力而广受欢迎。然而，面对非标准格式的数据源，例如将结构化的固定长度记录直接嵌入到xml元素内容中的文件，传统的xml itemreader可能无法直接满足解析需求。本教程将深入探讨如何高效且优雅地处理这类“内嵌固定长度数据xml文件”，并提供一套基于spring batch的实用解决方案。
问题背景与挑战
考虑一个XML文件，其结构如下所示：
<?xml version="1.0" encoding="UTF-8"?> <File fileId="123" xmlns="abc:XYZ" > ABC123411/10/20 XBC128911/10/20 BCD456711/23/22 </File>
其中，<File>元素内部包含多行固定长度的字符串数据，例如ABC123411/10/20。每一行都代表一个业务记录，需要被解析成一个独立的Java对象（如Content），包含name、id和date等字段。
public class Content {
private String name;
private String id;
private String date;
// Getters and Setters
// ...
}传统的StaxEventItemReader结合JAXB Unmarshaller可以读取整个<File>元素的内容到一个String字段中，但这只是第一步。获取到形如"ABC123411/10/20 XBC128911/10/20 BCD456711/23/22"的字符串后，仍需手动进行字符串分割、截取和类型转换，这增加了额外的开发复杂度和维护成本。我们希望寻找一种更符合Spring Batch设计哲学，能充分利用其现有组件的解决方案。
解决方案：两阶段处理策略
针对上述挑战，最简洁高效的策略是将问题分解为两个独立的批处理阶段：
- 数据提取与转换阶段： 使用一个自定义的Tasklet，负责解析原始XML文件，提取<File>元素中的内嵌文本数据，并将其写入到一个新的纯文本固定长度文件中。
- 固定长度数据解析阶段： 利用Spring Batch强大的FlatFileItemReader来读取并解析上一步生成的纯文本固定长度文件，将其映射为业务对象。
这种方法将XML解析的复杂性与固定长度数据解析的复杂性解耦，使得每个阶段都能够使用最适合的Spring Batch组件。
阶段一：数据提取与转换
此阶段的核心是创建一个Tasklet，它将作为Spring Batch作业中的一个独立步骤执行。该Tasklet的任务是读取XML文件，定位包含固定长度数据的元素，提取其文本内容，然后将这些内容逐行写入到一个新的临时文件中。
Tasklet 实现示例
为了实现数据提取，我们可以使用标准的Java XML解析API（如DOM或StAX）来解析XML。这里以DOM为例：
import org.springframework.batch.core.StepContribution;
import org.springframework.batch.core.scope.context.ChunkContext;
import org.springframework.batch.core.step.tasklet.Tasklet;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.core.io.Resource;
import org.w3c.dom.Document;
import org.w3c.dom.Element;
import org.w3c.dom.NodeList;
import javax.xml.parsers.DocumentBuilder;
import javax.xml.parsers.DocumentBuilderFactory;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
public class XmlDataExtractionTasklet implements Tasklet {
private Resource inputXmlResource;
private String outputFlatFilePath; // 目标纯文本文件路径
// Setter for inputXmlResource (注入XML文件资源)
public void setInputXmlResource(Resource inputXmlResource) {
this.inputXmlResource = inputXmlResource;
}
// Setter for outputFlatFilePath (注入输出文件路径)
public void setOutputFlatFilePath(String outputFlatFilePath) {
this.outputFlatFilePath = outputFlatFilePath;
}
@Override
public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception {
File xmlFile = inputXmlResource.getFile();
File outputFlatFile = new File(outputFlatFilePath);
DocumentBuilderFactory dbFactory = DocumentBuilderFactory.newInstance();
DocumentBuilder dBuilder = dbFactory.newDocumentBuilder();
Document doc = dBuilder.parse(xmlFile);
doc.getDocumentElement().normalize(); // 规范化文档结构
// 获取 <File> 元素，注意如果XML有命名空间，需要正确处理
// 例如：NodeList fileNodes = doc.getElementsByTagNameNS("abc:XYZ", "File");
NodeList fileNodes = doc.getElementsByTagName("File");
if (fileNodes.getLength() == 0) {
throw new IllegalStateException("XML文件未找到 <File> 元素。");
}
// 假设只有一个 <File> 元素包含数据
Element fileElement = (Element) fileNodes.item(0);
String dataContent = fileElement.getTextContent(); // 获取元素内的所有文本内容
// 将提取的数据写入到新的纯文本文件中
try (BufferedWriter writer = new BufferedWriter(new FileWriter(outputFlatFile))) {
// 按行分割并写入，去除可能存在的空行或多余空格
for (String line : dataContent.split("\r?\n")) {
String trimmedLine = line.trim();
if (!trimmedLine.isEmpty()) {
writer.write(trimmedLine);
writer.newLine();
}
}
} catch (IOException e) {
throw new RuntimeException("写入纯文本文件失败", e);
}
return RepeatStatus.FINISHED; // 标记Tasklet执行完成
}
}Tasklet 配置
在Spring Batch的XML配置中，将此Tasklet定义为一个Bean：
<bean id="xmlDataExtractionTasklet" class="com.example.batch.tasklet.XmlDataExtractionTasklet">
<property name="inputXmlResource" value="file:#{jobExecutionContext['source.download.filePath']}" />
<property name="outputFlatFilePath" value="#{jobExecutionContext['extracted.flat.filePath']}" />
</bean>这里，inputXmlResource通过jobExecutionContext获取原始XML文件的路径，outputFlatFilePath定义了转换后纯文本文件的存储路径，该路径同样可以动态获取或配置。
阶段二：固定长度数据解析
在纯文本文件生成后，我们可以利用Spring Batch强大的FlatFileItemReader来解析这些固定长度的记录。
Content POJO 定义
首先，确保你的Content POJO定义了相应的字段，并准备好用于映射：
// com.example.batch.model.Content.java
public class Content {
private String name; // 3 chars, e.g., "ABC"
private String id; // 4 chars, e.g., "1234"
private String date; // 8 chars, e.g., "11/10/20"
// 构造函数、Getter和Setter
public Content() {}
public Content(String name, String id, String date) {
this.name = name;
this.id = id;
this.date = date;
}
// Getters
public String getName() { return name; }
public String getId() { return id; }
public String getDate() { return date; }
// Setters
public void setName(String name) { this.name = name; }
public void setId(String id) { this.id = id; }
public void setDate(String date) { this.date = date; }
@Override
public String toString() {
return "Content{" +
"name='" + name + ''' +
", id='" + id + ''' +
", date='" + date + ''' +
'}';
}
}根据示例数据ABC123411/10/20，我们可以确定字段的长度和位置：
- name: 长度3，位置1-3
- id: 长度4，位置4-7
- date: 长度8，位置8-15
FlatFileItemReader 配置
FlatFileItemReader需要一个LineTokenizer来分割行，以及一个FieldSetMapper来将分割后的字段映射到POJO。对于固定长度文件，我们使用FixedLengthTokenizer。
<bean id="flatFileItemReader" class="org.springframework.batch.item.file.FlatFileItemReader" scope="step">
<property name="resource" value="file:#{jobExecutionContext['extracted.flat.filePath']}" />
<property name="lineTokenizer">
<bean class="org.springframework.batch.item.file.transform.FixedLengthTokenizer">
<property name="names" value="name,id,date" />
<property name="columns" value="1-3,4-7,8-15" /> <!-- 根据实际数据长度调整 -->
</bean>
</property>
<property name="fieldSetMapper">
<bean class="com.example.batch.mapper.ContentFieldSetMapper" />
</property>
</bean>FieldSetMapper 实现
FieldSetMapper负责将FixedLengthTokenizer解析出的FieldSet（一个包含所有字段值的集合）映射到Content对象。
// com.example.batch.mapper.ContentFieldSetMapper.java
import org.springframework.batch.item.file.mapping.FieldSetMapper;
import org.springframework.batch.item.file.transform.FieldSet;
import org.springframework.validation.BindException;
import com.example.batch.model.Content;
public class ContentFieldSetMapper implements FieldSetMapper<Content> {
@Override
public Content mapFieldSet(FieldSet fieldSet) throws BindException {
Content content = new Content();
content.setName(fieldSet.readString("name"));
content.setId(fieldSet.readString("id")); // 假设id也是字符串，如果需要数字类型，可转换为Integer
content.setDate(fieldSet.readString("date")); // 日期字符串，如果需要Date类型，可进行转换
return content;
}
}整合Job配置
最后，将这两个阶段整合到一个Spring Batch Job中。确保Tasklet步骤在FlatFileItemReader步骤之前执行。
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:batch="http://www.springframework.org/schema/batch"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/batch http://www.springframework.org/schema/batch/spring-batch.xsd">
<!-- 定义Tasklet bean -->
<bean id="xmlDataExtractionTasklet" class="com.example.batch.tasklet.XmlDataExtractionTasklet" scope="step">
<property name="inputXmlResource" value="file:#{jobExecutionContext['source.download.filePath']}" />
<property name="outputFlatFilePath" value="#{jobExecutionContext['extracted.flat.filePath']}" />
</bean>
<!-- 定义ItemReader bean -->
<bean id="flatFileItemReader" class="org.springframework.batch.item.file.FlatFileItemReader" scope="step">
<property name="resource" value="file:#{jobExecutionContext['extracted.flat.filePath']}" />
<property name="lineTokenizer">
<bean class="org.springframework.batch.item.file.transform.FixedLengthTokenizer">
<property name="names" value="name,id,date" />
<property name="columns" value="1-3,4-7,8-15" />
</bean>
</property>
<property name="fieldSetMapper">
<bean class="com.example.batch.mapper.ContentFieldSetMapper" />
</property>
</bean>
<!-- 定义ItemProcessor (可选) -->
<bean id="contentProcessor" class="com.example.batch.processor.ContentProcessor" />
<!-- 定义ItemWriter -->
<bean id="contentWriter" class="com.example.batch.writer.ContentWriter" />
<!-- 定义Job -->
<batch:job id="fixedLengthXmlProcessingJob">
<batch:step id="extractXmlDataStep">
<batch:tasklet ref="xmlDataExtractionTasklet" />
</batch:step>
<batch:step id="processFlatFileStep">
<batch:chunk reader="flatFileItemReader" processor="contentProcessor" writer="contentWriter" commit-interval="100" />
<batch:next on="*" to="processFlatFileStep" /> <!-- 示例：如果需要循环，这里可以改为下一个step -->
</batch:step>
</batch:job>
<!-- Job启动器和数据源等基础设施配置略... -->
</beans>注意： 上述配置中contentProcessor和contentWriter需要根据你的业务逻辑自行实现。
注意事项与优化
- 文件路径管理： 在实际应用中，inputXmlResource和outputFlatFilePath应通过JobParameters或JobExecutionContext动态传入，以提高Job的灵活性和可重用性。
- 错误处理： Tasklet中的文件I/O和XML解析应包含健壮的错误处理机制，例如捕获IOException和ParserConfigurationException等。
- 性能考量： 对于极大的XML文件，直接将整个XML内容加载到内存中可能会导致内存溢出。在这种情况下，XmlDataExtractionTasklet可以考虑使用StAX解析器，它提供了基于事件的流式解析能力，避免一次性加载整个文档。
- 文件清理： 转换生成的临时纯文本文件在Job执行完成后可能需要清理。这可以通过在Job的最后添加一个清理Tasklet或使用Job监听器来实现。
- 命名空间： 如果XML文件使用了命名空间（如示例中的xmlns="abc:XYZ"），在XmlDataExtractionTasklet中获取元素时，需要使用getElementsByTagNameNS()方法来正确指定命名空间。
- 数据类型转换： ContentFieldSetMapper中，如果id和date需要转换为非字符串类型（如Integer或java.util.Date），需要进行相应的类型转换和错误处理。
总结
通过将复杂的“内嵌固定长度数据XML文件”解析任务分解为“数据提取与转换”和“固定长度数据解析”两个独立且职责明确的阶段，我们能够充分利用Spring Batch提供的Tasklet和FlatFileItemReader等核心组件，构建一个高效、可维护且符合批处理最佳实践的解决方案。这种策略不仅简化了开发过程，也提高了系统的健壮性和可扩展性。
