1. 背景与挑战
在实际的java开发中，我们经常需要处理来自外部服务或文件的不规则json数据。一个常见的场景是，json数据以嵌套数组的形式组织，其中包含重复的元素，并且我们需要对这些重复元素的某个属性进行聚合计算（例如，查找最小值和最大值），然后将聚合后的结果映射到一个扁平化的pojo对象。
考虑以下JSON结构：
[
[
{"word": "china", "count": 0},
{"word": "kids", "count": 1},
{"word": "music", "count": 0}
],
[
{"word": "china", "count": 3},
{"word": "kids", "count": 0},
{"word": "music", "count": 2}
],
[
{"word": "china", "count": 10},
{"word": "kids", "count": 3},
{"word": "music", "count": 2}
]
]我们的目标是将其转换为一个简单的Java对象列表，每个对象代表一个唯一的单词及其在所有出现中的最小和最大计数：
public class Word {
private String text;
private Integer min;
private Integer max;
// Getters and Setters
}例如，对于“china”这个词，其count值分别为0、3、10，我们期望得到text="china", min=0, max=10。直接使用Jackson ObjectMapper进行反序列化难以实现这种聚合逻辑。这时，引入一个强大的JSON查询和转换库就显得尤为重要。
2. 目标POJO定义
首先，我们定义目标POJO Word 类，它将承载聚合后的数据：
public class Word {
private String text;
private Integer min;
private Integer max;
// 构造函数、Getter和Setter方法
public Word() {} // Jackson需要无参构造函数
public void setText(String text) {
this.text = text;
}
public void setMin(Integer min) {
this.min = min;
}
public void setMax(Integer max) {
this.max = max;
}
public String getText() {
return text;
}
public Integer getMin() {
return min;
}
public Integer getMax() {
return max;
}
@Override
public String toString() {
return String.format("text=%s min=%d max=%d", text, min, max);
}
}3. 解决方案：利用Josson进行JSON转换
为了实现复杂的聚合和结构转换，我们引入Josson库。Josson是一个强大的Java JSON处理器，它允许我们使用类似于SQL的查询语法对JSON数据进行筛选、转换和聚合。
3.1 引入依赖
在使用Josson之前，请确保在您的项目中添加相应的Maven或Gradle依赖。
Maven:
com.github.octomix josson 1.3.0 com.fasterxml.jackson.core jackson-databind 2.17.0
Gradle:
implementation 'com.github.octomix:josson:1.3.0' // 请检查最新版本 implementation 'com.fasterxml.jackson.core:jackson-databind:2.17.0' // 请检查最新版本
3.2 核心转换逻辑
Josson通过其查询语言提供了一种简洁的方式来处理上述转换。以下是实现步骤和关键的Josson查询表达式：
- 加载JSON数据: 使用Josson.fromJsonString()方法加载原始JSON字符串。
- 展平数组: 原始JSON是一个二维数组。flatten()操作将所有嵌套的数组元素展平为一个单一的列表，方便后续处理。
- 按单词分组: group(word)操作将展平后的数据按照word字段进行分组。这样，所有具有相同word值的对象都会被归到同一个组中。
-
映射并聚合: map(text:word, min:elements.min(count), max:elements.max(count))是核心转换步骤。
- map(...)：用于创建新的JSON对象。
- text:word：将当前组的word值映射到新对象的text字段。
- min:elements.min(count)：elements代表当前组中的所有原始元素。min(count)对这些元素中的count字段执行最小值聚合。
- max:elements.max(count)：对count字段执行最大值聚合。
-
Jackson反序列化: Josson转换后的结果是一个JsonNode对象，其结构与我们的Word POJO完全匹配。最后，我们可以使用Jackson的ObjectMapper.convertValue()方法将其直接反序列化为List
。
3.3 完整代码示例
import com.fasterxml.jackson.core.type.TypeReference;
import com.fasterxml.jackson.databind.JsonNode;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.octomix.josson.Josson;
import java.util.List;
public class JsonDataProcessor {
public static void main(String[] args) {
String jsonString = "[" +
" [" +
" {\"word\": \"china\", \"count\": 0}," +
" {\"word\": \"kids\", \"count\": 1}," +
" {\"word\": \"music\", \"count\": 0}" +
" ]," +
" [" +
" {\"word\": \"china\", \"count\": 3}," +
" {\"word\": \"kids\", \"count\": 0}," +
" {\"word\": \"music\", \"count\": 2}" +
" ]," +
" [" +
" {\"word\": \"china\", \"count\": 10}," +
" {\"word\": \"kids\", \"count\": 3}," +
" {\"word\": \"music\", \"count\": 2}" +
" ]" +
"]";
try {
// 1. 使用Josson加载JSON字符串
Josson josson = Josson.fromJsonString(jsonString);
// 2. 执行Josson查询，转换并聚合数据
JsonNode transformedNode = josson.getNode(
"flatten()" +
".group(word)" +
".map(text:word, min:elements.min(count), max:elements.max(count))"
);
// 3. 使用Jackson ObjectMapper将Josson转换后的JsonNode反序列化为List
ObjectMapper objectMapper = new ObjectMapper();
List words = objectMapper.convertValue(transformedNode, new TypeReference>() {});
// 4. 打印结果
words.forEach(System.out::println);
} catch (Exception e) {
e.printStackTrace();
}
}
} 输出结果:
text=china min=0 max=10 text=kids min=0 max=3 text=music min=0 max=2
4. 注意事项与总结
- Josson的强大之处: Josson库极大地简化了复杂JSON数据的处理，特别是当需要进行展平、分组、聚合等操作时。它提供了一种声明式的方式来定义数据转换逻辑，避免了手动编写复杂的循环和条件判断代码。
- 与Jackson的协同: Josson主要负责JSON结构和内容的转换，而Jackson则专注于将最终符合POJO结构的JSON数据反序列化为Java对象。两者结合，可以高效地处理各种复杂的JSON映射需求。
- 查询语言的灵活性: Josson的查询语言非常灵活，支持多种操作符和函数，可以满足更复杂的业务逻辑需求，例如过滤、排序、连接等。开发者可以查阅Josson的官方文档以获取更多高级用法。
- 性能考量: 对于非常大的JSON文件，需要考虑内存使用和处理性能。Josson在内存中构建JsonNode，因此数据量过大时可能需要优化策略，例如分批处理或使用流式解析。
- 错误处理: 在实际应用中，应加入更健壮的错误处理机制，例如捕获JsonProcessingException等异常，以应对无效的JSON输入或查询错误。
通过上述方法，我们成功地将一个嵌套且需要聚合的复杂JSON结构，高效地转换并映射到了一个简洁的Java POJO列表，这在数据处理和系统集成中具有广泛的应用价值。
