在处理复杂的 json 数据时，我们经常面临需要将深层嵌套的数据扁平化，或从不同层级收集特定信息并重构为统一格式的挑战。jolt 库提供了一套强大的 json 转换工具，特别是其 shift 操作，能够灵活地实现这类数据重塑。
数据转换挑战
假设我们有以下嵌套的 JSON 输入数据，其中 item 字段可以包含多层嵌套的 item 数组：
{
"item": [
{
"ac": "i",
"id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
"foo": {
"id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
"nn": "de38c8a2e6a844d1a9dd7a573eedee15"
},
"item": [
{
"ac": "y",
"id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
"foo": {
"id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
"nn": "b1754500dde646f1af495814fcd2d65e"
}
},
{
"id": "r",
"ac": "ac",
"foo": {
"id": "c5b9e16076fe4faaaace5c7d0cbe0d9b",
"nn": "bfb5550a6d754892b313ab9dd8604725"
}
}
]
}
]
}我们的目标是从所有层级的 item 对象中提取 ac 和 foo.nn 字段，并将它们重构为一个扁平的 JSON 对象数组，每个对象包含 ac 和 foo.nn 属性。期望的输出格式如下：
[
{
"ac": "y",
"foo": {
"nn": [
"b1754500dde646f1af495814fcd2d65e"
]
}
},
{
"ac": "i",
"foo": {
"nn": "de38c8a2e6a844d1a9dd7a573eedee15"
}
},
{
"ac": "ac",
"foo": {
"nn": "bfb5550a6d754892b313ab9dd8604725"
}
}
]请注意，在上述期望输出中，nn 字段有时是字符串，有时是单元素数组。在实际的 Jolt 转换中，为了保持数据类型的一致性，通常会将其统一为数组形式。
Jolt 核心概念回顾
在深入解决方案之前，我们先回顾 Jolt shift 操作中几个关键的操作符：
- shift 操作: shift 是 Jolt 中最常用的操作，用于将输入 JSON 的数据结构映射到输出 JSON 的新结构。它通过键值对来定义映射规则，其中键是输入路径模式，值是输出路径。
- @ 操作符: 用于引用输入 JSON 中特定路径或层级的值。例如，@(1,field) 表示向上追溯一层，获取 field 字段的值。这对于动态创建输出路径或获取非当前匹配路径的值非常有用。
-
& 操作符: 这是一个通配符，表示当前匹配到的键或值。
- 当作为输入路径的一部分时，& 匹配任何键名。
- 当作为输出路径的一部分时，& 表示当前匹配到的输入键名。
- &N (例如 &1, &2) 表示从当前匹配位置向上追溯 N 层，获取该层级的键名。
- [#] 操作符: 用于将值强制转换为数组，并可选地指定数组索引。例如，[#0] 表示将其放入数组的第一个位置。[#1] 表示放入数组的第二个位置，如果该位置之前为空，则可能产生 null 填充。如果只希望确保是数组而不关心具体索引，通常直接使用 [] 或 [#]。
- 多阶段转换: 复杂的转换往往需要多个 Jolt 转换操作（例如 shift, default, cardinality 等）按顺序执行。每个操作的输出作为下一个操作的输入。
解决方案详解
为了实现上述目标，我们将采用两阶段的 Jolt shift 转换。
第一阶段转换：数据收集与初步重构
第一阶段的目标是遍历所有层级的 item 数组，提取所需的 ac 和 foo.nn 字段，并将每个 item 对象的数据组织成一个以其 ac 值为键的临时结构。
[
{
"operation": "shift",
"spec": {
"item": {
"*": {
// 处理第一层 item
"item": {
"*": {
// 处理第二层 item
"item": {
"*": {
// 处理第三层 item (如果存在)
"ac": "@(1,ac).&",
"foo": {
"nn": "@(2,ac).&1[#1].&"
}
}
},
"ac": "@(1,ac).&",
"foo": {
"nn": "@(2,ac).&1[#1].&"
}
}
},
"ac": "@(1,ac).&",
"foo": {
"nn": "@(2,ac).&1[#1].&"
}
}
}
}
},
// ... 第二阶段转换
]解析第一阶段 Spec:
- *递归路径匹配 item -> `
