Linux jq 命令
jq 是一个轻量级且功能强大的命令行 JSON 处理器。它允许你以高效的方式解析、过滤、转换和格式化 JSON 数据，特别适合在 shell 脚本中处理 JSON 数据。
jq 的主要特点
- 流式处理：可以处理任意大小的 JSON 数据
- 丰富的操作符：提供多种操作符来处理 JSON 数据结构
- 格式化输出：可以美化 JSON 输出，提高可读性
- 跨平台：可在 Linux、macOS 和 Windows（通过 WSL）上运行
安装 jq
在大多数 Linux 发行版中，可以通过包管理器轻松安装 jq：
实例
# Ubuntu/Debian
sudo apt-get install jq
# CentOS/RHEL
sudo yum install jq
# Fedora
sudo dnf install jq
# macOS (使用 Homebrew)
brew install jq
安装完成后，可以通过以下命令验证安装是否成功：
jq --version
基本语法
jq 的基本命令格式如下：
jq [options] [file...]
常用选项参数
| 选项 | 说明 |
|---|---|
| `-c` | 紧凑输出（不美化） |
| `-r` | 输出原始字符串（去除 JSON 引号） |
| `-s` | 将整个输入流读取到数组中 |
| `-M` | 禁用颜色输出 |
| `--arg` | 定义变量 |
| `--slurp` | 将多个 JSON 对象读入数组 |
常用操作示例
1. 基本 JSON 解析
假设我们有一个名为 data.json 的文件，内容如下：
实例
{
"name": "John Doe",
"age": 30,
"isActive": true,
"address": {
"street": "123 Main St",
"city": "New York"
},
"hobbies": ["reading", "hiking", "coding"]
}
获取所有内容（美化输出）：
jq '.' data.json
获取特定字段：
实例
jq '.name' data.json
# 输出："John Doe"
获取嵌套字段：
实例
jq '.address.city' data.json
# 输出："New York"
2. 数组操作
获取数组元素：
实例
jq '.hobbies[0]' data.json
# 输出："reading"
jq '.hobbies[1:3]' data.json
# 输出：["hiking", "coding"]
数组长度：
实例
jq '.hobbies | length' data.json
# 输出：3
3. 条件过滤
筛选满足条件的元素：
实例
# 假设有 users.json 包含用户数组
jq '.[] | select(.age > 25)' users.json
4. 数据转换
创建新对象：
实例
jq '{fullName: .name, city: .address.city}' data.json
# 输出：{"fullName": "John Doe", "city": "New York"}
数学运算：
实例
jq '.age * 2' data.json
# 输出：60
5. 处理多个文件
jq -s '.[0] + .[1]' file1.json file2.json
高级用法
1. 使用变量
jq --arg new_city "Boston" '.address.city = $new_city' data.json
2. 处理 API 响应
curl -s https://api.example.com/users | jq '.[] | {name: .name, email: .email}'3. 复杂数据转换
实例
# 将对象数组转换为 CSV 格式
jq -r '["Name", "Age"], (.[] | [.name, .age]) | @csv' users.json
4. 错误处理
实例
# 使用 try-catch 处理可能不存在的字段
jq 'try .unknown_field catch "default value"' data.json
实际应用场景
1. 日志分析
实例
# 分析 JSON 格式的日志文件
cat app.log | jq 'select(.level == "error") | {time: .timestamp, message: .msg}'
2. 配置处理
实例
# 修改配置文件中的某个值
jq '.config.timeout = 30' config.json > temp.json && mv temp.json config.json
3. 数据统计
实例
# 计算用户平均年龄
jq '[.[].age] | add / length' users.json
常见问题解答
1. 如何处理大型 JSON 文件？
对于非常大的 JSON 文件，可以使用流式处理：
jq -n 'inputs | select(.value > 100)' hugefile.json
2. 如何保留 JSON 中的特殊字符？
使用 -r 选项时，特殊字符会被转义。如果需要原样输出，可以：
jq -j '.' file.json
3. 如何合并多个 JSON 文件？
jq -s 'add' file1.json file2.json
总结
jq 是处理 JSON 数据的强大工具，通过本文的学习，你应该已经掌握了：
- jq 的基本安装和使用方法
- 常见的数据查询和过滤操作
- 高级数据转换和处理技巧
- 实际应用场景中的使用方法
要进一步提升 jq 技能，可以：
- 练习处理各种复杂的 JSON 数据结构
- 尝试将 jq 集成到你的 shell 脚本中
- 查阅 jq 官方手册了解更多高级特性
记住，熟练掌握 jq 可以显著提高你在命令行中处理 JSON 数据的效率！
