Linux jq 命令

Linux 命令大全 Linux 命令大全

jq 是一个轻量级且功能强大的命令行 JSON 处理器。它允许你以高效的方式解析、过滤、转换和格式化 JSON 数据，特别适合在 shell 脚本中处理 JSON 数据。

jq 的主要特点

  • 流式处理：可以处理任意大小的 JSON 数据
  • 丰富的操作符：提供多种操作符来处理 JSON 数据结构
  • 格式化输出：可以美化 JSON 输出，提高可读性
  • 跨平台：可在 Linux、macOS 和 Windows（通过 WSL）上运行

安装 jq

在大多数 Linux 发行版中，可以通过包管理器轻松安装 jq：

实例

# Ubuntu/Debian
sudo apt-get install jq

# CentOS/RHEL
sudo yum install jq

# Fedora
sudo dnf install jq

# macOS (使用 Homebrew)
brew install jq

安装完成后，可以通过以下命令验证安装是否成功：

jq --version

基本语法

jq 的基本命令格式如下：

jq [options]  [file...]

常用选项参数

选项 说明
-c 紧凑输出（不美化）
-r 输出原始字符串（去除 JSON 引号）
-s 将整个输入流读取到数组中
-M 禁用颜色输出
--arg 定义变量
--slurp 将多个 JSON 对象读入数组

常用操作示例

1. 基本 JSON 解析

假设我们有一个名为 data.json 的文件，内容如下：

实例

{
  "name": "John Doe",
  "age": 30,
  "isActive": true,
  "address": {
    "street": "123 Main St",
    "city": "New York"
  },
  "hobbies": ["reading", "hiking", "coding"]
}

获取所有内容（美化输出）：

jq '.' data.json

获取特定字段：

实例

jq '.name' data.json
# 输出："John Doe"

获取嵌套字段：

实例

jq '.address.city' data.json
# 输出："New York"

2. 数组操作

获取数组元素：

实例

jq '.hobbies[0]' data.json
# 输出："reading"

jq '.hobbies[1:3]' data.json
# 输出：["hiking", "coding"]

数组长度：

实例

jq '.hobbies | length' data.json
# 输出：3

3. 条件过滤

筛选满足条件的元素：

实例

# 假设有 users.json 包含用户数组
jq '.[] | select(.age > 25)' users.json

4. 数据转换

创建新对象：

实例

jq '{fullName: .name, city: .address.city}' data.json
# 输出：{"fullName": "John Doe", "city": "New York"}

数学运算：

实例

jq '.age * 2' data.json
# 输出：60

5. 处理多个文件

jq -s '.[0] + .[1]' file1.json file2.json

高级用法

1. 使用变量

jq --arg new_city "Boston" '.address.city = $new_city' data.json

2. 处理 API 响应

curl -s https://api.example.com/users | jq '.[] | {name: .name, email: .email}'

3. 复杂数据转换

实例

# 将对象数组转换为 CSV 格式
jq -r '["Name", "Age"], (.[] | [.name, .age]) | @csv' users.json

4. 错误处理

实例

# 使用 try-catch 处理可能不存在的字段
jq 'try .unknown_field catch "default value"' data.json

实际应用场景

1. 日志分析

实例

# 分析 JSON 格式的日志文件
cat app.log | jq 'select(.level == "error") | {time: .timestamp, message: .msg}'

2. 配置处理

实例

# 修改配置文件中的某个值
jq '.config.timeout = 30' config.json > temp.json && mv temp.json config.json

3. 数据统计

实例

# 计算用户平均年龄
jq '[.[].age] | add / length' users.json

常见问题解答

1. 如何处理大型 JSON 文件？

对于非常大的 JSON 文件，可以使用流式处理：

jq -n 'inputs | select(.value > 100)' hugefile.json

2. 如何保留 JSON 中的特殊字符？

使用 -r 选项时，特殊字符会被转义。如果需要原样输出，可以：

jq -j '.' file.json

3. 如何合并多个 JSON 文件？

jq -s 'add' file1.json file2.json

总结

jq 是处理 JSON 数据的强大工具，通过本文的学习，你应该已经掌握了：

  1. jq 的基本安装和使用方法
  2. 常见的数据查询和过滤操作
  3. 高级数据转换和处理技巧
  4. 实际应用场景中的使用方法

要进一步提升 jq 技能，可以：

  • 练习处理各种复杂的 JSON 数据结构
  • 尝试将 jq 集成到你的 shell 脚本中
  • 查阅 jq 官方手册了解更多高级特性

记住，熟练掌握 jq 可以显著提高你在命令行中处理 JSON 数据的效率！

Linux 命令大全 Linux 命令大全