使用 Go 处理包含非 JSON 内容的 JSON 流

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "os"
)

// MyStruct 定义了要反序列化的 JSON 结构
type MyStruct struct {
    Command string `json:"command"`
    ID      string `json:"id"`
    Msg     string `json:"msg,omitempty"` //omitempty 表示如果 Msg 字段为空，则在 JSON 中省略
}

func main() {
    // 创建一个缓冲区来保存流数据
    data := make([]byte, 5000)

    // 从 stdin 循环读取数据
    for {
        n, err := os.Stdin.Read(data)
        if err != nil {
            fmt.Println("Error reading from stdin:", err)
            return // 或者根据需要进行错误处理
        }

        // 查找换行符的索引，用于分隔 JSON 结构
        index := bytes.Index(data[:n], []byte("\n"))

        // 如果没有找到换行符，则继续读取更多数据
        if index == -1 {
            fmt.Println("No newline found, reading more data")
            continue
        }

        // 提取 JSON 数据部分
        jsonData := data[:index]

        // 创建 MyStruct 实例
        var myStruct MyStruct

        // 将 JSON 数据反序列化到 MyStruct
        err = json.Unmarshal(jsonData, &myStruct)
        if err != nil {
            fmt.Println("Error unmarshalling JSON:", err)
            continue // 或者根据需要进行错误处理
        }

        // 对 myStruct 进行操作
        fmt.Printf("Received: %+v\n", myStruct)

        // 移除已处理的数据和 "end\n" 字符串
        remainingData := data[index+len("\nend\n"):]
        copy(data, remainingData)

        // 重置 buffer 的剩余部分
        for i := len(remainingData); i < len(data); i++ {
            data[i] = 0
        }
    }
}

go run main.go

echo '{"command": "ack", "id": "1231231"}' | cat - && echo 'end' | cat - && echo '{"command": "fail", "id": "1231231"}' | cat - && echo 'end' | cat -

cat input.txt | go run main.go

{"command": "ack", "id": "1231231"}
end
{"command": "fail", "id": "1231231"}
end
{
    "command": "log",
    "msg": "hello world!"
}
end