메모리에 로드하지 않고 JSON에서 대규모 데이터 스트림 마샬링

대규모 데이터 스트림을 JSON으로 인코딩해야 할 필요성이 자주 발생하지만 전체 한 번에 메모리로 스트리밍하는 것은 비현실적일 수 있습니다. 이 문서에서는 내장된 json.Marshaler 인터페이스 없이 이 문제를 극복하는 방법을 살펴봅니다.

json.Encoder를 사용한 인코딩: 제한 사항

대규모 스트림을 인코딩하려고 시도합니다. json.Encoder를 사용한 데이터는 메모리의 채널(chan 문자열)을 처리할 수 없기 때문에 실패합니다.

사용자 정의 JSON 인코딩

적절한 빌드가 없는 경우 - 솔루션에서는 사용자 정의 JSON 인코딩이 필요합니다. 여기에는 아래 스니펫에 설명된 대로 JSON 문자열을 수동으로 작성하는 작업이 포함됩니다.

w := os.Stdout
w.WriteString(`{ "Foo": "`   t.Foo   `", "Bar": [`)

for x := range t.Bar {
    _ = json.NewEncoder(w).Encode(x)
    w.WriteString(`,`)
}

w.WriteString(`]}`)

채널 지원을 위한 인코딩/json 확장

채널 지원으로 인코딩/json 패키지를 향상하려면 ReflectValueQuoted를 수정할 수 있습니다. 인코딩/json/encode.go에 함수가 있습니다. 특히 다음과 유사한 채널에 대한 사례를 추가합니다.

case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i  
    }
    e.WriteByte(']')

결론

encoding/json 패키지는 현재 채널 인코딩을 지원하지 않지만 이 문서에서는 대규모 데이터 스트림을 마샬링하기 위한 대체 접근 방식을 제공합니다. JSON에서 효율적으로. 사용자 정의 인코딩을 사용하면 데이터를 JSON 출력으로 직접 스트리밍할 수 있으며, 인코딩/json을 확장하면 더욱 강력한 솔루션이 제공됩니다.