메모리의 모든 개체를 로드하지 않고 MarshalJSON을 사용하여 대규모 데이터 스트림 인코딩

로드하지 않고 json.Encoder를 사용하여 대규모 데이터 스트림을 인코딩하려고 함 모든 것을 한 번에 메모리에 저장하는 것은 일반적인 문제입니다. 불행하게도 인코딩/json 패키지는 이에 대한 직접적인 지원을 제공하지 않습니다.

현재 해결 방법

언급하신 대로 현재 솔루션은 JSON 문자열을 수동으로 작성하는 것입니다. 당신 자신. 여기에는 스트림에서 데이터를 사용할 수 있게 되면서 JSON 구조를 하나씩 작성하는 작업이 포함됩니다. 이는 효율적인 접근 방식이지만 지루하고 오류가 발생하기 쉽습니다.

제안된 패치

이 프로세스를 개선하려면 인코딩/json 패키지를 수정할 수 있습니다. 특히, 인코딩/json/encode.go의 ReflectValueQuoted 함수를 수정하여 배열과 같은 채널을 처리할 수 있습니다. 이렇게 하면 채널에서 JSON 출력으로 데이터를 직접 스트리밍할 수 있습니다.

reflectValueQuoted의 Array 사례에 대해 제안된 변경 사항은 다음과 같습니다.

case reflect.Array:
    e.WriteByte('[')
    n := v.Len()
    for i := 0; i  0 {
            e.WriteByte(',')
        }
        e.reflectValue(v.Index(i))
    }
    e.WriteByte(']')

// Add the following case for channels:
case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i  
    }
    e.WriteByte(']')

패치의 이점

이 패치를 사용하면 모든 개체를 메모리에 로드하지 않고도 대규모 데이터 스트림을 훨씬 쉽게 인코딩할 수 있습니다. 또한 수동으로 문자열을 연결할 필요가 없어 오류 위험이 줄어들고 코드 가독성이 향상됩니다.

결론

제안된 패치는 현재 패치의 일부가 아니지만 인코딩/json 패키지는 JSON 데이터 스트리밍을 더욱 효율적이고 편리하게 만들 수 있는 잠재적인 개선점을 보여줍니다.