Kodieren großer Datenströme mit MarshalJSON, ohne alle Objekte im Speicher zu laden

Sie möchten einen großen Datenstrom mit json.Encoder ohne Laden kodieren Alles auf einmal in den Speicher zu speichern, ist ein häufiges Problem. Leider bietet das Paket „encoding/json“ dafür keine direkte Unterstützung.

Aktuelle Problemumgehung

Die aktuelle Lösung besteht, wie Sie erwähnt haben, darin, die JSON-Zeichenfolge manuell zu erstellen selbst. Dabei wird die JSON-Struktur Stück für Stück geschrieben, sobald Daten aus dem Stream verfügbar werden. Dies ist ein effizienter Ansatz, der jedoch mühsam und fehleranfällig sein kann.

Vorgeschlagener Patch

Um diesen Prozess zu verbessern, könnte man das Encoding/JSON-Paket ändern. Insbesondere könnte die Funktion „reflectValueQuoted“ in „encoding/json/encode.go“ geändert werden, um Kanäle wie Arrays zu verarbeiten. Dies würde das direkte Streaming von Daten von Kanälen in die JSON-Ausgabe ermöglichen.

Hier ist eine vorgeschlagene Änderung am Array-Fall in ReflectValueQuoted:

case reflect.Array:
    e.WriteByte('[')
    n := v.Len()
    for i := 0; i  0 {
            e.WriteByte(',')
        }
        e.reflectValue(v.Index(i))
    }
    e.WriteByte(']')

// Add the following case for channels:
case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i  
    }
    e.WriteByte(']')

Vorteile des Patches

Dieser Patch würde es viel einfacher machen, große Datenströme zu kodieren, ohne alle Objekte in den Speicher zu laden. Es würde auch die Notwendigkeit einer manuellen Zeichenfolgenverkettung überflüssig machen, das Fehlerrisiko verringern und die Lesbarkeit des Codes verbessern.

Schlussfolgerung

Obwohl der vorgeschlagene Patch nicht Teil des aktuellen ist Encoding/json-Paket zeigt eine potenzielle Verbesserung, die das Streaming von JSON-Daten effizienter und bequemer machen könnte.