Понимание разницы в выходных данных Golang и Python Zlib

При сжатии строки с использованием сжатия Zlib библиотека Python zlib выдает другой результат по сравнению с Реализация zlib в Golang. В частности, отличается пятый байт: Python имеет значение 0, а Golang имеет значение 4.

Причина разницы

Несоответствие в выходных данных связано с из различных механизмов очистки, используемых библиотеками Python и Go. В Python zlib по умолчанию используется Z_FLUSH, который очищает буфер после сжатия каждого блока данных. Напротив, библиотека Flate Golang, реализующая Zlib, по умолчанию использует Z_SYNC_FLUSH. Такое поведение сбрасывает данные после обработки всего входного потока.

Как получить тот же результат в Golang

Чтобы получить тот же результат, что и в Python zlib, замените Close() с Flush() в коде Go:

func compress(source string) []byte {
    buf := new(bytes.Buffer)
    w, _ := flate.NewWriter(buf, 7)
    w.Write([]byte(source))
    w.Flush()

    return buf.Bytes()
}

Байты и полный поток

Важно отметить, что выходные данные примера Python не являются полным потоком. Он очищает буфер только после сжатия первой строки.

Ограничения побайтового сопоставления

Сравнение побайтового вывода различных библиотек сжатия с сопоставление сжатых данных обычно невозможно или практически невозможно. Вывод, создаваемый библиотеками сжатия, гарантированно совместим, а не идентичен.