Несоответствие использования памяти между Go Tool Pprof и статистикой Docker

При использовании Go 1.11 вы можете столкнуться с несоответствием в использовании памяти, о котором сообщает Go инструмент pprof (runtime.MemStats.sys) и статистика докера. Статистика Docker использует cgroups для получения информации об использовании памяти, включая кэш страниц и размер резидентного набора (RES). С другой стороны, pprof отображает нечеткое значение использования памяти, что затрудняет прямое сравнение между ними.

Понимание использования памяти cgroups

cgroups предоставляют способ для ограничения и отслеживания использования ресурсов внутри контейнера. Метрика use_in_bytes в cgroups включает как память, используемую процессом, так и кэшированную память. Если контейнер читает файлы из хост-системы, память, кэшированная ядром, также будет учитываться в use_in_bytes.

Освобождение памяти в Docker

Если контейнер достигает своего предел памяти, Docker пытается освободить неиспользуемую память. Это не похоже на ошибку OOM, которая возникает, когда вся память использована.

Способы ограничения использования памяти

Чтобы контролировать использование памяти Docker-контейнером, вы можно указать ограничение памяти в команде запуска docker или в файле docker-compose.yml с помощью mem_limit параметр.

Вывод

Расхождение в отчетах об использовании памяти между pprof и статистикой docker возникает из-за разных способов измерения использования памяти. cgroups, используемый статистикой Docker, включает в свои расчеты память файлового кэша, а pprof представляет значение нечеткости без учета кеша. Управляя ограничениями памяти через контрольные группы, вы можете предотвратить неконтролируемый рост памяти в ваших контейнерах.