Несоответствие обучающих данных Keras

Следуя официальному руководству TensorFlow по созданию нейронной сети с помощью Keras, вы заметили, что модель использует только часть доступного набора данных во время обучения, несмотря на 60 000 записей.

Понимание размера пакета

Число 1875, отображаемое во время подбора модели, не указывает на обучающие выборки, а скорее количество партий. Метод model.fit имеет необязательный аргумент пакетный_размер, который определяет количество точек данных, обрабатываемых одновременно во время обучения.

Если вы не укажете пакетный_размер, значение по умолчанию — 32. В этом случае при общем наборе данных в 60 000 изображений количество пакетов становится следующим:

60000 / 32 = 1875

Следовательно, хотя у вас есть 60 000 точек данных, модель фактически обучается на 1875 пакетах, каждый пакет содержащий 32 точки данных. Это обычная практика, позволяющая уменьшить объем памяти и повысить скорость обучения.

Регулировка размера пакета

Чтобы использовать весь набор данных во время обучения без пакетной обработки, вы можете указать Batch_size 60000 в методе model.fit. Однако это потенциально может замедлить обучение и потребовать больше памяти.

В качестве альтернативы вы можете настроить размер пакета, чтобы найти компромисс между эффективностью обучения и использованием памяти. Например, вы можете установить его на 1024 или 2048, что все равно значительно уменьшит количество пакетов без ущерба для производительности.