Découpage Numpy efficace pour un recadrage aléatoire d'images

Pour un recadrage efficace de patchs aléatoires 16x16 à partir d'un tableau Numpy 4D représentant plusieurs images couleur (où le la première dimension est le nombre d'images, et les deuxième et troisième sont de largeur et de hauteur égales), une approche basée sur les étapes peut être utilisé.

Utilisant np.lib.stride_tricks.as_strided ou view_as_windows de scikit-image

Ces méthodes créent des fenêtres coulissantes sous forme de vues dans le tableau d'entrée, réduisant ainsi la surcharge de mémoire. view_as_windows de Scikit-image simplifie la configuration en spécifiant la forme de la fenêtre sous la forme d'un tuple dont les éléments correspondent aux dimensions du tableau d'entrée. Les axes de glissement se voient attribuer des longueurs de fenêtre et les autres axes sont définis sur 1.

Exemple de code

# Import scikit-image for view_as_windows
from skimage.util.shape import view_as_windows

# Get sliding windows
w = view_as_windows(X, (1,16,16,1))[...,0,:,:,0]

# Generate random per-image offsets
x = np.random.randint(0,12,X.shape[0])
y = np.random.randint(0,12,X.shape[0])

# Index and extract specific windows
out = w[np.arange(X.shape[0]),x,y]

# Reformat if necessary
out = out.transpose(0,2,3,1)

Ce code génère quatre paires aléatoires (x_offset, y_offset) et extrait 4 correctifs aléatoires 16x16 dans les paramètres donnés, avec une surcharge de mémoire minimale.