ランダム画像クロッピングのための効率的な Numpy スライス

複数のカラー画像を表す 4D Numpy 配列からのランダムな 16x16 パッチの効率的なクロップ用 (ここで、最初の次元は画像の数であり、2 番目と 3 番目の次元は同じ幅と高さです)、ストライドベースのアプローチを利用できます。

np.lib.stride_tricks.as_strided または scikit- を使用します。画像の view_as_windows

これらのメソッドは、入力配列へのビューとしてスライディング ウィンドウを作成し、メモリのオーバーヘッドを削減します。 Scikit-image の view_as_windows は、要素が入力配列の次元に対応するタプルとしてウィンドウの形状を指定することにより、セットアップを簡素化します。スライドの軸にはウィンドウの長さが割り当てられ、他の軸は 1 に設定されます。

コード例

# Import scikit-image for view_as_windows
from skimage.util.shape import view_as_windows

# Get sliding windows
w = view_as_windows(X, (1,16,16,1))[...,0,:,:,0]

# Generate random per-image offsets
x = np.random.randint(0,12,X.shape[0])
y = np.random.randint(0,12,X.shape[0])

# Index and extract specific windows
out = w[np.arange(X.shape[0]),x,y]

# Reformat if necessary
out = out.transpose(0,2,3,1)

このコードは、メモリ オーバーヘッドを最小限に抑えながら、4 つのランダムな (x_offset, y_offset) ペアを生成し、指定されたパラメーター内で 4 つのランダムな 16x16 パッチを抽出します。