Pandas - 將大型資料幀切成塊

當嘗試處理超大資料幀時，常見的障礙是可怕的記憶體錯誤。一種有效的解決方案是將資料幀劃分為更小的、可管理的區塊。這種策略不僅減少了記憶體消耗，而且有利於高效處理。

要實現這一點，我們可以利用列表理解或 NumPy array_split 函數。

列表理解

n = 200000  # Chunk row size
list_df = [df[i:i n] for i in range(0, df.shape[0], n)]

NumPy array_split

list_df = np.array_split(df, math.ceil(len(df) / n))

list_df = np.array_split(df , math.ceil(len(df) / n))

list_df[0]
list_df[1]
...

list_df[0] 列表_df[1] ...

# Example: Concatenating by chunks
rejoined_df = pd.concat(list_df)

# 範例：按區塊連接 rejoined_df = pd.concat(list_df)

按 AcctName 切片

list_df = []

for n, g in df.groupby('AcctName'):
    list_df.append(g)

list_df = [] 對於 df.groupby('AcctName') 中的 n、g： list_df.append(g)