Pandas - Dividindo grandes dataframes em pedaços

Ao tentar processar dataframes superdimensionados, um obstáculo comum é o temido erro de memória. Uma solução eficaz é dividir o dataframe em pedaços menores e gerenciáveis. Essa estratégia não apenas reduz o consumo de memória, mas também facilita o processamento eficiente.

Para conseguir isso, podemos aproveitar a compreensão de lista ou a função array_split NumPy.

Compreensão de lista

n = 200000  # Chunk row size
list_df = [df[i:i n] for i in range(0, df.shape[0], n)]

NumPy array_split

list_df = np.array_split(df, math.ceil(len(df) / n))

Pedaços individuais podem então ser recuperados usando:

list_df[0]
list_df[1]
...

Para remontar os pedaços em um único dataframe, empregue pd.concat:

# Example: Concatenating by chunks
rejoined_df = pd.concat(list_df)

Slicing by AcctName

Para dividir o dataframe por valores AcctName, utilize o método groupby:

list_df = []

for n, g in df.groupby('AcctName'):
    list_df.append(g)