複数の条件で Pandas データフレームまたはシリーズを効率的にフィルタリングする

Pandas には、reindex()、apply()、map() など、データをフィルタリングするためのメソッドが多数用意されています。 。ただし、複数のフィルタを適用する場合、効率が問題になります。

フィルタリングを最適化するには、ブール型インデックスの利用を検討してください。 Pandas と Numpy は両方とも、不必要なコピーを作成せずに基になるデータ配列を直接操作するブール型インデックス付けをサポートしています。

ブール型インデックス付けの例は次のとおりです:

df.loc[df['col1'] >= 1, 'col1']

この式は、列 'col1' の値が 1 以上である行のみを含む Pandas シリーズを返します。

To複数のフィルターを適用するには、論理演算子「&」(AND) および「|」を使用します。 （または）。例:

df[(df['col1'] >= 1) & (df['col1'] <=1 )]

この式は、列 'col1' の値が 1 から 1 までの範囲にある行のみを含む DataFrame を返します。

Forヘルパー関数の場合は、DataFrame を受け取り、Boolean Series を返す関数を定義することを検討してください。これにより、論理演算子を使用して複数のフィルターを組み合わせることができます。

def b(x, col, op, n):
    return op(x[col],n)

def f(x, *b):
    return x[(np.logical_and(*b))]

Pandas 0.13 では、複雑なフィルター条件を表現するより効率的な方法を提供する query() メソッドが導入されました。有効な列識別子を想定して、次のコードは複数の条件に基づいて DataFrame df をフィルターします:

df.query('col1 <= 1 & 1 <= col1')

要約すると、ブール インデックスは、不要なコピーを作成せずに複数のフィルターを Pandas DataFrame または Series に適用する効率的な方法を提供します。論理演算子とヘルパー関数を使用して、複数のフィルターを組み合わせて機能を拡張します。