多条件高效过滤Pandas DataFrame或Series

Pandas提供了多种过滤数据的方法，包括reindex()、apply()和map() 。然而，当应用多个过滤器时，效率就成为一个问题。

为了优化过滤，请考虑使用布尔索引。 Pandas 和 Numpy 都支持布尔索引，它直接对底层数据数组进行操作，而不创建不必要的副本。

下面是布尔索引的示例：

df.loc[df['col1'] >= 1, 'col1']

此表达式返回仅包含“col1”列中的值大于或等于 1 的行的 Pandas Series。

To应用多个过滤器，使用逻辑运算符“&”（AND）和“|” （或者）。例如：

df[(df['col1'] >= 1) & (df['col1'] <=1 )]

此表达式返回一个 DataFrame，仅包含列 'col1' 中的值在 1 和 1 之间（含 1 和 1）的行。

For辅助函数，考虑定义采用 DataFrame 并返回布尔系列的函数，允许您使用逻辑运算符组合多个过滤器。

def b(x, col, op, n):
    return op(x[col],n)

def f(x, *b):
    return x[(np.logical_and(*b))]

Pandas 0.13 引入了 query() 方法，它提供了一种更有效的方式来表达复杂的过滤条件。假设列标识符有效，以下代码根据多个条件过滤 DataFrame df：

df.query('col1 <= 1 & 1 <= col1')

总之，布尔索引提供了一种将多个过滤器应用于 Pandas DataFrame 或 Series 的有效方法，而无需创建不必要的副本。使用逻辑运算符和辅助函数组合多个过滤器以实现扩展功能。