Pandas df.query() 方法简介
Pandas DataFrame.query() 方法提供了一种使用字符串表达式筛选DataFrame的强大且可读性高的方式。它允许用户以类似于SQL WHERE子句的语法来表达复杂的过滤条件，而无需编写冗长的布尔索引代码。这对于需要根据多个列的条件进行筛选的场景尤其方便。
例如，从一个包含船舶信息的DataFrame中筛选出当前活跃的舰船，其条件可能包括：
- BF (Battle Force) 列为 'X'。
- Commissioned (服役日期) 不为空 (NaT) 且早于或等于当前日期。
- Decommissioned (退役日期) 晚于或等于当前日期，或者为空 (NaT)。
以下代码展示了如何成功使用query()方法和预定义的now变量进行此类筛选：
import datetime as dt
import pandas as pd
# 模拟数据加载
# 假设df已经从"Ships.xlsx"加载，并且'Commissioned'和'Decommissioned'列已正确转换为datetime类型
data = {
'BF': ['X', 'X', 'X', 'X', 'X'],
'Ship': ['Able', 'Abraham Lincoln', 'Acadia', 'Ajax', 'Alabama'],
'Type': ['Destroyer', 'Cruiser', 'Frigate', 'Cruiser', 'Battleship'],
'Commissioned': [pd.Timestamp('1992-07-22'), pd.Timestamp('1989-11-11'), pd.Timestamp('1981-06-06'), pd.Timestamp('1943-09-30'), pd.Timestamp('1985-05-25')],
'Decommissioned': [pd.Timestamp('2030-09-30'), pd.NaT, pd.Timestamp('1994-12-16'), pd.Timestamp('1986-12-31'), pd.Timestamp('2028-09-30')]
}
df = pd.DataFrame(data)
now = dt.date.today() # 获取当前日期
print(f"当前日期: {now}, 类型: {type(now)}")
print("\nDataFrame数据类型:\n", df.dtypes)
# 筛选当前活跃的战列舰
qrystr_bf = "BF == 'X' " \
"and (Commissioned != 'NaT' and Commissioned <= @now)" \
"and (Decommissioned >= @now or Decommissioned == 'NaT')"
df_battle_force = df.query(qrystr_bf)
print(f"\n当前战列舰数量: {len(df_battle_force)}")
# 筛选当前活跃的巡洋舰
qrystr_cruiser = "Type == 'Cruiser' " \
"and (Commissioned != 'NaT' and Commissioned <= @now)" \
"and (Decommissioned >= @now or Decommissioned == 'NaT')"
df_active_cruisers = df.query(qrystr_cruiser)
print("\n当前活跃的巡洋舰:\n", df_active_cruisers)注意： 在上述示例中，为了演示目的，@now已被提前使用。在原始问题描述中，now在第一个查询中被直接作为字符串 'now' 使用，但实际上Pandas query方法通常需要通过@来明确引用外部变量。如果now变量在全局作用域中，Pandas有时可能能够隐式识别，但在循环等场景下，显式使用@是更健壮的做法。
日期时间变量引用失败的根源
当尝试在循环中动态生成日期时间条件并将其嵌入到query()字符串中时，如果不正确地引用外部Python变量，就会出现问题。考虑以下场景：我们需要统计从1980年到1985年每年活跃的巡洋舰数量。我们可能会尝试构建一个包含循环变量stopDate的查询字符串：
# ... (接上面的代码)
lst_cruisers_by_year = []
year_start = 1980
year_stop = 1985
for yr in range(year_start, year_stop + 1):
stopDate = pd.Timestamp(yr, 12, 31).date()
print(f"\n当前年份截止日期: {stopDate}, 类型: {type(stopDate)}")
# 错误的查询字符串构造方式
# qrystr_fail = "Type == 'Cruiser' " \
# " and (Commissioned != 'NaT' and Commissioned <= 'stopDate')" \
# " and (Decommissioned >= 'stopDate' or Decommissioned == 'NaT') "
# df_cruisers_fail = df.query(qrystr_fail) # 这里会引发错误
# ... (省略错误处理后的代码)当执行包含 'stopDate' 字符串的query()时，Pandas会尝试将 'stopDate' 作为一个日期时间字符串进行解析。由于 'stopDate' 并非有效的日期时间格式，这将导致 dateutil.parser._parser.ParserError: Unknown string format: stopDate 错误，最终引发 ValueError: could not convert string to Timestamp。这是因为query()方法默认将引号内的内容视为字面量字符串，而不是Python变量。
解决方案：使用 @ 符号引用外部变量
为了在query()字符串中正确地引用外部Python变量（包括日期时间对象），我们需要在变量名前加上 @ 符号。这个符号告诉Pandas的查询引擎，@后面的名称是一个Python变量，应该从当前执行环境（局部或全局作用域）中获取其值，并将其注入到查询表达式中。
以下是修正后的代码示例，它将成功执行每年巡洋舰数量的统计：
# ... (接上面的代码)
lst_cruisers_by_year = []
year_start = 1980
year_stop = 1985
for yr in range(year_start, year_stop + 1):
stopDate = pd.Timestamp(yr, 12, 31).date() # 确保stopDate是datetime.date对象
print(f"\n当前年份截止日期: {stopDate}, 类型: {type(stopDate)}")
# 正确的查询字符串构造方式：使用 @ 引用 stopDate 变量
qrystr_corrected = "Type == 'Cruiser' " \
" and (Commissioned != 'NaT' and Commissioned <= @stopDate)" \
" and (Decommissioned >= @stopDate or Decommissioned == 'NaT') "
df_cruisers_year = df.query(qrystr_corrected)
nr_ships = len(df_cruisers_year)
lst_cruisers_by_year.append([yr, nr_ships])
print(f"年份 {yr} 活跃巡洋舰数量: {nr_ships}")
print("\n每年活跃巡洋舰统计结果:\n", lst_cruisers_by_year)通过在stopDate变量前添加@，Pandas的查询引擎会在执行查询前，将@stopDate替换为stopDate变量的实际值（一个datetime.date对象）。这样，查询字符串就能够正确地与DataFrame中的日期时间列进行比较。
注意事项与最佳实践
- 数据类型一致性： 确保DataFrame中用于比较的日期时间列（如Commissioned和Decommissioned）确实是Pandas的datetime64[ns]类型。如果不是，pd.read_excel()或pd.read_csv()时可能需要使用parse_dates参数，或者在加载后手动进行类型转换，例如df['ColumnName'] = pd.to_datetime(df['ColumnName'])。
- 变量作用域： query()方法通过@符号引用的变量可以是局部变量或全局变量。Pandas会首先查找局部作用域，然后是全局作用域。
- 字符串格式化与query()： 尽管可以使用f-string或.format()来构建查询字符串，将日期时间对象直接格式化为字符串，但这样做可能导致性能下降或需要处理复杂的日期时间格式匹配问题。使用@符号是更推荐和更健壮的方式，因为它允许Pandas内部处理日期时间对象的比较，避免了不必要的字符串转换。
- 性能考虑： 对于非常大的DataFrame和复杂的查询，query()方法通常比纯Python循环和布尔索引更快，因为它在C层级进行优化。然而，对于极度复杂的逻辑，有时直接使用布尔索引可能会更灵活或更易于调试。
- NaT处理： NaT (Not a Time) 是Pandas中表示缺失日期时间值的特殊类型。在查询中，通常需要明确处理NaT值，例如 Column != 'NaT' 或 Column.isnull()。
总结
Pandas的df.query()方法是一个强大的工具，用于高效且可读地筛选DataFrame。当需要在查询字符串中动态引入Python变量，特别是日期时间对象时，务必使用@符号前缀来正确地指示Pandas进行变量插值。掌握这一技巧可以有效避免常见的ValueError和ParserError，确保你的数据分析流程顺畅高效。
