使用 Datetime 索引在函数中正确切片 Pandas DataFrame

心靈之曲

发布时间：2025-10-24 15:47:00

711人浏览过

来源于php中文网

原创

使用 datetime 索引在函数中正确切片 pandas dataframe

本文介绍了在函数中使用 Datetime 索引对 Pandas DataFrame 进行切片的正确方法，避免 `mypy` 报错。主要讨论了使用 `.loc` 进行切片以及利用 `filters` 参数优化 Parquet 文件读取效率，特别是针对具有 Datetime 索引的 DataFrame。通过示例代码，展示了如何安全有效地根据日期范围加载和过滤数据，提升代码的健壮性和性能。

在使用 Pandas 处理时间序列数据时，经常需要在函数中根据日期范围对 DataFrame 进行切片。直接使用切片操作符 [] 可能会导致 mypy 报错，并且在处理 Optional 类型的日期参数时不够优雅。本文将介绍两种更安全、更高效的方法来实现这个目标：使用 .loc 进行切片和使用 filters 参数优化 Parquet 文件读取。

使用 .loc 进行切片

.loc 是 Pandas 提供的基于标签的索引方法，它能够安全地处理 Datetime 索引的切片操作，并且能够正确处理 Optional 类型的日期参数。

以下是一个示例：

Pixso AI

Pixso AI是一款智能生成设计稿工具，通过AI一键实现文本输入到设计稿生成。

下载

import pandas as pd
from typing import Optional

def load_something_between_two_days(
    some_path: str,
    start: Optional[str] = None,
    end: Optional[str] = None,
):
    df = pd.read_parquet(some_path).loc[start:end]

    return df

在这个例子中，.loc[start:end] 会根据 start 和 end 的值对 DataFrame 进行切片。如果 start 或 end 为 None，则 .loc 会自动处理，不会引发错误。

注意事项：

确保 DataFrame 的索引是 DatetimeIndex 类型。
start 和 end 参数的类型应该与索引的类型一致，通常是字符串类型，Pandas 会自动将其转换为 Datetime 类型。

使用 filters 参数优化 Parquet 文件读取

如果 DataFrame 存储在 Parquet 文件中，可以使用 pd.read_parquet 函数的 filters 参数来优化读取效率。filters 参数允许在读取文件时直接过滤数据，避免加载整个文件再进行切片。

以下是一个示例：

import pandas as pd
from typing import Optional

def load_something_between_two_days(
    some_path: str,
    start: Optional[str] = None,
    end: Optional[str] = None,
):
    filters = []

    if start is not None:
        filters.append(("index", ">=", pd.Timestamp(start)))

    if end is not None:
        filters.append(("index", "<=", pd.Timestamp(end)))

    df = pd.read_parquet(some_path, filters=filters or None)

    return df

在这个例子中，我们首先创建一个空的 filters 列表。然后，根据 start 和 end 的值，向 filters 列表中添加过滤条件。每个过滤条件是一个元组，包含三个元素：索引名称、比较运算符和比较值。

最后，将 filters 传递给 pd.read_parquet 函数。如果 filters 列表为空，则传递 None，表示不进行过滤。

注意事项：