本文介绍了如何使用 Polars 库将包含逗号分隔整数的字符串列转换为整数列。我们将探讨多种方法，包括使用 str.strip_chars()、cast() 和 list.to_struct() 函数，以及使用 unpivot() 和 pivot() 函数进行转换。通过这些方法，可以高效地处理和转换 TSV 文件中 BED12 格式的数据。
在数据处理中，经常会遇到需要将包含特定格式的字符串列转换为其他数据类型的情况。例如，在处理 TSV 文件时，某些列可能包含逗号分隔的整数，这些整数最初以字符串形式存储。为了进行数值分析或进一步处理，我们需要将这些字符串转换为整数列。Polars 是一个高性能的 DataFrame 库，提供了多种灵活的方法来执行这种转换。
使用 str.strip_chars()、cast() 和 list.to_struct()
这种方法的核心思路是首先去除字符串末尾的逗号，然后将字符串分割成列表，再将列表转换为结构体，最后将结构体展开为单独的列。
以下是具体步骤和代码示例：
- 去除末尾逗号: 使用 str.strip_chars(",") 函数去除字符串末尾的逗号。
- 分割字符串: 使用 str.split(",") 函数将字符串分割成字符串列表。
- 类型转换: 使用 cast(pl.List(pl.Int32)) 将字符串列表转换为整数列表。
- 转换为结构体: 使用 list.to_struct() 函数将列表转换为结构体。可以使用 fields 参数动态地命名结构体字段。
- 展开结构体: 使用 unnest() 函数将结构体展开为单独的列。
import polars as pl
df = pl.DataFrame(
{
"chrom": ["1", "1", "2", "X"],
"blockSizes": ["10,29,", "20,22,", "30,25,", "40,23,"],
"blockStarts": ["0,50,", "0,45,", "0,60,", "0,70,"]
})
cols = "blockSizes", "blockStarts"
df = (df.with_columns(
pl.col(col)
.str.strip_chars(",")
.str.split(",")
.cast(pl.List(pl.Int32))
.list.to_struct(
n_field_strategy = "max_width",
fields = lambda idx, col=col: f"{col}_{idx}"
)
for col in cols
)
.unnest(cols)
)
print(df)这段代码首先定义了一个 DataFrame df，其中包含字符串列 "blockSizes" 和 "blockStarts"。然后，它使用一个循环来处理这两个列。对于每一列，代码首先去除末尾的逗号，然后将字符串分割成字符串列表，再将字符串列表转换为整数列表，最后将列表转换为结构体并展开。
为了使代码更简洁，可以定义一个函数来执行这些操作：
本文档主要讲述的是JSON.NET 简单的使用；JSON.NET使用来将.NET中的对象转换为JSON字符串（序列化），或者将JSON字符串转换为.NET中已有类型的对象（反序列化？）。希望本文档会给有需要的朋友带来帮助；感兴趣的朋友可以过来看看
def csv_to_struct(col):
expr = pl.col(col).str.strip_chars(",").str.split(",")
expr = expr.cast(pl.List(pl.Int32))
return expr.list.to_struct(
n_field_strategy = "max_width",
fields = lambda idx: f"{col}_{idx}"
)
cols = "blockSizes", "blockStarts"
df = df.with_columns(map(csv_to_struct, cols)).unnest(cols)
print(df)使用 unpivot() 和 pivot()
另一种方法是使用 unpivot() 和 pivot() 函数。这种方法的核心思路是首先将 DataFrame 转换为长格式，然后将列表展开，再将 DataFrame 转换为宽格式。
以下是具体步骤和代码示例：
- 添加行索引: 使用 with_row_index() 函数添加行索引。
- 分割字符串: 使用 str.strip_chars(",") 和 str.split(",") 函数将字符串分割成字符串列表，并使用 cast(pl.List(int)) 转换为整数列表。
- 展开列表: 使用 explode() 函数展开列表。
- 转换为长格式: 使用 unpivot() 函数将 DataFrame 转换为长格式。
- 生成列名: 使用 pl.format() 函数生成新的列名。
- 转换为宽格式: 使用 pivot() 函数将 DataFrame 转换为宽格式。
cols = "blockSizes", "blockStarts"
df = (df.with_row_index()
.with_columns(
pl.col(cols).str.strip_chars(",").str.split(",").cast(pl.List(int))
)
.explode(cols)
.unpivot(index=["index", "chrom"], variable_name="name")
.with_columns(
pl.format("{}_{}",
"name",
pl.col("index").cum_count().over("index", "name") - 1
)
)
.pivot(on="name", index=["index", "chrom"])
)
print(df)这段代码首先添加了行索引，然后将字符串列分割成整数列表，并展开这些列表。接着，它使用 unpivot() 函数将 DataFrame 转换为长格式，并生成新的列名。最后，它使用 pivot() 函数将 DataFrame 转换为宽格式。
总结
本文介绍了两种使用 Polars 将包含逗号分隔整数的字符串列转换为整数列的方法。第一种方法使用 str.strip_chars()、cast() 和 list.to_struct() 函数，这种方法比较直观，易于理解。第二种方法使用 unpivot() 和 pivot() 函数，这种方法更加灵活，可以处理更复杂的情况。选择哪种方法取决于具体的需求和数据格式。在实际应用中，可以根据数据的特点选择最合适的方法。
