本文旨在解决在Snowflake中保存OneHotEncoder和OrdinalEncoder后，用于推理新数据时出现`ufunc 'isnan' not supported`错误的问题。文章将深入探讨问题原因，并提供一份详细的解决方案，包括正确的编码器调用方式、数据类型转换以及优化的UDF函数实现，确保模型在Snowflake环境中能够稳定可靠地进行预测。
在Snowflake中部署机器学习模型时，将预处理步骤（如One-Hot Encoding和Ordinal Encoding）集成到用户自定义函数（UDF）中是常见的做法。然而，在将训练好的编码器保存到Snowflake并尝试用于新数据推理时，可能会遇到各种问题，其中一个常见的问题是ufunc 'isnan' not supported错误。本文将详细介绍如何解决这个问题，并提供一个完整的示例，展示如何在Snowflake中正确地加载和使用编码器进行推理。
问题分析
ufunc 'isnan' not supported错误通常表明在尝试对包含非数值数据（例如字符串）的数据执行数值操作。这通常发生在以下情况下：
- 数据类型不匹配： 输入到编码器的数据类型与编码器训练时使用的数据类型不一致。
- 缺失值处理不当： 编码器在训练时没有正确处理缺失值，导致在推理时遇到未知的缺失值。
- 编码器调用错误： 在UDF中错误地使用了Snowpark API而不是scikit-learn API来转换数据。
解决方案
以下步骤将帮助您解决在Snowflake中保存的编码器无法用于推理新数据的问题：
1. 确保数据类型一致性
在训练和推理阶段，确保输入到编码器的数据类型一致。例如，如果训练数据中的某一列是字符串类型，那么在推理时，该列也必须是字符串类型。可以使用Snowflake的CAST函数或Snowpark的astype方法来转换数据类型。
2. 正确处理缺失值
在训练编码器时，使用handle_unknown和unknown_value参数来处理未知值和缺失值。例如，对于OneHotEncoder，可以将handle_unknown设置为'ignore'来忽略未知类别。对于OrdinalEncoder，可以使用unknown_value参数指定未知值的编码。
from snowflake.ml.modeling.preprocessing import OneHotEncoder,OrdinalEncoder
import numpy as np
# OneHotEncoder示例
ohe = OneHotEncoder(handle_unknown='ignore', input_cols='CATEGORY', output_cols='ROUTE_OHE')
ohe.fit(mock_df)
# OrdinalEncoder示例
categories = {
"AIRPORT": np.array(['A', 'B', 'C'])
}
oe = OrdinalEncoder(
handle_unknown='use_encoded_value', unknown_value=-1,
encoded_missing_value=-1, input_cols='AIRPORT',
output_cols='AIRPORT_ENCODE',
categories=categories
)
oe.fit(mock_ohe)3. 使用正确的编码器API
在UDF中，由于使用的是Pandas DataFrame，因此需要使用scikit-learn API来转换数据，而不是Snowpark API。将Snowpark的编码器转换为scikit-learn的编码器，再进行数据转换。
# 将Snowpark编码器转换为scikit-learn编码器 ohe_obj = ohe.to_sklearn() oe_obj = oe.to_sklearn() # 在UDF中使用scikit-learn API进行转换 df_ohe = ohe_obj.transform(df[['ROUTE_CATEGORY_NAME']])
4. 优化UDF函数
为了提高推理性能，可以使用@cachetools.cached装饰器来缓存加载的模型，避免每次调用UDF时都重新加载模型。此外，可以使用向量化UDF，一次性处理整个DataFrame，而不是逐行处理。
import cachetools
import pandas as pd
from snowflake.snowpark.types import PandasDataFrameType,PandasSeriesType,PandasDataFrame,PandasSeries
import snowflake.snowpark.functions as F
@cachetools.cached(cache={})
def read_file(filename):
import sys
import os
import joblib
# Get the "path" of where files added through iport are avalible
import_dir = sys._xoptions.get("snowflake_import_directory")
if import_dir:
with open(os.path.join(import_dir, filename), 'rb') as file:
m = joblib.load(file)
return m
@F.udf(
name='predict_package_mix_p',session=session,replace=True,
is_permanent=True,stage_location='@AM_TEST_UDFS',
input_type=PandasDataFrameType([IntegerType(),StringType(),StringType(),StringType(),StringType(),StringType(),IntegerType()], list(test_df.schema.names)),
return_type=PandasSeriesType(FloatType())
)
def predict_package_mix_p(
df:PandasDataFrame
) -> PandasSeries:
import pandas as pd
from joblib import load
import sklearn
import xgboost as xgb
import json
import snowflake.ml.modeling
def transform_simple_target_encode_manual(
df,transform_col,transform_df
):
df = df.merge(transform_df, on=transform_col)
return df
def remove_space(df):
cols = df.columns
space_cols = [x for x in cols if ' ' in x]
for c in space_cols:
new_col = c.replace(" ","_")
df = df.rename(columns={c:new_col})
return df
ohe = read_file('one_hot_encode.pkl')
oe = read_file('ordinal_encode.pkl')
te = pd.read_csv(import_dir + 'target_encoding.csv.gz')
model = read_file('xgb_model.pkl.gz')
print('loaded models')
features = [
"LS1_FLIGHT_ID","DEPARTURE_AIRPORT_CODE","ARRIVAL_AIRPORT_CODE",
"ROUTE_CATEGORY_NAME","DEPARTURE_DATETIME_LOCAL",
"ARRIVAL_DATETIME_LOCAL","CAPACITY"
]
df.columns = features
print('loaded dataframe')
# transform data for one hot and ordinal encodings
df_ohe = ohe.transform(df[['ROUTE_CATEGORY_NAME']])
encoded_df = pd.DataFrame(df_ohe, columns=ohe.categories_)
encoded_df.columns = encoded_df.columns.get_level_values(0)
encoded_df = encoded_df.add_prefix('ROUTE_NAME_OHE_')
df = pd.concat([df, encoded_df], axis=1)
df['DEPART_CODE_ENCODE'] = oe.transform(df[['DEPARTURE_AIRPORT_CODE']])
print('transformed via one hot and ordinal')
# transform using pre-set target encoding
df_te = transform_simple_target_encode_manual(df,'ARRIVAL_AIRPORT_CODE',te)
df_final = remove_space(df_te)
print('transformed via target encode')
# change date cols to datetime
df_final.loc[:,'DEPARTURE_DATETIME_LOCAL'] = pd.to_datetime(
df_final.loc[:,'DEPARTURE_DATETIME_LOCAL'],format='%Y-%m-%d %H:%M:%S',yearfirst=True
)
df_final['ARRIVAL_DATETIME_LOCAL'] = pd.to_datetime(
df_final['ARRIVAL_DATETIME_LOCAL'],format='%Y-%m-%d %H:%M:%S',yearfirst=True
)
print('transformed dates')
df_final['DEPART_HOUR'] = df_final['DEPARTURE_DATETIME_LOCAL'].dt.hour
# snowpark function goes from 1-7 whereas pandas goes from 0-6
df_final['DEPART_WEEKDAY'] = df_final['DEPARTURE_DATETIME_LOCAL'].dt.day_of_week + 1
df_final['DEPART_MONTHDAY'] = df_final['DEPARTURE_DATETIME_LOCAL'].dt.day
df_final['DEPART_YEARDAY'] = df_final['DEPARTURE_DATETIME_LOCAL'].dt.day_of_year
df_final['DEPART_MONTH'] = df_final['DEPARTURE_DATETIME_LOCAL'].dt.month
df_final['DEPART_YEAR'] = df_final['DEPARTURE_DATETIME_LOCAL'].dt.year
df_final['ARRIVE_HOUR'] = df_final['ARRIVAL_DATETIME_LOCAL'].dt.hour
print('created features')
pm = pd.Series(model.predict(df_final[
["DEPART_CODE_ENCODE","ROUTE_NAME_OHE_CITY","ROUTE_NAME_OHE_FAR_SUN",
"ROUTE_NAME_OHE_SKI","ROUTE_NAME_OHE_SUN","CAPACITY",
"ARRIVAL_AIRPORT_CODE_ENCODED","DEPART_HOUR",
"DEPART_WEEKDAY","DEPART_MONTHDAY","DEPART_YEARDAY",
"DEPART_MONTH","DEPART_YEAR","ARRIVE_HOUR"]
]))
return pm5. 注意事项
- 列名大小写： Snowflake在存储表时，会将列名转换为大写。因此，在UDF中引用列名时，需要使用大写。
- 模型和编码器版本： 确保在训练和推理阶段使用的模型和编码器版本一致。
- 依赖包： 在Snowflake中注册UDF时，需要添加所有必要的依赖包，例如pandas、joblib、xgboost和scikit-learn。
总结
通过遵循上述步骤，您可以解决在Snowflake中保存的编码器无法用于推理新数据的问题，并构建一个稳定可靠的机器学习推理流程。关键在于确保数据类型一致性，正确处理缺失值，使用正确的编码器API，并优化UDF函数以提高性能。记住，仔细检查代码，并参考Snowflake的官方文档，可以帮助您避免许多常见的错误。
