本文档旨在指导读者如何使用Python导入并读取Excel数据集，以及如何利用Pandas和Scikit-learn库进行简单的线性回归分析。内容涵盖文件路径处理、数据读取、数据预处理以及线性回归模型的构建与评估。通过本文，读者将掌握使用Python进行基本数据分析和建模的流程。
1. 数据导入与读取
1.1 导入Pandas库
首先，我们需要导入pandas库，这是一个强大的数据分析和处理库。
import pandas as pd
1.2 读取Excel文件
使用pandas的read_excel()函数可以轻松读取Excel文件。你需要提供Excel文件的完整路径。
excel_file_path = "/Users/zeinabhassano/Documents/Master's_thesis/Gender Inequality/Labor data/ILO modelled estimates/updated/employment by sex and age - ilo modelled estimates (thousands) - annual.xlsx" df = pd.read_excel(excel_file_path) # 打印数据的前几行以检查是否成功读取 print(df.head())
注意事项：
立即学习“Python免费学习笔记（深入）”；
- 确保文件路径正确。如果文件不在当前工作目录下，需要提供完整路径。
- 如果Excel文件包含多个sheet，可以使用sheet_name参数指定要读取的sheet。例如：pd.read_excel(excel_file_path, sheet_name='Sheet1')。
- 如果Excel文件较大，可以考虑分块读取，以减少内存占用。
2. 数据预处理
2.1 创建虚拟变量
为了进行线性回归，我们需要将性别（男性/女性）转换为数值型数据。可以使用pandas的get_dummies()函数创建虚拟变量。
# 假设数据集中有一列名为'Sex'，包含'Male'和'Female' df['IsMale'] = pd.get_dummies(df['Sex'], drop_first=True) # drop_first=True 删除第一列，避免完全共线性 # 打印数据的前几行以检查虚拟变量是否成功创建 print(df.head())
2.2 选择特征和目标变量
选择要用于线性回归的特征（X）和目标变量（Y）。在这个例子中，我们使用IsMale作为特征，Employment作为目标变量。
X = df[['IsMale']] #特征需要二维数组 Y = df['Employment']
3. 线性回归模型构建与评估
3.1 导入Scikit-learn库
我们需要导入sklearn.linear_model模块中的LinearRegression类，以及sklearn.model_selection模块中的train_test_split函数，用于划分训练集和测试集。
from sklearn.linear_model import LinearRegression from sklearn.model_selection import train_test_split
3.2 划分训练集和测试集
将数据集划分为训练集和测试集，用于训练模型和评估模型性能。
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=42) # test_size=0.2 表示20%的数据用于测试集，random_state=42 设置随机种子，保证结果可重复
3.3 创建和训练线性回归模型
创建LinearRegression对象，并使用训练数据训练模型。
model = LinearRegression() model.fit(X_train, Y_train)
3.4 预测和评估模型
使用测试数据进行预测，并评估模型性能。可以使用均方误差（MSE）或R方值（R-squared）等指标。
from sklearn.metrics import mean_squared_error, r2_score
Y_pred = model.predict(X_test)
# 计算均方误差
mse = mean_squared_error(Y_test, Y_pred)
print("均方误差 (MSE):", mse)
# 计算R方值
r2 = r2_score(Y_test, Y_pred)
print("R方值 (R-squared):", r2)
# 打印系数和截距
print("系数:", model.coef_)
print("截距:", model.intercept_)4. 总结
本教程介绍了如何使用Python导入和读取Excel数据集，以及如何使用Pandas和Scikit-learn库进行简单的线性回归分析。通过学习本教程，你应该能够：
- 使用pandas读取Excel文件。
- 使用pandas创建虚拟变量。
- 使用sklearn构建和训练线性回归模型。
- 评估线性回归模型的性能。
注意事项：
立即学习“Python免费学习笔记（深入）”；
- 在实际应用中，可能需要进行更复杂的数据预处理，例如处理缺失值、异常值等。
- 线性回归模型可能不适用于所有类型的数据。在选择模型时，需要根据数据的特点和业务需求进行选择。
- 模型的评估指标需要根据具体问题进行选择。
