机器学习——线性回归

2023-07-03

实战演练 —— 线性回归

2.1 一元线性回归

任务介绍：

自定义一元回归函数linearRegression，输入参数为x和y的数组xArr和yArr，输出为参数w1和w0
使用美国医疗保险费数据insurance.csv的输入特征age和目标特征charges，根据linearRegression得到回归参数值w1和w0，并保留到小数点后两位
已知根据最小二乘法求得的参数值为

预期实验结果

实验代码

import pandas as pd
from sklearn import linear_model
import numpy
insurance = pd.read_csv('insurance.csv')
age = insurance['age'].values
charges = insurance['charges'].values

# 请在下方作答
# 定义一元线性回归函数
def linearRegression(xArr,yArr):
    
    # x均值,y均值计算
    mean_x =xArr.mean()
    mean_y = yArr.mean()
    
    numerator = sum(xArr*yArr) - len(xArr)*mean_x*mean_y
    denominator = sum(xArr*xArr) - len(xArr)*mean_x*mean_x

    # w0,w1计算
    w1 = numerator/denominator
    w0 = mean_y-w1*mean_x
   
    return (w0,w1)
    
print("模型训练，得到参数值")
w0, w1 = linearRegression(age,charges)
print("%.2f" % w1,'\n',"%.2f" %  w0)

print("sklearn的训练结果")
regr = linear_model.LinearRegression()
regr.fit(age.reshape(-1,1), charges.reshape(-1,1))
print(numpy.around(regr.coef_,2))
print(numpy.around(regr.intercept_,2))

# 请直接运行处结果，然后提交作业，该运行结果会自动一同提交上去

模型训练，得到参数值
257.72 
 3165.89
sklearn的训练结果
[[257.72]]
[3165.89]

2.2 多元线性回归

任务介绍：

预期实验结果

实验代码

from sklearn import linear_model
from numpy import mat, linalg, column_stack, ones
import pandas as pd
insurance = pd.read_csv('insurance.csv')

# 请在下方作答 #
# 定义多元线性回归函数
def linearRegression(xArr, yArr):
    
    # 将Array转换为矩阵
    xMat = mat(xArr)
    yMat = mat(yArr).T
    xTx = xMat.T*xMat
    # 判定协方差矩阵是否可逆
    if(linalg.det(xTx)==0.0):
        print( "singular matrix, can't do inverse")
        return -1

    # 计算参数向量
    ws = linalg.solve(xTx, xMat.T*yMat)
    
    return ws

# 模型训练，得到参数值
X = insurance[['age', 'bmi', 'children']].values
X = column_stack((X,ones(X.shape[0])))
y = insurance['charges']
ws = linearRegression(X,y)
print("模型训练，得到参数值")
print(ws)
# sklearn的训练结果
regr = linear_model.LinearRegression()
regr.fit(X, y)
print("sklearn的训练结果")
print(regr.coef_)
print(regr.intercept_)

# 请直接运行处结果，然后提交作业，该运行结果会自动一同提交上去

模型训练，得到参数值
[[  239.99447429]
 [  332.0833645 ]
 [  542.86465225]
 [-6916.24334779]]
sklearn的训练结果
[239.99447429 332.0833645  542.86465225   0.        ]
-6916.243347787033

2.4 线性回归应用：预测医疗费用

任务介绍

请对insurance.csv中的名义型特征进行了One-Hot编码，得到了数据变量insurance
请使用自定义的多元回归函数linearRegression得到回归模型参数和预测值y_pred
自定义决定系数函数r2_Score（为了与sklearn中的r2_score的名称有所区别），只保留小数点后两位，并计算实际模型的决定系数结果score
比较使用sklearn进行模型训练和模型评价与使用自定义函数进行模型训练和模型评价的结果

预期实验结果

代码1：使用上一节实验中实现的代码，可以复制粘贴代替下面的代码

from sklearn import linear_model
from numpy import mat, linalg, column_stack, ones
import pandas as pd
insurance = pd.read_csv('insurance.csv')

# 请在下方作答 #

# 定义多元线性回归函数
def linearRegression(xArr, yArr):
    
    # 将Array转换为矩阵
    xMat = mat(xArr)
    yMat = mat(yArr).T
    xTx = xMat.T*xMat
    # 判定协方差矩阵是否可逆
    if(linalg.det(xTx)==0.0):
        print( "singular matrix, can't do inverse")

    # 计算参数向量
    ws = linalg.solve(xTx, xMat.T*yMat)
    
    return ws

# 模型训练，得到参数值
X = insurance[['age', 'bmi', 'children']].values
X = column_stack((X,ones(X.shape[0])))
y = insurance['charges']
ws = linearRegression(X,y)
print("模型训练，得到参数值")
print(ws)
# sklearn的训练结果
regr = linear_model.LinearRegression()
regr.fit(X, y)
print("sklearn的训练结果")
print(regr.coef_)
print(regr.intercept_)

# 请直接运行处结果，然后提交作业，该运行结果会自动一同提交上去

模型训练，得到参数值
[[  239.99447429]
 [  332.0833645 ]
 [  542.86465225]
 [-6916.24334779]]
sklearn的训练结果
[239.99447429 332.0833645  542.86465225   0.        ]
-6916.243347787033

代码2：本次实验主要代码

from sklearn import linear_model
from numpy import mat, array, mean


# 请对非数值型特征进行 one-hot 编码处理，以便于运算
insurance = pd.get_dummies(pd.read_csv('insurance.csv'))

# 根据X、y和自定义函数linearRegresssion训练模型参数ws，并计算预测值y_pred
X = insurance.drop(['charges'], axis=1)
y = insurance['charges']
ws = linearRegression(X,y)
y_pred =  mat(X)*mat(ws)
y_pred = array(y_pred).reshape(y_pred.shape[0],) # 将矩阵转换为一行多列的array格式
# 自定义决定系数函数，并对训练得到的模型进行评价
def r2_Score(y_true, y_pred):
    
    # 计算SST,SSR或SSE
    sst = sum(pow(y_true-y_true.mean(),2))
    ssr = sum(pow(y_pred-y_true.mean(),2))
    sse = sum(pow(y_true-y_pred.mean(),2))
    
    # 根据SST,SSR或SSE计算决定系数r2
    r2 = ssr/sst
    return round(r2,2)

# 根据y和y_pred计算决定系数score
score = r2_Score(y,y_pred)
print(score)
# sklearn模型训练结果
from sklearn import linear_model, metrics
regr = linear_model.LinearRegression(fit_intercept=False)
regr.fit(X, y)
y_pred = regr.predict(X)
score_sklearn = round(metrics.r2_score(y, y_pred),2)
print (score_sklearn)

# 请直接运行处结果，然后提交作业，该运行结果会自动一同提交上去

0.75
0.75