机器学习——AdaBoost

2023-07-03

11.5 完整AdaBoost的实现

任务

已知基于单层决策树的 AdaBoost 算法的伪代码如下：

初始化所有参数，其中样本权重都为 $\frac{1}{n}$
迭代次数 i<itermax:
- 调用 buildStump() 函数得到最佳的单层决策树
- 将该最佳单层决策树存储到单层决策树数组中
- 根据当前单层决策树的错误率 $\varepsilon_i$，并根据该错误率计算 $\alpha_i$
- - 更新样本的权重向量 D
- 更新累积预测值，并计算前 i 个弱分类器集成得到的错误率
- 如果该错误率等于 0.0，则退出循环
其中第 t 轮训练中：

$\alpha_t = \dfrac{1}{2}\log (\dfrac{1 - \varepsilon_t}{\varepsilon_t})$

$w_i^{t + 1} = \dfrac{w_i^te^{- \alpha_ty_ih_t(\boldsymbol{x}_i)}}{Z_t}$

其中 $Z_t$ 为归一化因子

假设现在已经实现了基于加权输入值进行决策的最佳单层决策树生成函数 buildStump()
请补全完整的 AdaBoost 训练函数 adaBoostTrainDS()
请使用 adaBoostTrainDS() 根据简单数据 datMat，classLabels 训练（迭代数为 10）得到一个元模型 weak_clfs

预期结果

前序代码：stumpClassify() 和 buildStump()

def stumpClassify(dataMatrix, dimen, threshVal, threshIneq):
    preArray = ones((dataMatrix.shape[0], 1)) # 初始化预测为1
    if threshIneq == 'lt':
        preArray[dataMatrix[:, dimen] <= threshVal] = -1.0
    else:
        preArray[dataMatrix[:, dimen] > threshVal] = -1.0
    return preArray

def buildStump(dataArr,classLabels,D):
    # 先定义之后要用到的一些变量
    dataMatrix = mat(dataArr)
    labelMat = mat(classLabels).T
    m, n = dataMatrix.shape
    numSteps = 10.0
    bestStump = {}
    bestClasEst = mat(zeros((m, 1)))
    minError = inf
    for i in range(n):# 对所有特征进行迭代
        rangeMin = dataMatrix[:, i].min()
        rangeMax = dataMatrix[:, i].max()
        stepSize = (rangeMax - rangeMin)/numSteps # 特征的值变化的步长
        for j in range(-1, int(numSteps)+1):# 对所有特征的值进行迭代
            for inequal in ['lt', 'gt']: # 两种标记方式的切换
                threshVal = (rangeMin + float(j) * stepSize)
                predictedVals = stumpClassify(dataMatrix, i, threshVal, inequal)
                errArr = mat(ones((m, 1)))
                errArr[predictedVals == labelMat] = 0
                weightedError = D.T*errArr  # 计算加权错误率
                # print "split: dim %d, thresh %.2f, thresh ineqal: %s, the weighted error is %.3f" % (i, threshVal, inequal, weightedError)
                if weightedError < minError:
                    minError = weightedError
                    bestClasEst = predictedVals.copy()
                    bestStump['dim'] = i
                    bestStump['thresh'] = threshVal
                    bestStump['ineq'] = inequal
    return bestStump, minError, bestClasEst

待完善代码

from numpy import mat, zeros, ones, multiply, exp, sign, inf, log
import numpy as np
datMat = mat([[1., 0.2],
                [2., 1.2],
                [1.1, 1.3],
                [2.2, 0.3],
                [1.3, 1.8]])
classLabels = [1.0, -1.0, 1.0, 1.0, -1.0]

# 请补全下列代码 #

def adaBoostTrainDS(dataArr, classLabels, itermax=40):
    weakClassArr = [] # 准备一个存储所有弱分类器的空列表
    m = dataArr.shape[0] 
    D = mat(ones((m, 1))/m)   # 初始化所有样本为相同的权重
    aggClassEst = mat(zeros((m, 1))) # 最终集成模型的预测向量
    for i in range(itermax): 
        
        # 获得当前最佳的单层决策树beatStump，错误率error，预测结果classEst
        bestStump, error, classEst = buildStump(dataArr, classLabels, D)
        
        # 计算bestStump对应的alpha，并存储在beatStump字典中（注意error=0的情况）
        if error==0:
            error=1e-20
        alpha = float(0.5 * np.log((1.0 - error) / error))
        
        bestStump['alpha'] = alpha
        
        # 将当前的最佳单层决策树放入存储列表中
        weakClassArr.append(bestStump)
        
        # 更新样本权重D
        expon = multiply(-1*alpha*mat(classLabels).T, classEst)
        D = np.multiply(D, np.exp(expon))
        D = D / D.sum()

        # 计算集成之前i-1个弱分类器预测的错误率
        aggClassEst += alpha*classEst
        aggErrors = multiply(sign(aggClassEst) != mat(classLabels).T, ones((m, 1)))
        errorRate = aggErrors.sum()/m
        print ("total error: ",errorRate)
        
        if errorRate == 0.0: break
    return weakClassArr, aggClassEst

weak_clfs,_ = adaBoostTrainDS(datMat, classLabels, 10)
print (weak_clfs[1])

total error:  0.2
total error:  0.2
total error:  0.0
{'dim': 1, 'thresh': 0.36, 'ineq': 'gt', 'alpha': 0.9729550745276566}

11.7 sklearn中的AdaBoost

任务

给定一个二分类任务，数据集为描述马疝病的数据集，任务目标为预测患有马疝病的马是否能够存活。现已经把数据集分为训练集 train_data、train_label和测试集 test_data、 test_label。其中 train_data 包含 299 个数据样本，21 个特征；test_data 包含 67 个数据样本，21 个特征，数据集的标签取值为 1(存活)和 -1(死亡)；

请使用 sklearn.ensemble 中的 AdaBoostClassifier，构建 AdaBoost 模型，完成该分类任务；
请尝试使用不同的超参数，以使得最终模型对于测试集的准确率大于等于 0.75

预期结果

基础代码：加载数据

#数据预处理 
import pandas as pd
import numpy as np
def load_data(path):
    data = pd.read_csv(path, sep='\t', names=[i for i in range(22)])
    data = np.array(data).tolist()
    x = []; y = []
    for i in range(len(data)):
        y.append(data[i][-1])
        del data[i][-1]
        x.append(data[i])

    x = np.array(x)
    y = np.array(y)

    return x, y
train_data, train_label = load_data('horseColicTraining.txt')
test_data, test_label = load_data('horseColicTest.txt')

待完善代码

from sklearn.metrics import classification_report, accuracy_score
from sklearn.ensemble import AdaBoostClassifier  

# 构建adaboost模型clf，并基于训练集训练
clf = AdaBoostClassifier(n_estimators=140,learning_rate=0.89)

clf.fit(train_data, train_label)

# 使用训练后的clf对测试集进行预测
pred_label = clf.predict(test_data)

# 计算模型的正确率
score =clf.score(test_data,test_label)

print("Accuracy:", score)

# 查看详细的模型评价报告
print(classification_report(test_label, pred_label))

Accuracy: 0.8059701492537313
              precision    recall  f1-score   support

        -1.0       0.65      0.75      0.70        20
         1.0       0.89      0.83      0.86        47

    accuracy                           0.81        67
   macro avg       0.77      0.79      0.78        67
weighted avg       0.82      0.81      0.81        67