第十二讲 ensemble learning

Ensemble learning

bagging

bagging 主要实现的效果是降低模型的高方差

类似并行决策模型

Bagging is ineffective when the model is too simple with a small number of parameters

boosting

boosting 主要实现的效果是降低模型的高偏差

类似串行决策模型

Boosting trains weak learners one after one to solve the problem step by step

AdaBoost

AdaBoost (Adaptive Boosting) is a famous boosting approach

adaboost有个例题，需要看一下，熟悉计算过程：

• 对于每个弱学习器，先计算错误率
• 根据错误率计算模型权重 α
• 根据模型权重 α 计算各个参数的权重
• 循环

集成学习总结：bagging 和 boosting