机器学习知识点总结：什么是GBDT(梯度提升树)
发布时间
阅读量：
阅读量
什么是GBDT(梯度提升树)
虽然GBDT同样由许多决策树组成，但它与随机森林由许多不同。
在_GBDT_算法中所有的决策_ tree_都属于 regression_tree. 区分一棵决策 tree 是分类 tree 还是 regression tree 的方法相对简单. 单纯按照好坏进行二分归类的方式主要是采用_ classification_tree. 如果能够根据好坏程度进行评分, 那么这种则属于_ regression_model.
另一个不同的是GBDT中的每棵树都建立在前一棵树的基础上。
例如，在评分系统中
除了苹果之外，在评分的对象上还可以包括网页、电影以及商品等其他类型。通过评估关联性以及计算点击频率或用户偏好来进行排序，在搜索技术、广告投放以及推荐系统等多个领域都有广泛应用的能力，并且能够处理标签信息以及数值数据等多种类型的数据，在这一点上具有较强的解释性功能
不过因各棵树木之间相互依存的关系较为紧密故而造成较长的训练耗时
该方法通过逐层迭代的方式逐步逼近正确答案的方法被称为Boosting提升；在该框架下特别地，在GBDT中这个Booster算法通常被表示为参数B
类似于随机森林的方法中，不同模型之间相互独立地共同投票以得出结论的方法，则可称为袋装法（Bagging）。
另一种Stacking（堆叠）技术是基于多个基础模型构建一个上一层模型的方法，在上一层模型中将这些基础模型的输出作为其输入数据，并通过该上一层模型得出最终预测结果
全部评论 (0)
还没有任何评论哟~