决策树算法-监督学习(supervised learning)中的重要算法 - 机器学习 - 方帮信


大厂面试直通卡 本周拉勾免费课:《深入浅出搞定React》 7月6号下线 【腾讯云】2021新春采购节,爆款产品特惠,助力企业上云
当前位置: 首页 >  > 人工智能 > 机器学习

决策树算法-监督学习(supervised learning)中的重要算法

2019/6/14 17:54:28 浏览

决策树算法是监督学习(supervised learning)中的重要算法。机器学习中分类和预测算法的评估有以下几个维度:①准确率 ②速度 ③强壮行 ④可规模性 ⑤可解释性。通过这几个维度来评定和比较不同算法之间的好坏和优劣。什么是决策树/判定树(decision tree),也就是说决策树…

站长送干货喽:

1.拉勾教育7天VIP

2.大场面试题第一季-阿里篇视频讲解

站长的微信:changyandoublog

决策树算法是监督学习(supervised learning)中的重要算法。

机器学习中分类和预测算法的评估有以下几个维度:①准确率 ②速度 ③强壮行 ④可规模性 ⑤可解释性。通过这几个维度来评定和比较不同算法之间的好坏和优劣。

什么是决策树/判定树(decision tree),也就是说决策树的概念?
判定树是一个类似于流程图的结构:其中,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶节点代表类或类分布。树的最顶层是根节点。

决策树的学习过程中不可或缺的一个概念是:熵,1948年香农提出了“信息熵”的概念。

一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常非常不确定的事情,或者是我们一无所知的事情,需要了解大量信息=》信息量的度量就等于不确定性的多少。

信息熵公式的推导过程?【https://www.cnblogs.com/shixisheng/p/7147956.html

决策树归纳算法(ID3), 通过决策树归纳算法选择属性判断结点。

其他算法:C4.5、Classification and Regression Trees

决策树算法和其他算法的共同点和区别:

共同点:都是贪心算法,自上而下(Top-down approach)
区别:属性选择度量方法不同:C4.5(gain ratio),CART(gini index),ID3(Information Gain)

决策树的有点和缺点:
优点:直观、便于理解、小规模数据集有效
缺点:①处理连续变量不好 ②类别较多时,错误增加的比较快 ③可规模性一般

在决策树算法的实现过程中可能会用到以下几个库:

scikit-learn:【官方文档中文版:http://sklearn.apachecn.org/#/
python中的机器学习工具包。可以用来进行数据挖掘,数据分析。依赖于Numpy,Scipy和matplotlib。功能:分类、回归、聚类、降维、模型选择、预处理
1-scikit-learn.png
graphviz,通过使用graphviz将算法结果汇总展现出来
2.graphviz-多种技术领域的可视化工具.png

 

来源:方帮信(微信:changyandoublog,邮箱:changyandou@126.com),欢迎分享!

上一篇:没有了

下一篇:没有了