星期四, 六月 09, 2011

分类-回归树模型(CART)在R语言中的实现

CART模型,即Classification And Regression Trees。它和一般回归分析类似,是用来对变量进行解释和预测的工具,也是数据挖掘中的一种常用算法。如果因变量是连续数据,相对应的分析称为回归树,如果因变量是分类数据,则相应的分析称为分类树。

决策树是一种倒立的树结构,它由内部节点、叶子节点和边组成。其中最上面的一个节点叫根节点。 构造一棵决策树需要一个训练集,一些例子组成,每个例子用一些属性(或特征)和一个类别标记来描述。构造决策树的目的是找出属性和类别间的关系,一旦这种关系找出,就能用它来预测将来未知类别的记录的类别。这种具有预测功能的系统叫决策树分类器。其算法的优点在于:1)可以生成可以理解的规则。2)计算量相对来说不是很大。3)可以处理多种数据类型。4)决策树可以清晰的显示哪些变量较重要。

下面以一个例子来讲解如何在R语言中建立树模型。为了预测身体的肥胖程度,可以从身体的其它指标得到线索,例如:腰围、臀围、肘宽、膝宽、年龄。


#首先载入所需软件包
library(mboost)
library(rpart)
library(maptree)

#读入样本数据
data('bodyfat')

#建立公式
formular=DEXfat~age+waistcirc+hipcirc+elbowbreadth+kneebreadth

#用rpart命令构建树模型,结果存在fit变量中
fit=rpart(formular,method='anova',data=bodyfat)

#直接调用fit可以看到结果
n= 71
node), split, n, deviance, yval
      * denotes terminal node

 1) root 71 8535.98400 30.78282
   2) waistcirc< 88.4 40 1315.35800 22.92375
     4) hipcirc< 96.25 17  285.91370 18.20765 *
     5) hipcirc>=96.25 23  371.86530 26.40957
      10) waistcirc< 80.75 13  117.60710 24.13077 *
      11) waistcirc>=80.75 10   98.99016 29.37200 *
   3) waistcirc>=88.4 31 1562.16200 40.92355
     6) hipcirc< 109.9 13  136.29600 35.27846 *
     7) hipcirc>=109.9 18  712.39870 45.00056 *

#也可以用画图方式将结果表达得更清楚一些
draw.tree(fit)
#建立树模型要权衡两方面问题,一个是要拟合得使分组后的变异较小,另一个是要防止过度拟合,而使模型的误差过大,前者的参数是CP,后者的参数是Xerror。所以要在Xerror最小的情况下,也使CP尽量小。如果认为树模型过于复杂,我们需要对其进行修剪
#首先观察模型的误差等数据
printcp(fit)

Regression tree:
rpart(formula = formula, data = bodyfat)

Variables actually used in tree construction:
[1] hipcirc   waistcirc

Root node error: 8536/71 = 120.23

n= 71

        CP nsplit rel error  xerror     xstd
1 0.662895      0   1.00000 1.01364 0.164726
2 0.083583      1   0.33710 0.41348 0.094585
3 0.077036      2   0.25352 0.42767 0.084572
4 0.018190      3   0.17649 0.31964 0.062635
5 0.010000      4   0.15830 0.28924 0.062949

#调用CP(complexity parameter)与xerror的相关图,一种方法是寻找最小xerror点所对应的CP值,并由此CP值决定树的大小,另一种方法是利用1SE方法,寻找xerror+SE的最小点对应的CP值。
plotcp(fit)

#用prune命令对树模型进行修剪(本例的树模型不复杂,并不需要修剪)
pfit=prune(fit,cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])

#模型初步解释:腰围和臀围较大的人,肥胖程度较高,而其中腰围是最主要的因素。
#利用模型预测某个人的肥胖程度

ndata=data.frame(waistcirc=99,hipcirc=110,elbowbreadth=6,kneebreadth=8,age=60)
predict(fit,newdata=ndata)

*本文主要参考了Yanchang Zhao的文章:“R and Data Mining: Examples and Case Studies”

11 条评论:

  1. 错误: 类别为'closure'的对象不可以取子集

    回复删除
    回复
    1. 在建模那一行打错字了,正确的如下:
      fit=rpart(formular,method='anova',data=bodyfat)

      删除
  2. 构建回归树时,如果自变量是一组布尔属性值(比如,x=1或x=0表示该属性被选择或不被选择)而因变量是连续数量值,应该如何构建该树呢?试了该文的命令,但结果没有拆分,还是只有一行记录1) root 14 1164150 1215 *。此外,如果想修改split规则,该如何修改?谢谢!

    回复删除
    回复
    1. 自变量如果二元数据一样可以构建,你那边没有拆分可能是变量没有因子化吧,程序不认得那是二元数据。你可以将数据发给我来帮你瞄一下。
      另外要修改split规则可以在rpary函数里的control参数中设置。

      删除
    2. 赞!楼主回复真及时,我给您发邮件讨论吧。

      删除
  3. 博主 有个问题继续请教,你在楼上的回答中提到“你那边没有拆分可能是变量没有因子化吧,程序不认得那是二元数据”
    我处理数据也碰到了类似的问题,我数据中的属性类别是T或F,但是用random forest 训练的时候,出现了错误:
    forweka.rf1=randomForest(INTERACTION ~ .,data=forweka1,importance=T,proximity=T)
    Error: cannot allocate vector of size 321.1 Mb
    In addition: Warning message:
    In randomForest.default(m, y, ...) :
    The response has five or fewer unique values. Are you sure you want to do regression?

    因为我的数据都是离散型的,而提示是否要做回归,我猜测是不是你上面提到的没有对变量做“因子化”? 如果是的话,如何做因子化呢?
    小弟刚入门的新手,烦请指教,谢谢

    回复删除
    回复
    1. 上面的信息有两部分,一个是报错说没有足够内存空间,另一个是警告称因变量有此异常取值,我估计是你数据有点脏的问题,实际上如果你的因变量取值是字符之类,它会自动判断的,不需要因子化。只有当因变量是数值,比如 0, 1,你才需要因子化,可以用factor()函数因子化。

      删除
    2. 谢谢博主的指导
      我理解了因子化的问题,但是内存不足是为什么呢?是数据的问题,还是硬件的问题?
      还有数据脏是怎么回事呢?

      删除
    3. 你可能连续使用R而没有清除内存,你可以试着删除不必要的变量。再一个你可能是使用的32位系统和软件,内存有所限制。R语言和内存问题可以在网上搜索一下,有很多资料的。

      脏数据是因为你在数据分析前没有处理一下,比如你以为因变量是“男”、“女”,实际上可能还有一个“ 女”。建议是用summary看一下。

      删除
  4. 博主 您好 我现在有一组关于 caravan insurance的数据 (CoIL 2000 Challenge), 由于有5822 * 85 数据 想利用CART来做特征提取,但是通过无论怎样修改函数里的参数 xerror 始终徘徊再0.95 到 1.2 这个范围内,想请教一下博主应该怎么办

    回复删除