rapidminer数据挖掘入门之四：建模和评价（完）

rapidminer中提供了大量的建模方法或学习器，可用于不同情况下的回归和分类问题。从常见的线性回归、决策树到神经网络和支持向量机。此外还提供了集成学习器，即将多个学习器组合使用以提高预测能力，例如Bagging和Boosting，以及Stacking。

这些学习器都可以看做是一个黑箱，输入数据，输出模型和预测结果。在使用这些学习器时要注意的一点就是：不同的学习器需输入的数据类型不同。以Decision Tree学习器为例，它可以输入numerical attributes（数值数据自变量）、binominal attributes（两分类数据自变量）、polynomial attributes（多分类数据自变量），以及polynominal label（多分类数据因变量） binominal label（两分类数据因变量），但它不能处理numerical label（数值数据因变量）。这些信息都可以在学习器上通过帮助信息了解。

rapidminer数据挖掘入门之三：特征选择

在一般数据分析条件下，样本集合就类似一个Excel表格，每个样本数据排为一行，而纵列则代表了样本不同的特征或属性。有时候样本数据的特征过多，甚至特征数超过样本数就形成所谓的“维灾难”。

维数过高对于大多数回归分类模型来说是难以忍受的，而且这么高维特征可能会大大干扰训练效果、降低分类性能，因此有必要采取措施进一步地降低特征空间的维数。降维过程包括两类方法：一种是特征选择又称为子集选择，即从最初的N个特征中选取n个特征，而这n个特征可以更简洁、更有效地表示样本的信息。另一种是数据变换，即把N个原始特征变换为n个新的特征，例如主成分分析、投影寻踪方法。

特征选择的一般思路是：构造一个评估函数，对特征子集中的每一个特征进行独立的评估，使每一个特征得到一个评估分，然后对所有特征按照其评估分大小进行排序，选取满足阀值的预定数目个特征形成特征子集。

rapidminer数据挖掘入门之二：数据导入、预处理和绘图

1 基本概念
当安装软件时rapidminer会问你新建库文件在所在地，也就是Repositories，它相当于是用户的所有资料存放地。库中主要存放两种资料：一种是建模需要的数据（Data），另一种是建模用到的模型，或称为流程（Processes）。在安装完软件后，用户可以从Repositories下面看到sample文件，里面提供了用来练习用的数据和模型。

2 数据导入
数据导入有两种方式：
第一种是在Repositories菜单中点击import，可以读取CSV等五种格式数据，导入后以data形式存在库中，可随时拖拽到主流程图中调用，将会显示为Retrieve。

第二种是以算子（Operators）形式导入，从算子中的import类中可以选择十几种导入算子拖拽到主流程图中，然后在设置窗口确定资料来源。

RapidMiner数据挖掘入门之一：概要

1 简介
RapidMiner原名Yale，它是用于数据挖掘、机器学习、商业预测分析的开源计算环境。根据KDnuggets在2011年的一次投票显示，从使用率来看该软件比之R语言还要略胜一筹。因为其具备GUI特性，所以很适合于数据挖掘的初学者入门。

RapidMiner提供的数据挖掘和机器学习程序包括：数据加载和转换（ETL），数据预处理和可视化，建模，评估和部署。数据挖掘的流程是以XML文件加以描述，并通过一个图形用户界面显示出来。RapidMiner是由Java编程语言编写的，其中还集成了WEKA的学习器和评估方法，并可以与R语言进行协同工作。

利用rapidminer进行文本挖掘

在数据挖掘软件中有五大开源软件，其中weka在国内的使用率较高，而rapidminer却较少看到。就连学习资料也少之又少，只在youtube上能看到一些教学视频。以下的内容就是照葫芦画瓢弄出来的。

文本挖掘（text mining）有时也被称为文字探勘、文本数据挖掘等，大致相当于文字分析，一般指文本处理过程中产生高质量的信息。高质量的信息通常通过分类和预测来产生，如模式识别。

文本挖掘通常要将文本进行断字预处理，然后利用空间向量模型将文本转换为数值数据，让学习器进行学习。中文的文本挖掘天生就比较悲惨，因为中文不象英文那样天然断字。而且中文语料库很少有免费的，要自己去处理语料那真是工程量浩大。因此只有转而求其次，利用网上已有的英文免费文本库中的新闻稿件进行文本挖掘实验。算是做一个rapidminer的练习。

此次任务是对从两种新闻来源中抽取文本，分析其特征词汇，建立分类模型，然后根据模型来检测分类的效果。