15. 缺失值处理方法
目录：
一. 直接删除法
二. 用均值/中位数/众数填补
三. 探索变量的相关性插补
四. 探索样本的相似性填补
五. 分类树与回归树预测法插补（rpart包）
六. 多重插补法（mice包）
我是一个大苹果正文：
一、直接删除法
即直接删除含有缺失值的样本，有时最为简单有效，但前提是缺失数据的比例较少，且缺失数据是随机出现的，这样删除缺失数据后对分析结果影响不大。
1. 向量删除缺失值
x<-c(1,2,3,NA,5)
mean(x) #默认不忽略NA值或NaN值，注意与NULL的区别
[1] NA
mean(=TRUE) #忽略缺失值
[1] 2.75
x1<-x[!is.na(x)] #去掉向量中的NA值
x1
[1] 1 2 3 5
x2<-na.omit(x) #返回去掉NA值的向量
x2
[1] 1 2 3 5
attr(,"na.action")
[1] 4
attr(,"class")工作半年
[1] "omit"
na.fail(x) #若向量有NA值，则返回Error
Error in na.fail.default(x) : 对象里有遺漏值
na.fail(x1) #若向量不含NA值，则返回该向量
[1] 1 2 3 5
it(x),"na.action")肉酱怎么做 #返回向量中NA值的下标
[1] 4
attr(,"class")
[1] "omit"
x[is.na(x)]<-0 #将向量x中的NA值替换为0
x
[1] 1 2 3 0 5
2. 删除含缺失值的样本数据
用DMwR包实现。
library(DMwR) #用自带数据集algae，18个变量，200个观测值
library(VIM)
sum(!complete.cas(algae)) #查看含有缺失值的样本个数
[1] 16
algae1<-na.omit(algae) #直接删除所有含缺失值的样本
sum(!complete.cas(algae1))
毛笔字练习
[1] 0
#只删除缺失值过多的样本：缺失值个数大于列数的20%
algae2<-algae[-manyNAs(algae,0.2),] #数据框的“删除行”操作
sum(!complete.cas(algae2))
[1] 14
其中，函数manyNAs(x, nORp)用来查找数据框x中缺失值过多（≥缺失比例nORp）的行；nORp默认为0.2，即缺失值个数≥列数的20%
注：当删除缺失数据会改变数据结构时，通过对完整数据按照不同的权重进行加权，可以降低删除缺失数据带来的偏差。
3. 删除变量
若数据的某变量（列）有较多的缺失值且对研究目标影响不大时，可以将整列删除，这需要在变量的重要性和观测的数量之间做权衡。
4. 做统计分析时排除缺失值
例如，做线性回归时，设置na.it即可：
lm(medv~ptratio+rad, data=BostonHousing,na.action=na.omit)
二、用均值/中位数/众数填补
其优点在于不会减少样本信息，处理简单；其缺点在于当缺失数据不是随机出现时会产成偏误。若某自变量对因变量的影响比较小，那么这种粗略的估计是可以接受的，且有可能会产生令人满意的结果。
使用mlbench包中的BostonHousing数据集作为演示数据。由于BostonHousing数据集没有缺失值，为了演示需要，在数据集中随机插入缺失值。通过这种方法，不仅可以评估由数据缺失带来的精度损失，也可以比较不同处理方式的效果好坏。
#初始化数据集
library(mlbench)
data("BostonHousing",package="mlbench")
treated<-BostonHousing #14个变量，506个观测值
#填充缺失值(随机替换两个变量各40个NA)
t.ed(100)
treated[sample(1:nrow(treated),40),"rad"]<-NA
treated[sample(1:nrow(treated),40),"ptratio"]<-NA
#查看缺失状况
sum(!complete.cas(treated)) #查看缺失值数目
[1] 75
library(mice)
md.pattern(treated) #查看缺失模式
crim zn indus chas nox rm age dis tax b lstat medv rad ptratio
431 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0
35 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1
老鼠胶怎么洗掉
35 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1
5 1 1 1 1 1 1 1 1 1 1 1 1 0 0 2
0 0 0 0 0 0 0 0 0 0 0 0 40 40 80
用均值/中位数/众数填补的代码实现：
library(Hmisc)
treated$ptratio=impute(treated$ptratio, mean) ibelive #插补均值
treated$ptratio=impute(treated$ptratio, median) #插补中位数
treated$ptratio=impute(treated$ptratio, 20.2) #填充特定值
treated$ptratio[is.na(treated$ptratio)]
<-mean(treated$ptratio, na.rm=T) #手动插补均值
#计算均值和中位数插补的准确度
library(DMwR)
actuals<-BostonHousing$ptratio[is.na(treated$ptratio)]
predicteds1<-rep(mean(treated$=TRUE),length(actuals))
regr.eval(actuals,predicteds1)
mae m rm mape
1.62324034 4.19306071 2.04769644 0.09545664
predicteds2<-rep(median(treated$=TRUE),length(actuals))
regr.eval(actuals,predicteds2)
mae m rm mape
1.63500000 4.78600000 2.18769285 0.09933331
信息化建设总结注1：R语言中没有直接求众数的函数，可用sort(table(x))先求频数再排序观察到，再用特定值填充。
注2：函数regr.eval()用来返回真实值与预测值差异的若干统计量：mae为平均绝对误差；m为均方误差；rm为均方根误差；mape为平均绝对百分误差。
另外，DMwR包中提供了函数centralImputation()，可以用数据的中心趋势值来填补缺失值：数值型变量使用中位数，名义变量使用众数。
三、探索变量的相关性插补
探寻变量之间的相关关系，找到相关性较高的两个变量后，再寻找他们之间的线性回归关系，最后通过线性回归关系计算缺失值进行填补。
1. 探寻变量之间的相关关系
使用上一篇中的方法，或者咖啡的主要成分
library(DMwR)
symnum(cor(algae[,4:18],u="complete.obs"))
