- 统计学习理论与方法:R语言版
- 左飞
- 2417字
- 2021-04-01 19:25:42
4.4 威尔科克森的秩和检验
威尔科克森秩和检验也是一种常用的非参数检验方法,它又被称为曼-惠特尼-威尔科克森检验(Mann-Whitney-Wilcoxon Test),简称MWW检验。与符号秩检验不同的是,秩和检验可以应用于两个独立的样本数据集。如果选自一个总体的样本值和选自另一总体的样本值没有关系,或者没有某种形式的匹配,就称这两个样本是独立的。
威尔科克森秩和检验与参数检验法中独立样本的t检验法相对应。当“总体正态”这一前提不成立时,不能用t检验,可以用秩和检验法;当两个样本都为顺序变量(例如由秩组成的数据)时,也需使用秩和法进行差异显著性检验。在应用秩和检验法时假设有两个随机选择的独立样本。同样,秩和检验也不要求两个总体服从正态分布或者其他特殊分布。威尔科克森秩和检验的原假设和备择假设一般如下
H0:两个样本来自于具有相同分布的总体,即这两个总体是相同的。
H1:两个样本来自于具有不同分布的总体,即两个总体在某方面有差异。
威尔科克森秩和检验的核心思想是:如果两个样本抽取自相同的总体,且这些值都在数值的一个合并集中进行了排序,那么高的秩和低的秩应该平均地落在两个样本之中。如果在一个样本中发现低秩特别显著,而在另一样本中发现高秩特别显著,那么就有理由怀疑这两个总体是不同的。
如何评估这些高秩和低秩是否平均地落在了两个样本中呢?我们用n1来表示样本1的容量,用n2来表示样本2的容量。用T来表示总体1观察值的秩之和。如果原假设为真,即两个总体具有相同的分布。我们从容量为N的总体1中抽取了一个容量为n1的样本1,所以样本1的秩集就相当于是从1,2,…,N的整数值中抽取的容量为n1的一个随机样本。因为样本1和样本2合并后产生的秩集是从1,2,…,n1+n2+1的一个整数集合,其均值为
所以在原假设前提下,T的期望和方差应该分别为
其中用到了这样的一个结论,即整数1,2,…,n具有标准差。
直观上如果T比μT大很多或小很多,就有理由拒绝原假设。秩和检验的拒绝域具体给出了,当原假设被拒绝时T和μT差异的大小。在具体执行时拒绝的临界值可以从相关的统计表中查到。
对于备择假设而言,当两个总体在某方面有差异,具体可以分成三种情形,首先是总体1是总体2的一个右平移,给定显著水平,差临界值表得到TU,若T>TU,U表示Upper即右边界,则可以拒绝原假设。其次是总体1是总体2的一个左平移,差临界值表得到TL,若T<TL,L表示Lower即左边界,则可以拒绝原假设。显然前两种都是单尾的。最后一种则是双尾的,即总体1和总体2互为平移,若T>TU或者T<TL,则拒绝原假设。
来看一个例子,现在讨论的都是n1≤10且n2≤10的情况。有研究人员想检验一下酒精对于反应时间的影响。10名参与者饮用了指定剂量的含酒精饮料,另外10名则饮用同样多的不含酒精的饮品(一种安慰剂)。参与者并不知道自己所喝的饮料中是否含有酒精。表4-17给出了这20个人对一系列测试的反应时间(以秒计)。请问酒精是否使得反应时间延长了?
表4-17 实验测试结果
根据描述,建立如下原假设及备择假设。
H0:对应于安慰剂和酒精的两个反应时间总体分布相同。
H1:对应于安慰剂的反应时间之总体分布是对应于酒精的反应时间之总体分布的左平移,及饮酒会延长反应时间。
将两组数据混合后排序,并编秩,中间计算结果如表4-18所示。
表4-18 中间计算结果
对于α=0.05,执行单尾检验,n1=n2=10,查表可得TL=83。计算T的值,即从总体1中抽取的样本的秩和,T=TX=1+2+3+4+5+6+7+8+16+18=70。因为T<TL,则拒绝原假设,进而认为安慰剂总体的反应时间小于酒精总体。
在R中同样可以使用wilcox.test()函数来执行威尔科克森秩和检验,此时只需将参数paired的值置为默认值FALSE即可,因为默认值为FALSE,所以也可缺省。示例代码如下。
可见P值为0.003 421<α=0.05,同样拒绝原假设。
当两个样本容量都大于10时,T的抽样分布近似于正态;于是可以在威尔科克森秩和检验中用z统计量代替T,即
理论上,威尔科克森秩和检验要求总体分布是连续的,所以任意两个数值相等的概率为零。在介绍秩的概念时,我们已经给出了相等秩的处理方法。此时我们还需调整T的方差,调整后的值为
其中,k是相等数据的组数,tj是第j组相等的观察值中数据的个数。当没有相等数据时,对所有的j,tj=1,这时情况与我们最初给出的方差公式一致。实际上,除非有许多相等数据,否则,调整对的影响不大。
来看一个例子。研究人员想确定一个湖泊中的清理工程是否奏效。为此在工程开始前,他们从湖中抽取了12个水样,然后测定其中的溶解氧含量(单位:ppm),因为溶解氧含量在夜间有所波动,因此所有测量均在下午2点的高峰期进行。工程开展前后的数据如表4-19所示。
表4-19 溶解氧的含量数据/ppm
根据描述,提出下列原假设与备择假设
H0:清理前后数据的分布相同。
H1:清理前数据的分布是清理后数据分布的一个右移。
注意如果溶解氧含量降低,则说明清理工程有效,而表现在分布上即为清理前数据的分布是清理后数据分布的一个右移(或者说,清理后数据分布发生了左移)。
同样,混合24个样本观察值,并赋与相应的秩,处理两个或两个以上相同观察值的方法遵循前面介绍的方法,即取平均值。中间结果如表4-20所示。
表4-20 中间计算结果
因为n1和n2的值都大于10,所以可以使用检验统计量z。如果想要检验出清理后观察值的分布向左平移,那么就应该期望样本X的秩和就应该较大。因此,如果z=(T-μT)/σT值较大,就应该拒绝原假设。其中,T=TX=10+14+14+14+17+18+19+20+21+22.5+22.5+24=216。另外根据前面给出的公式可以算得
所以检验统计量z的值为
从图4-2可见,这个值大于1.645,位于拒绝域内,所以拒绝原假设。从而得出结论:清除前的分布是清除后分布的一个右平移,即清除后溶解氧的含量小于清除前的含量。
还可以用下面的代码计算相应的P值。
图4-2 拒绝域与非拒绝域
最后直接使用R提供的wilcox.test()函数来执行秩和检验,易见最终得到的P值与前面人工算得的一致,因为P值小于0.05,同样可以据此推翻原假设,进而认为清理工程确实有效。
威尔科克森秩和检验具有非常优异的效力,所涉及的计算也更简单。所以即使在正态分布得以满足的条件下,研究人员也更倾向于使用秩和检验,而非本书前面介绍的参数检验。