(1)数据的质量差:数据分析程序的效度或统计结论的有效性,是以数据的质量为基础的。在一项研究中,如果采用的测量工具信度较低,就会增大测量的标准误差。同样如果实施实验处理方式不够标准化,也会增大变异。这些都会影响数据的质量,进而降低统计结论效度。
(2)违反统计检验的假设:如果在分析数据时违反有关统计检验的假设或条件(如违反对数据正态分布的要求,违反对数据定距水平的要求),就会降低统计结论效度。
(3)统计检验能力低:在统计学上,不犯Ⅱ类错误的概率(1—β)反映着正确辨认真正差异的能力,因而被称为统计检验力。如果真实差异很小时,某个检验就能以较大的把握接受它,就说这个检验的统计检验力比较大。在研究中,当样本小,而且α值定的较低时,犯Ⅱ类错误的可能性就会增加:如果α值定的较高,又容易犯Ⅰ类错误。这些都会降低统计检验能力,影响统计结论效度。