(1)统计功效低。统计功效又称为统计检验能力,在统计学上定义为不犯Ⅱ类错误的概率(1-β)。当样本小而且α值定得较低时,犯Ⅱ类错误的可能性增加;如果这时α值定得较高,又容易犯Ⅰ类错误。这些都会影响研究的统计结论效度。
(2)违反统计检验的假设。在采用不同检验时,应了解其特定的基本假设并解决有关的问题。例如,对于顺序量表所测得的数据应运用非参数统计方法进行分析;许多统计检验方法要求数据呈正态分布,应注意数据的这一特征,以免违反统计检验的假设,影响研究的统计结论效度。
(3)测量信度低。低信度的测量会夸大估计值的标准差误。测量信度低就降低了统计结论效度。提高测量信度的方法是运用具有高相关项目的较长测验,或者采用较大分析单位。
(4)实验处理实施的可靠性。由于研究者之间的差异或同一研究者在不同时间采用了不同方式实施实验处理,使实验处理不够标准化,这会增大差误变异并减少发现真实差异的可能性,进而降低统计结论效度。
(5)研究背景中随机的无关因素。应尽可能排除无关变异源,并使被试集中注意于实验处理,减少背景变量的突出性和影响。
(6)被试的随机异质性。被试的异质性会降低统计结论效度,也会损害研究的外部效度。这可以通过选择相同同质的被试和采用“被试内设计”的方法来解决。