方差分析和回归分析的联系,方差与回归分析

文章来源： 丁点帮你微信公众号

作者：丁点helper

无论是单因素还是双因素方差分析，我们可以发现，它们都有一些共性，比如研究的因变量（如前文的硒含量、满意度得分），都是定量变量；而自变量，即分组变量（如地区、教育程度、性别）都是定性变量。

现在我们将前文“满意度得分的例子”继续延伸：除了我们关注的“教育程度”和“性别”外，还有其他变量会影响人们对生活的满意度得分吗？

当然有，比如收入水平！

很显然，一个人的工资多少完全可能直接决定他目前对生活的满意度。因此，倘若我们忽视了调查对象的收入情况，仅研究教育程度和性别的影响，这样就可能造成结果产生偏移，也就是说可能本来没意义的结果变成了有意义，从而得出误导性的判断。

因此，在这种情况下，“收入”这个变量就被称为“协变量”，可以记为“Z”。纳入协变量的方差分析，即称协方差分析。

一般而言，进行协方差分析的协变量为“定量变量”，比如本例中的“人均月收入”，它一般不是研究者重点研究的变量（本例中重点研究的是教育程度和性别），但因为它会对分析结果造成干扰，因此在分析过程中必须要将其纳入。

所以，协方差分析仍然是建立在方差分析这个基本框架之上的，其思想与单因素以及双因素方差分析区别也不大，并且在进行分析前数据需要满足的条件也都需要。

此外，因为加入了一个新的变量——协变量，所以也有些额外了条件需要满足。我们今天对这些条件做些概述。

1）变量的类型：一般而言，进行协方差分析，因变量是定量的连续变量（如本例的“满意度得分”）；自变量是分类变量（可以加入多个自变量，如本例中的“教育程度”和“性别”）；协变量是连续变量（如本例的“收入”）。

2）线性关系：原则上需要协变量与因变量存在线性关系。

3）平行性假设：分组变量的不同水平下，协变量与因变量的回归直线互相平行。

线性假设和平行性假设初次看起来可能比较难理解，但实际上就是为了排除所谓的交互作用。什么是交互作用呢？

比如我们想研究“教育程度”与“满意度得分”的关系，协变量是收入。在不考虑协变量时，发现随着教育程度的升高，人们的满意度得分也逐渐升高，比如教育上升一个等级（从“高中毕业”到“大学本科”，或者从“大学本科”升至“研究生及以上”），满意度得分都会增加5分。

现在加入“收入”这个协变量之后，发现随着教育程度升高，满意度得分也升高，但是不同的学历程度，其升高的幅度不一样。

比如，加入协变量之后，从“高中毕业”升至“大学本科”，满意度得分仍增加5分；但如果从“大学本科”升至“研究生及以上”，满意度得分仅仅增加3分。这个时候，我们就说收入与教育程度产生了交互作用。

产生了交互作用，也就意味着收入对生活满意度的影响会随着教育程度的变化而变化（注意这里的措辞，收入影响的是满意度和教育程度的相关关系，而不仅仅是其中某一个变量，这是理解交互作用的核心）

这句话也可以反过来说。教育程度对生活满意度的影响会随着人们收入不同而不同，用线性回归的术语来表示就是：不同的教育程度下，收入与满意度得分的回归直线斜率（β）不同，因此，它们就不会平行（两直线平行需要斜率相同）。

所以，想满足平行线假设，就需要协变量与自变量之间不存在交互作用，这个可以通过专门的检验方法来判断。

看到这里，你可能会疑惑，明明在讲方差分析，怎么扯到回归的内容了？

是的，方差分析和回归分析实际上可以看做是一回事儿，只是两者侧重点略有不同，前者主要是比较差异，后者主要是算影响的效应值（即回归系数β，这一点我们后面详述）。

一方面对于多因素或协方差分析的SPSS操作，我们称作“一般线性模型”；另外在进行回归分析之后软件也都会首先弹出一个方差分析的大表，检验整个回归模型是否有意义。

只不过我们在进行回归分析时，并没有严格区分自变量和协变量，而是将它们一股脑地全部纳入回归模型，然后筛选出最终有意义的变量。

因此，我们现在讲的方差分析，其实就是后续回归分析的一些特例，从回归的角度理解方差分析，相信你会看的更加明了！

回到我们今天的主题，除了上述三个条件，在进行协方差分析时也需要注意其他条件，比如常说的正态、独立、方差齐等，处理的方法也和普通的方差分析基本相同，暂不赘述。

方差分析和回归分析的异同是什么

一、方差分析和回归分析的区别与联系？（以双变量为例） 联系： 1、概念上的相似性 回归分析是为了分析变量间的因果关系，研究自变量X取不同值时，因变量平均值Y的变化。运用回归分析方法，可以从变量的总偏差平方和中分解出已被自变量解释掉的误差（解释掉误差）和未被解释掉的误差（剩余误差）； 方差分析是为了分析或检验总体间的均值是否有所不同。通过对样本中自变量X取不同值时所对应的因变量Y均值的比较，推论到总体变量间是否存在关系。运用方差分析，也可以从变量的总离差平方和中分解出已被自变量解释掉的误差和未被自变量解释掉的误差。因此两种分析在概念上所具有的相似性是显而易见的。 2、统计分析步骤的相似性 回归分析在确定自变量X是否为因变量Y的影响因素时，从分析步骤上先对X和Y进行相关分析，然后建立变量间的回归模型。最后再进行参数的统计显著性检验或对回归模型的统计显著性进行检验。 方差分析在确定X是否是Y的影响因素时，是先从样本所的数据的分析入手，然后考察数据模型，最后对样本均值是否相等进行显著性检验。二者在分析步骤上也具有相似性。 3、假设条件具有一定的相似性 回归分析有五个基本假定，分别是：自变量可以是随机变量也可以是非随机变量；X与Y之间存在的非确定性的相关关系，要求Y的所有子总体，其方差都相等；子总体均值在一条直线上；随机变量Yi是统计独立的，即Y1的数值不影响Y2的数值，各Y值之间都没有关系；Y值的每一个子总体都满足正态分布。 方差分析的基本假定有：等方差性（总体中自变量的每一取值所对应因变量Yi的分布都具有相同方差）；Yi的分布为正态分布。 二者在假设条件上存在着相同。 4、在总离差平方和中的分解形式和逻辑上的相似性 回归分析中，TSS=RSS+RSSR，而在方差分析中，TSS=RSS+BSS。二者均是以已解释掉的误差与未被解释掉的误差之和为总离差平方和。 5、确定影响因素上的相似性 为简化分析起见,我们假设只有一个自变量X影响因变量Y。在回归分析中,要确定X是否是Y的影响因素,就要看当X已知时,对Y的总偏差有无影响。如果X不是影响Y的因素,等同于只知变数Y的数据列一样,此时用Y去估计每个丫的值,所犯的错误(即偏差)为最小。如果因素X是影响Y的因素,那么当已知X值后 6、在统计显著性检验上具有相似性 回归分析的总显著性检验,是一种用R2测量回归的全部解释功效的检验。检验RSSR*(N-2)/RSS， 方差分析的显著性检验是一种根据样本数据提取信息所进行的显著性检验。它也是通过F检验进行的。 区别： 1、研究变量的分析点不同回归分析法既研究变量Y又研究变量X并在此基础上集中研究变量Y与X的函数关系,得到的是在不独立的情况下自变量与因变量之间的更加精确的回归函数式,也即判断相关关系的类型，因此需建立模型并估计参数。方差分析法集中研究变量Y的值及其变差而变量X值仅用来把Y值划分为子群或组,得到的是自变量(因素)对总量Y是否具有显著影响的整体判断，因此不需要建立模型和估计参数。 2、变量层次不同 回归分析的数据则要求是连续的,总量也要求是连续的,所以回归分析对连续性变量非常有效，回归分析研究的是定量因素自变量X对因变量Y的影响,变量Y与X均用定距尺度去测量。当然,在回归分析中也不是绝对排斥定性因素对应变数Y的影响,因为对定性因素可采用虚拟变数的处理方法。方差分析中的因素与总量的数据可以是定性的,计数的,也可以是计量的,或者说是离散的或连续的。尤其方差分析对于因素是定性数据也非常有效。变量Y用定距尺度去测量,变数X用定类尺度之测量。 3、 回归分析只能分析出变量之间关系比较简单的回归函数式,对比较复杂的关系无能为力。方差分析若得到因素与总量Y之间有显著性关系,但到底是怎样的关系做不出具体的回答,只能用回归分析来得到它们之间的回归函数关系式。方差分析不管变量之间(因素与总量Y)的关系有多么复杂,总能得到因素对总量Y的影响是否显著的整体判断。 4、确定Y均值方法不同 回归分析由于使用的对应顺序数据,即Xi只有一个Yi与之对应,因此Y无法由已知数据确定,它是通过建立回归方程求的。而方差分析因素Xi对应的Y是直接通过试验数据求得的。 5、所得结果提供的信息不同 回归分析可提供两种类型的信息:一是依据最小二乘法原则，建立X和Y的相关模型，并在X取不同值时影响对应的Y变量的数值，通过X取值可以对Y取值进行预估；二是因变量Y的总变差分解为相加的分量，用之进行F检定。而方差分析仅仅提供后一种。

请教，协方差分析和方差分析的区别

通俗的说，协方差分析就是在方差分析得基础上加上几个协助变量；或者说，方差分析其实就是协方差分析，或是协方差分析的一种特殊情况。

协方差分析是加入协变量的方差分析，协变量实际上就是我们所说的控制变量，你的调查研究中如果有一些你并不真正关心、但有可能对因变量有影响的变量，你可以将其作为协变量，这就意味着你控制了该变量对因变量的效应，从而可以考察自变量与因变量的真实关系。

协方差分析出了要设定协变量这一点，其他方面与一般的方差分析没有太大区别。

简介

协方差分析亦称“共变量（数）分析”。方差分析的引申和扩大。基本原理是将线性回归与方差分析结合起来，调整各组平均数和 F 检验的实验误差项，检验两个或多个调整平均数有无显著差异，以便控制在实验中影响实验效应（因变量）而无法人为控制的协变量（与因变量有密切回归关系的变量）在方差分析中的影响。