变量间的关系的度量
变量间的关系
函数关系:设有两个x和y,y随x一起变化,并完全依赖于x,y是x的函数,y = f ( x ) y = f(x)y=f(x),x为自变量,y为因变量。
相关关系:变量之前存在的不确定的关系称为相关关系。
1.一个变量的取值不能由另一个变量唯一确定
2.当变量x 取某个值时,变量y 的取值对应着一个分布
3.各观测点分布在直线周围
相关关系的描述与测量
散点图:可以通过散点图判断两个变量之间有无相关关系,并对变量间的关系形态做出大致的描述。
相关系数:是度量变量之间线性关系强度的一个统计量。
若相关系数是根据总体全部数据计算的,称为总体相关系数,记为ρ;
若是根据样本数据计算的,则称为样本相关系数,简称为相关系数,记为 r rr,也称为Pearson \textbf{Pearson}Pearson相关系数或者线性相关系数。
相关系数r rr 的性质:
r 的取值范围为 [ 0 , 1 ] [0,1][0,1];
r 具有对称性。即x与y之间的相关系数和y与x之间的相关系数相等,即r x y = r y x r_{xy}= r_{yx}r
r 数值大小与x和y原点及尺度无关,即改变x和y的数据原点及计量尺度,并不改变r数值大小
r 仅仅是x与y之间线性关系的一个度量,它不能用于描述非线性关系。这意味着, r=0只表示两个变量之间不存在线性相关关系,并不说明变量之间没有任何关系 r 虽然是两个变量之间线性关系的一个度量,却不一定意味着x与y一定有因果关系
相关关系的显著性检验
检验两个变量之间是否存在线性相关关系,通常将 r rr 作为 ρ ρρ 的估计值。
r 的抽样分布(不写)
r 的显著性检验
一元线性回归的估计和检验
相关分析目的在于用相关系数测度变量之间的关系强度。
而回归分析侧重于考察变量之间的数量关系,并通过一定的数学表达式将这种关系描述出来,从而确定一个或几个变量(自变量)的变化对另一个特定变量(因变量)的影响程度。具体来说,回归分析具体解决以下几个方面的问题:
1.从一组样本数据出发,确定变量之间的数学关系式。
2.对这些关系式的可信程度进行各种统计检验,并从影响因变量的诸多变量中找出哪些变量的影响是显著的,哪些是不显著的。
3.利用所求的关系式,根据一个或几个自变量的取值来估计或预测因变量的取值,并给出这种估计或预测的可靠程度。
在回归分析中:
被预测或被解释的变量称为因变量,用y表示;
用来预测或被解释的一个或多个变量称为自变量,用x表示;
相关关系的显著性检验
检验两个变量之间是否存在线性相关关系,通常将 r rr 作为 ρ ρρ 的估计值。
一元线性回归的估计和检验
相关分析目的在于用相关系数测度变量之间的关系强度。
而回归分析侧重于考察变量之间的数量关系,并通过一定的数学表达式将这种关系描述出来,从而确定一个或几个变量(自变量)的变化对另一个特定变量(因变量)的影响程度。具体来说,回归分析具体解决以下几个方面的问题:
1.从一组样本数据出发,确定变量之间的数学关系式。
2.对这些关系式的可信程度进行各种统计检验,并从影响因变量的诸多变量中找出哪些变量的影响是显著的,哪些是不显著的。
3.利用所求的关系式,根据一个或几个自变量的取值来估计或预测因变量的取值,并给出这种估计或预测的可靠程度。
在回归分析中:
被预测或被解释的变量称为因变量,用y表示;
用来预测或被解释的一个或多个变量称为自变量,用x表示;
一元线性回归模型
涉及一个自变量的回归。
回归模型:描述因变量y 如何依赖于自变量x 和误差项 ε εε 的方程称为回归模型,一元线性回归模型可表示为:
上述模型称为理论回归模型,对于这一模型,有以下几个假定:
1.因变量y与自变量x之间具有线性关系;
2.在重复抽样中,自变量x的取值是固定的,即假定x是非随机的;
3.对于满足:
回归方程 :描述因变量y的期望值如何依赖于自变量x的方程称为回归方程,一元线性回归方程的形式为:
参数的最小二乘估计
回归直线的拟合优度
估计或预测的精度如何,将取决于回归直线对观测数据的拟合程度。各观测点越是紧密围绕直线,说明对观测数据的拟合程度越好,反之越差。
总平方和(S S T SSTSST):反映因变量的n 个观察值与其均值的总误差。
残差平方和:又称误差平方和,反映除x 以外的其他因素对y 取值的影响,也称为不可解释的平方和或剩余平方和。
回归平方和(SSR):反映自变量x 的变化对因变量y 取值变化的影响,或者说,是由于x 与y 之间的线性关系引起的y 的取值变化,也称为可解释的平方和。
三者的关系为:
估计标准误差(s
e
):反映实际观察值在回归直线周围的分散状况,是均方残差(MSE)的平方根
显著性检验
利用回归方程进行预测
平均值的置信区间
置信区间(confidence interval):利用估计的回归方程,对于自变量x 的一个给定值x
0
,求出因变量y yy的平均值的估计区间,这一估计区间称为置信区间。
比平均值的公式根号内多了个1而已:
残差分析
残差与残差图(检验方差齐性)
残差:因变量的观测值与根据估计的回归方程求出的预测值之差,用e表示,反映了用估计的回归方程去预测而引起的误差。
标准化残差(检验正态性)
标准化残差:也称为Pearson 残差或半学生化残差(semistudentized residuals)。