回归分析中,多重共线性的处理策略方法

2015-12-10 MedSci MedSci原创

在多元线性回归模型经典假设中,其重要假定之一是回归模型的解释变量之间不存在线性关系,也就是说,解释变量X1,X2,……,Xk中的任何一个都不能是其他解释变量的线性组合。如果违背这一假定,即线性回归模型中某一个解释变量与其他解释变量间存在线性关系,就称线性回归模型中存在多重共线性。多重共线性违背了解释变量间不相关的古典假设,将给普通最小二乘法带来严重后果。 造成多重共线性的原因: 1、解

多重共线性(Multicollinearity)一词由弗里希(Frish)于1934年在其撰写的《借助于完全回归系统的统计合流分析》中首次提出。它的原义是指一个回归模型中的一些或全部解释变量之间存在有一种“完全”或准确的线性关系。  同时还有另外一种情况,即解释变量之间虽然不存在严格的线性关系,但是却有近似的线性关系,即解释变量之间高度相关。 在多元线性回归模型经典假设中,其重要假定之一是回归模型的解释变量之间不存在线性关系,也就是说,解释变量X1,X2,……,Xk中的任何一个都不能是其他解释变量的线性组合。如果违背这一假定,即线性回归模型中某一个解释变量与其他解释变量间存在线性关系,就称线性回归模型中存在多重共线性。多重共线性违背了解释变量间不相关的古典假设,将给普通最小二乘法带来严重后果。 造成多重共线性的原因: 1、解释变量都享有共同的时间趋势; 2、一个解释变量是另一个的滞后,二者往往遵循一个趋势; 3、由于数据收集的基础不够宽,某些解释变量可能会一起变动; 4、某些解释变量间存在某种近似的线性关系; 必须指出,多重共线性基本上是一种样本现象。因为人们在设定模型

作者:MedSci



版权声明:
本网站所有注明“来源:梅斯医学”或“来源:MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:梅斯医学”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (12)
#插入话题
  1. 2017-04-14 hanchunhee

    分析时一定要注意的问题。

    0

  2. 2016-01-13 Lynee劲飞扬

    看不懂

    0

  3. 2015-12-26 hixiaoluo

    好文章,值得看。

    0

相关资讯

《医》纪录片第五集《回归》

TA们,每天与病魔《激战》; TA们,给痛苦和绝望中的人一个《暖春》; TA们,为千万人付出毕生《心血》; TA们,过眼人间百态《视界》;TA们,只期盼最纯粹的《回归》。 还原新闻背后的医生群像,倾听最真实的医声。 理解,从这一刻开始... 第五集《回归》讲述上海远大心胸医院程云阁医生回归职业本源的心路历程。

在线课堂:Logistic回归统计系列课程

在统计学中Logistic回归占据着重要的位置,尤其是在临床研究中,Logistic回归一直备受关注。Logistic回归又称Logistic回归分析,主要在流行病学中应用较多,比较常用的情形是探索某疾病的危险因素,根据危险因素预测某疾病发生的概率等。

偏最小二乘回归在医学统计学中的应用

偏最小二乘回归是一种新型的多元统计数据分析方法,它与1983年由伍德和阿巴诺等人首次提出。近十年来,它在理论、方法和应用方面都得到了迅速的发展。密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。 偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面: (1)偏最小二乘回归是一种多因变量对多自变量的回归建模方法。 (2)偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决

SPSS 17.0中如何安装偏最小二乘回归(PLS)模块

不过,在SPSS 22.0中已默认安装了,不必再次安装了。在数据处理中需要在SPSS中用到偏最小二乘回归(Partial Least Squares Regression,PLS)功能,要安装PLS插件,在各个论坛上查找了很多资料,但是发现介绍的都不够具体,导致在装过以后运行的过程中出错。同时,相关软件报错,不能正确安装。同时SPSS被IBM收购,也给同学们带来不好麻烦。 其中偏最小二乘

七种常见的回归分析技术,助力建模和数据分析

回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势,重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七种最常用的回归技术及其关键要素,最后介绍了选择正确的回归模型的关键因素。 什么是回归分析? 回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析,时间序列模

Logistic回归、决策树和支持向量机介绍

分类问题是我们在各个行业的商业业务中遇到的主要问题之一。在本文中,我们将从众多技术中挑选出三种主要技术展开讨论,逻辑回归(Logistic Regression)、决策树(Decision Trees)和支持向量机(Support Vector Machine,SVM)。 上面列出的算法都是用来解决分类问题(SVM和DT也被用于回归,但这不在我们的讨论范围