Задачи по Эконометрике: Мультиколлинеарность
Н.В. Артамонов (МГИМО МИД России)
1 sleep equation #1
1.1 VIFs
Для набора данных sleep75 рассмотрим линейную регрессию
sleep на totwrk, totwrk^2, age, smsa, male, south.
Какие регрессии нужно рассматривать для вычисления показателей VIF для коэффициентов totwrk, totwrk^2, male ? Ответ
- totwrk на totwrk^2, age, smsa, male, south
- totwrk^2 на totwrk, age, smsa, male, south
- male на totwrk, totwrk^2, age, smsa, south
Результаты подгонки:
=========================================================
Зависимая переменная
-------------------------------------
totwrk `I(totwrk2)` male
(1) (2) (3)
---------------------------------------------------------
`I(totwrk2)` 0.0002*** -0.000
(0.00000) (0.000)
totwrk 4012.515*** 0.0002***
(60.870) (0.0001)
age -0.778 383.170 0.002
(1.087) (4701.687) (0.002)
smsa 35.665 -198244.300* 0.008
(25.872) (111763.300) (0.036)
male 107.051*** -28831.740
(26.547) (116099.400)
south 98.901*** -371646.400*** -0.066
(32.671) (141483.200) (0.046)
Constant 900.258*** -2965949.000*** 0.057
(49.815) (235512.800) (0.085)
---------------------------------------------------------
Observations 706 706 706
R2 0.882 0.879 0.147
Adjusted R2 0.881 0.878 0.141
Residual Std. Error 326.521 1411760.000 0.460
F Statistic 1047.211*** 1019.216*** 24.165***
=========================================================
Note: *p<0.1; **p<0.05; ***p<0.01Вычислите VIF для totwrk, totwrk^2, male. Ответ округлите до 2-х десятичных знаков.
Ответ
totwrk I(totwrk^2) male
8.47 8.26 1.17 1.2 Последствия
Для набора данных sleep75 рассмотрим линейную регрессию
sleep на totwrk, totwrk^2, age, smsa, male.
Результаты оценивания:
===============================================
Зависимая переменная
---------------------------
sleep
-----------------------------------------------
totwrk -0.082*
(0.048)
I(totwrk2) -0.00002*
(0.00001)
age 2.817**
(1.387)
smsa -78.049**
(32.072)
male 86.639**
(34.200)
Constant 3428.805***
(76.655)
-----------------------------------------------
Observations 706
R2 0.128
Adjusted R2 0.122
Residual Std. Error 416.457
F Statistic 20.566***
===============================================
Note: *p<0.1; **p<0.05; ***p<0.01Уровень значимости 5%. Какие коэффициенты значимы? Ответ
[1] "age" "smsa" "male"Тестируется значимость влияния занятости, т.е. гипотеза \(H_0:\beta_{totwrk}=\beta_{totwrk^2}=0\).
Результаты тестирования:
==============
F Pr(> F)
--------------
45.619 0
--------------Вычислите необходимое критическое значение. Ответ округлите до 2-х десятичных знаков.
[1] 3.01Какие результаты тестирования? Ответ
[1] "Гипотеза отвергается"На первый взгляд противоречие.
Потестируем модель на мультиколлинеарность. Посмотрим на VIF для регрессоров
totwrk I(totwrk^2) age smsa male
8.370495 8.199290 1.005968 1.004459 1.169198 и на корреляции
totwrk I(totwrk^2) age smsa male
totwrk 1.000 0.937 -0.050 -0.038 0.376
I(totwrk^2) 0.937 1.000 -0.046 -0.051 0.351
age -0.050 -0.046 1.000 0.025 0.032
smsa -0.038 -0.051 0.025 1.000 0.007
male 0.376 0.351 0.032 0.007 1.000Визуализация корреляций
2 sleep equation #2
2.1 VIFs
Для набора данных sleep75 рассмотрим линейную регрессию
sleep на totwrk, age, age^2, smsa, male, south.
Какие регрессии нужно рассматривать для вычисления показателей VIF для коэффициентов age, age^2, male ? Ответ
- age на totwrk, age, smsa, male, south
- age^2 на totwrk, age, smsa, male, south
- male на totwrk, age, age^2 smsa, south
Результаты подгонки:
======================================================
Зависимая переменная
----------------------------------
age `I(age2)` male
(1) (2) (3)
------------------------------------------------------
totwrk 0.0002*** -0.019*** 0.0002***
(0.0001) (0.005) (0.00002)
`I(age2)` 0.012*** 0.00004
(0.0001) (0.0001)
age 83.036*** -0.001
(0.392) (0.012)
smsa 0.014 -0.555 0.008
(0.111) (9.320) (0.036)
male -0.011 2.636
(0.116) (9.682)
south -0.208 17.250 -0.066
(0.141) (11.798) (0.046)
Constant 19.015*** -1552.146*** 0.129
(0.173) (19.639) (0.241)
------------------------------------------------------
Observations 706 706 706
R2 0.985 0.985 0.147
Adjusted R2 0.985 0.985 0.141
Residual Std. Error 1.407 117.727 0.460
F Statistic 9025.467*** 9043.509*** 24.168***
======================================================
Note: *p<0.1; **p<0.05; ***p<0.01Вычислите VIF для age, age^2, male. Ответ округлите до 2-х десятичных знаков.
Ответ
age I(age^2) male
66.67 66.67 1.17 2.2 Последствия
Для набора данных sleep75 рассмотрим линейную регрессию
sleep на totwrk, age, age^2, smsa, male, union.
Результаты оценивания:
===============================================
Зависимая переменная
---------------------------
sleep
-----------------------------------------------
totwrk -0.165***
(0.018)
age -7.734
(11.213)
I(age2) 0.127
(0.134)
smsa -74.527**
(32.156)
male 86.321**
(34.329)
union 8.574
(38.195)
Constant 3688.551***
(218.389)
-----------------------------------------------
Observations 706
R2 0.125
Adjusted R2 0.117
Residual Std. Error 417.584
F Statistic 16.583***
===============================================
Note: *p<0.1; **p<0.05; ***p<0.01Уровень значимости 10%. Какие коэффициенты значимы? Ответ
[1] "totwrk" "smsa" "male" Тестируется значимость влияния занятости, т.е. гипотеза \(H_0:\beta_{age}=\beta_{age^2}=0\).
Результаты тестирования:
=============
F Pr(> F)
-------------
2.497 0.083
-------------Вычислите необходимое критическое значение. Ответ округлите до 2-х десятичных знаков.
[1] 2.31Какие результаты тестирования? Ответ
[1] "Гипотеза отвергается"На первый взгляд противоречие.
Потестируем модель на мультиколлинеарность. Посмотрим на VIF для регрессоров
totwrk age I(age^2) smsa male union
1.195469 65.397082 65.561373 1.004278 1.171666 1.007332 и на корреляции
totwrk age I(age^2) smsa male union
totwrk 1.000 -0.050 -0.067 -0.038 0.376 0.002
age -0.050 1.000 0.992 0.025 0.032 -0.037
I(age^2) -0.067 0.992 1.000 0.024 0.026 -0.042
smsa -0.038 0.025 0.024 1.000 0.007 -0.039
male 0.376 0.032 0.026 0.007 1.000 0.040
union 0.002 -0.037 -0.042 -0.039 0.040 1.000Визуализация корреляций
3 sleep equation #3
3.1 VIFs
Для набора данных sleep75 рассмотрим линейную регрессию
sleep на totwrk, south, totwrk\(\star\)south, age, male, smsa.
Какие регрессии нужно рассматривать для вычисления показателей VIF для коэффициентов totwrk, south, male ? Ответ
- totwrk на south, totwrk\(\star\)south, age, male, smsa
- south на totwrk, totwrk\(\star\)south, age, male, smsa
- totwrk\(\star\)south на totwrk, south, age, male, smsa
Результаты подгонки:
================================================================
Зависимая переменная
--------------------------------------------
totwrk south `I(totwrk * south)`
(1) (2) (3)
----------------------------------------------------------------
south -1780.732*** 2208.748***
(225.404) (31.491)
totwrk -0.00005*** 0.124***
(0.00001) (0.014)
`I(totwrk * south)` 0.862*** 0.0004***
(0.094) (0.00001)
age -3.438 0.0004 -1.210
(2.759) (0.0004) (1.046)
male 645.996*** -0.007 3.804
(63.604) (0.011) (25.841)
smsa -46.641 -0.024** 2.676
(65.561) (0.010) (24.876)
Constant 1883.936*** 0.116*** -216.759***
(120.399) (0.022) (52.419)
----------------------------------------------------------------
Observations 706 706 706
R2 0.241 0.883 0.886
Adjusted R2 0.235 0.882 0.885
Residual Std. Error 828.439 0.133 314.223
F Statistic 44.429*** 1057.246*** 1082.775***
================================================================
Note: *p<0.1; **p<0.05; ***p<0.01Вычислите VIF для totwrk, south, totwrk\(\star\)south. Ответ округлите до 2-х десятичных знаков.
Ответ
totwrk south I(totwrk * south)
1.32 8.55 8.77 3.2 Последствия
Для набора данных sleep75 рассмотрим линейную регрессию
sleep на totwrk, south, totwrk\(\star\)south, age, male, smsa,
marr.
Результаты оценивания:
===============================================
Зависимая переменная
---------------------------
sleep
-----------------------------------------------
totwrk -0.177***
(0.019)
south -39.982
(118.087)
I(totwrk * south) 0.064
(0.050)
age 2.901**
(1.386)
male 86.269**
(34.833)
smsa -54.647*
(33.074)
marr 29.985
(41.857)
Constant 3458.811***
(78.683)
-----------------------------------------------
Observations 706
R2 0.133
Adjusted R2 0.124
Residual Std. Error 415.835
F Statistic 15.319***
===============================================
Note: *p<0.1; **p<0.05; ***p<0.01Уровень значимости 5%. Какие коэффициенты значимы? Ответ
[1] "totwrk" "age" "male" Тестируется значимость влияния географической бинарной переменной, т.е. гипотеза \(H_0:\beta_{south}=\beta_{totwrk*south}=0\).
Результаты тестирования:
=============
F Pr(> F)
-------------
3.737 0.024
-------------Вычислите необходимое критическое значение. Ответ округлите до 2-х десятичных знаков.
[1] 3.01Какие результаты тестирования? Ответ
[1] "Гипотеза отвергается"На первый взгляд противоречие.
Потестируем модель на мультиколлинеарность. Посмотрим на VIF для регрессоров
totwrk south I(totwrk * south) age
1.328161 8.553057 8.734279 1.007988
male smsa marr
1.216541 1.071376 1.048792 и на корреляции
totwrk south I(totwrk * south) age male smsa marr
totwrk 1.000 0.051 0.175 -0.050 0.376 -0.038 -0.025
south 0.051 1.000 0.932 -0.018 -0.034 -0.238 -0.036
I(totwrk * south) 0.175 0.932 1.000 -0.038 0.018 -0.224 -0.038
age -0.050 -0.018 -0.038 1.000 0.032 0.025 0.018
male 0.376 -0.034 0.018 0.032 1.000 0.007 0.167
smsa -0.038 -0.238 -0.224 0.025 0.007 1.000 -0.081
marr -0.025 -0.036 -0.038 0.018 0.167 -0.081 1.000Визуализация корреляций
4 wage equation #1
4.1 VIFs
Для набора данных wage2 рассмотрим линейную регрессию
log(wage) на age, age^2, IQ, married, south, urban.
Какие регрессии нужно рассматривать для вычисления показателей VIF для коэффициентов age, age^2, urban ? Ответ
- age на age^2, IQ, married, south, urban
- age^2 на age, IQ, married, south, urban
- urban на age, age^2, IQ, married, south
Результаты подгонки:
=========================================================
Зависимая переменная
-------------------------------------
age `I(age2)` urban
(1) (2) (3)
---------------------------------------------------------
`I(age2)` 0.015*** -0.003
(0.00002) (0.002)
age 66.523*** 0.188
(0.087) (0.118)
IQ -0.0001 0.008 0.0005
(0.0003) (0.018) (0.001)
married -0.003 0.301 -0.053
(0.013) (0.879) (0.048)
south 0.010 -0.698 -0.102***
(0.009) (0.586) (0.032)
urban 0.014 -0.962
(0.009) (0.603)
Constant 16.514*** -1096.784*** -2.337
(0.039) (3.612) (1.963)
---------------------------------------------------------
Observations 935 935 935
R2 0.998 0.998 0.016
Adjusted R2 0.998 0.998 0.011
Residual Std. Error 0.124 8.247 0.448
F Statistic 117401.200*** 117419.000*** 3.112***
=========================================================
Note: *p<0.1; **p<0.05; ***p<0.01Вычислите VIF для age, age^2, urban. Ответ округлите до 2-х десятичных знаков.
Ответ
age I(age^2) urban
500.00 500.00 1.02 4.2 Последствия
Для набора данных wgae2 рассмотрим линейную регрессию
log(wage) на age, age^2, IQ, married, south, urban.
Результаты оценивания:
===============================================
Зависимая переменная
---------------------------
log(wage)
-----------------------------------------------
age 0.145
(0.100)
I(age2) -0.002
(0.002)
IQ 0.008***
(0.001)
married 0.202***
(0.040)
south -0.100***
(0.027)
urban 0.173***
(0.028)
Constant 2.938*
(1.656)
-----------------------------------------------
Observations 935
R2 0.201
Adjusted R2 0.196
Residual Std. Error 0.378
F Statistic 38.898***
===============================================
Note: *p<0.1; **p<0.05; ***p<0.01Уровень значимости 5%. Какие коэффициенты значимы? Ответ
[1] "IQ" "married" "south" "urban" Тестируется значимость влияния занятости, т.е. гипотеза \(H_0:\beta_{age}=\beta_{age^2}=0\).
Результаты тестирования:
==============
F Pr(> F)
--------------
14.833 0.00000
--------------Вычислите необходимое критическое значение. Ответ округлите до 2-х десятичных знаков.
[1] 3.01Какие результаты тестирования? Ответ
[1] "Гипотеза отвергается"На первый взгляд противоречие.
Потестируем модель на мультиколлинеарность. Посмотрим на VIF для регрессоров
age I(age^2) IQ married south urban
632.868517 632.964483 1.049260 1.013807 1.061287 1.016749 и на корреляции
age I(age^2) IQ married south urban
age 1.000 0.999 -0.044 0.107 -0.029 -0.007
I(age^2) 0.999 1.000 -0.043 0.107 -0.031 -0.009
IQ -0.044 -0.043 1.000 -0.015 -0.210 0.039
married 0.107 0.107 -0.015 1.000 0.023 -0.040
south -0.029 -0.031 -0.210 0.023 1.000 -0.110
urban -0.007 -0.009 0.039 -0.040 -0.110 1.000Визуализация корреляций
5 wage equation #2 (структурные сдвиги)
5.1 VIFs
Для набора данных wage2 рассмотрим линейную регрессию
log(wage) на age, urban, age\(\star\)urban, IQ, IQ\(\star\)urban.
Какие регрессии нужно рассматривать для вычисления показателей VIF для коэффициентов age, urban, age\(\star\)urban ? Ответ
- age на urban, age\(\star\)urban, IQ, IQ\(\star\)urban
- urban на age, age\(\star\)urban, IQ, IQ\(\star\)urban
- age\(\star\)urban на age, urban, IQ, IQ\(\star\)urban
Результаты подгонки:
============================================================
Зависимая переменная
----------------------------------------
age urban `I(age * urban)`
(1) (2) (3)
------------------------------------------------------------
urban -33.242*** 33.565***
(1.111) (0.692)
age -0.015*** 0.698***
(0.0005) (0.015)
`I(age * urban)` 1.000*** 0.021***
(0.022) (0.0004)
IQ -0.001 -0.002*** 0.001
(0.007) (0.0001) (0.006)
`I(IQ * urban)` 0.001 0.003*** -0.005
(0.008) (0.0001) (0.007)
Constant 33.242*** 0.688*** -23.206***
(0.692) (0.015) (0.764)
------------------------------------------------------------
Observations 935 935 935
R2 0.699 0.994 0.991
Adjusted R2 0.698 0.994 0.991
Residual Std. Error 1.709 0.036 1.428
F Statistic 539.592*** 36288.320*** 25938.390***
============================================================
Note: *p<0.1; **p<0.05; ***p<0.01Вычислите VIF для age, urban, age\(\star\)urban. Ответ округлите до 2-х десятичных знаков.
Ответ
age urban I(age * urban)
3.32 166.67 111.11 5.2 Последствия
Для набора данных wgae2 рассмотрим линейную регрессию
log(wage) на age, IQ, south, urban, age\(\star\)urban, IQ\(\star\)urban, south\(\star\)urban.
Результаты оценивания:
===============================================
Зависимая переменная
---------------------------
log(wage)
-----------------------------------------------
age 0.024***
(0.007)
IQ 0.008***
(0.002)
south -0.014
(0.052)
urban 0.237
(0.368)
I(age * urban) -0.001
(0.009)
I(IQ * urban) -0.00001
(0.002)
I(south * urban) -0.117*
(0.061)
Constant 4.999***
(0.312)
-----------------------------------------------
Observations 935
R2 0.182
Adjusted R2 0.176
Residual Std. Error 0.382
F Statistic 29.417***
===============================================
Note: *p<0.1; **p<0.05; ***p<0.01Уровень значимости 1%. Какие коэффициенты значимы? Ответ
[1] "age" "IQ" Тестируется значимость влияния места жительства, т.е. гипотеза \(H_0:\beta_{urban}=\beta_{age*urban}=\beta_{IQ*urban}=\beta_{south*urban}=0\).
Результаты тестирования:
==============
F Pr(> F)
--------------
10.250 0.00000
--------------Вычислите необходимое критическое значение. Ответ округлите до 2-х десятичных знаков.
[1] 3.34Какие результаты тестирования? Ответ
[1] "Гипотеза отвергается"На первый взгляд противоречие.
Потестируем модель на мультиколлинеарность. Посмотрим на VIF для регрессоров
age IQ south urban
3.394929 3.879824 3.832146 175.876722
I(age * urban) I(IQ * urban) I(south * urban)
114.318464 53.135490 4.087171 и на корреляции
age IQ south urban I(age * urban) I(IQ * urban)
age 1.000 -0.044 -0.029 -0.007 0.137 -0.020
IQ -0.044 1.000 -0.210 0.039 0.030 0.260
south -0.029 -0.210 1.000 -0.110 -0.106 -0.136
urban -0.007 0.039 -0.110 1.000 0.985 0.964
I(age * urban) 0.137 0.030 -0.106 0.985 1.000 0.947
I(IQ * urban) -0.020 0.260 -0.136 0.964 0.947 1.000
I(south * urban) 0.010 -0.097 0.741 0.334 0.332 0.288
I(south * urban)
age 0.010
IQ -0.097
south 0.741
urban 0.334
I(age * urban) 0.332
I(IQ * urban) 0.288
I(south * urban) 1.000Визуализация корреляций
