+ - 0:00:00
Notes for current slide
Notes for next slide

Estadística Multivariada

Juan Carlos Castillo

Sociología FACSO - UChile

1er Sem 2022

multivariada.netlify.com


Sesión 5: Regresión múltiple (1)

1 / 33

Concepto clave de la sesión de hoy:

control estadísitico en regresión múltiple

2 / 33

Repaso regresión simple

3 / 33

Componentes de la ecuación de la recta de regresión

ˆY=b0+b1XˆY=b0+b1X

Donde

  • ˆYˆY es el valor estimado de YY

  • b0b0 es el intercepto de la recta (el valor de Y cuando X es 0)

  • b1b1 es el coeficiente de regresión, que nos dice cuánto aumenta Y por cada punto que aumenta X

4 / 33

Resumiendo: Modelo de regresión (simple)

  • Se estima mediante el método de mínimos cuadrados ordinarios (OLS)
5 / 33

Resumiendo: Modelo de regresión (simple)

  • Se estima mediante el método de mínimos cuadrados ordinarios (OLS)
5 / 33

Resumiendo: Modelo de regresión (simple)

  • Se estima mediante el método de mínimos cuadrados ordinarios (OLS)
  • Permite estimar el valor de una variable ( ˆYˆY ) a partir del valor conocido de otra variable ( XX )
5 / 33

Resumiendo: Modelo de regresión (simple)

  • Se estima mediante el método de mínimos cuadrados ordinarios (OLS)
  • Permite estimar el valor de una variable ( ˆYˆY ) a partir del valor conocido de otra variable ( XX )
  • La estimación se expresa en el coeficiente de regresión b1b1, también llamado "beta" o pendiente
5 / 33

Resumiendo: Modelo de regresión (simple)

  • Se estima mediante el método de mínimos cuadrados ordinarios (OLS)
  • Permite estimar el valor de una variable ( ˆYˆY ) a partir del valor conocido de otra variable ( XX )
  • La estimación se expresa en el coeficiente de regresión b1b1, también llamado "beta" o pendiente
  • "Por cada unidad que aumenta X, Y aumenta en b1b1 unidades"
5 / 33

Descomponiendo Y

SStot=SSreg+SSerrorSStot=SSreg+SSerror

6 / 33

Varianza explicada II

image

  • Un porcentaje de la variación de Y puede ser asociado a la variación de X: R2R2
7 / 33

Resumen regresión simple ... hasta ahora

  • Coeficiente de regresión por mínimos cuadrados: permite predecir en cuántas unidades aumenta Y por cada punto de aumento en X
8 / 33

Resumen regresión simple ... hasta ahora

  • Coeficiente de regresión por mínimos cuadrados: permite predecir en cuántas unidades aumenta Y por cada punto de aumento en X

  • El valor del beta de regresión nos informa sobre una magnitud y sentido de la pendiente, no sobre la bondad (ajuste) del modelo

8 / 33

Resumen regresión simple ... hasta ahora

  • Coeficiente de regresión por mínimos cuadrados: permite predecir en cuántas unidades aumenta Y por cada punto de aumento en X

  • El valor del beta de regresión nos informa sobre una magnitud y sentido de la pendiente, no sobre la bondad (ajuste) del modelo

  • El ajuste del modelo a los datos se relaciona con la proporción de residuos generados por el modelo respecto de la varianza total de Y (R2)

8 / 33

Introducción

a regresión múltiple

9 / 33

Estadística multivariada

  • Hacia la explicación de los fenómenos sociales


10 / 33

Estadística multivariada

  • Hacia la explicación de los fenómenos sociales

ˆY=β0+β1X1ˆY=β0+β1X1

11 / 33

Estadística multivariada

  • Hechos sociales: multicausales

12 / 33

Estadística multivariada y regresión múltiple

  • Hechos sociales: multicausales

ˆY=β0+β1X1+β2X2+β3X3+βiXiˆY=β0+β1X1+β2X2+β3X3+βiXi

13 / 33

El modelo de regresión es un modelo SUMATIVO


ˆY=β0+β1X1+β2X2+β3X3+βiXiˆY=β0+β1X1+β2X2+β3X3+βiXi

14 / 33

entonces ... ¿simplemente agregar más predictores al modelo?

^ingreso=β0+β1educación+β2edad+β3género+...+βiXiˆingreso=β0+β1educación+β2edad+β3género+...+βiXi

15 / 33

entonces ... ¿simplemente agregar más predictores al modelo?

^ingreso=β0+β1educación+β2edad+β3género+...+βiXiˆingreso=β0+β1educación+β2edad+β3género+...+βiXi

si, pero ...

15 / 33

Posibilidad de predictores correlacionados

16 / 33

Posibilidad de predictores correlacionados

¿Qué implicancias puede tener para la estimación la correlación entre predictores?

16 / 33

Agregando predictores al modelo

^Ingreso=b0+b1(Educ)ˆIngreso=b0+b1(Educ)

17 / 33

Agregando predictores al modelo

^Ingreso=b0+b1(Educ)ˆIngreso=b0+b1(Educ)

^Ingreso=b0+b1(Educ)+b2(Int)ˆIngreso=b0+b1(Educ)+b2(Int)

17 / 33
  • Tenemos un modelo teórico que relaciona ingreso con nivel educacional: a mayor ingreso, mayor nivel educacional.
  • Esto puede expresarse en un modelo de regresión
  • Qué sucede si nos surge la pregunta sobre la posibilidad de que otras variables también tienen que ver con ingreso?
  • Se puede agregar una tercera variable al modelo, pero: ¿qué consecuencias teóricas y empíricas tiene esto?

Agregando predictores al modelo

  • Teóricamente el modelo asume covariación entre Ingreso y Educación, y entre Ingreso e Inteligencia
18 / 33

Agregando predictores al modelo

  • Teóricamente el modelo asume covariación entre Ingreso y Educación, y entre Ingreso e Inteligencia
  • Pero ... también existe la posibilidad de covariación entre los predictores Educación e Inteligencia
18 / 33

Agregando predictores al modelo

  • Teóricamente el modelo asume covariación entre Ingreso y Educación, y entre Ingreso e Inteligencia
  • Pero ... también existe la posibilidad de covariación entre los predictores Educación e Inteligencia
  • Para poder sumar el efecto neto de cada predictor se debe controlar la covariación entre predictores
18 / 33

La regresión múltiple no es equivalente a regresiones simples estimadas por separado con distintos predictores

19 / 33

Concepto de control

20 / 33

1. Control por diseño


  • Característico de la metodología experimental
21 / 33

1. Control por diseño


  • Característico de la metodología experimental
  • El control se logra por diseño mediante aleatorización (distribución al azar) de sujetos a diferentes situaciones experimentales, generando grupos equivalentes
21 / 33

1. Control por diseño


  • Característico de la metodología experimental
  • El control se logra por diseño mediante aleatorización (distribución al azar) de sujetos a diferentes situaciones experimentales, generando grupos equivalentes
  • La aleatorización intenta aislar el efecto del tratamiento de todas las otras variables que podrían afectar en la respuesta ]
21 / 33

2. Control estadístico

  • En datos observacionales de encuestas en general no hay control por diseño, por lo que se recurre al control estadístico
22 / 33

2. Control estadístico

  • En datos observacionales de encuestas en general no hay control por diseño, por lo que se recurre al control estadístico

  • En el modelo de regresión se logra incluyendo predictores que teóricamente podrían dar cuenta o afectar la relación entre X e Y.

22 / 33

2. Control estadístico

  • En datos observacionales de encuestas en general no hay control por diseño, por lo que se recurre al control estadístico

  • En el modelo de regresión se logra incluyendo predictores que teóricamente podrían dar cuenta o afectar la relación entre X e Y.

  • La inclusión de otros predictores despeja o "controla" la asociación de X1X1 e YY, aislando el efecto conjunto de X1X1 y X2X2 (... y XnXn)

22 / 33

Control estadístico

  • ¿Qué efecto posee el nivel educacional en ingreso, controlando por inteligencia?

Conceptualmente:

  • aislar el efecto de educación en ingreso, manteniendo la inteligencia constante.

  • estimar el efecto de educación en ingreso independiente del efecto de la inteligencia

  • estimación del efecto de educación en ingreso ceteris paribus (manteniendo el efecto del resto de los predictores constante)

23 / 33

POR LO TANTO

Un aspecto central en regresión múltiple, tanto conceptual como estadísticamente, tiene que ver con el control de la CORRELACION ENTRE PREDICTORES O VARIABLES INDEPENDIENTES (X)

24 / 33

Simulación 1: sin correlación relevante entre predictores

25 / 33

Simulación 1: sin correlación relevante entre predictores

25 / 33

Simulación 1: sin correlación relevante entre predictores

  Model 1 Model 2 Model 3
(Intercept) -0.15 -0.15 -0.16
  (0.09) (0.10) (0.09)
educacion 0.40***   0.40***
  (0.10)   (0.10)
inteligencia   0.30** 0.31**
    (0.10) (0.10)
R2 0.13 0.08 0.21
Adj. R2 0.12 0.07 0.20
Num. obs. 100 100 100
***p < 0.001; **p < 0.01; *p < 0.05
26 / 33

Simulación 2: con correlación entre predictores

27 / 33

Simulación 2: con correlación entre predictores

27 / 33

Simulación 2: con correlación entre predictores

  Model 1 Model 2 Model 3
(Intercept) -0.15 -0.15 -0.16
  (0.09) (0.10) (0.09)
educacion 0.40***   0.35**
  (0.10)   (0.11)
inteligencia   0.30** 0.18
    (0.10) (0.11)
R2 0.13 0.08 0.16
Adj. R2 0.12 0.07 0.14
Num. obs. 100 100 100
***p < 0.001; **p < 0.01; *p < 0.05
28 / 33

Comparando

  Model 1 Model 2 Model 3
(Intercept) -0.15 -0.15 -0.16
  (0.09) (0.10) (0.09)
educacion 0.40***   0.40***
  (0.10)   (0.10)
inteligencia   0.30** 0.31**
    (0.10) (0.10)
R2 0.13 0.08 0.21
Adj. R2 0.12 0.07 0.20
Num. obs. 100 100 100
***p < 0.001; **p < 0.01; *p < 0.05
  Model 1 Model 2 Model 3
(Intercept) -0.15 -0.15 -0.16
  (0.09) (0.10) (0.09)
educacion 0.40***   0.35**
  (0.10)   (0.11)
inteligencia   0.30** 0.18
    (0.10) (0.11)
R2 0.13 0.08 0.16
Adj. R2 0.12 0.07 0.14
Num. obs. 100 100 100
***p < 0.001; **p < 0.01; *p < 0.05
29 / 33

Estimación de parámetros y control estadístico

  • Los coeficientes de regresión ββ no alteran su valor en los modelos en ausencia de correlación entre predictores XX (Ejemplo 1)
30 / 33

Estimación de parámetros y control estadístico

  • Los coeficientes de regresión ββ no alteran su valor en los modelos en ausencia de correlación entre predictores XX (Ejemplo 1)

  • Si hay correlación entre predictores, el valor de los coeficientes de regresión será distinto en modelos simples y en modelos múltiples -> control estadístico

30 / 33

Estimación de parámetros y control estadístico

  • Los coeficientes de regresión ββ no alteran su valor en los modelos en ausencia de correlación entre predictores XX (Ejemplo 1)

  • Si hay correlación entre predictores, el valor de los coeficientes de regresión será distinto en modelos simples y en modelos múltiples -> control estadístico

  • Por ello, en regresión múltiple se habla de coeficientes de regresión parciales

30 / 33

Estimación de parámetros y control estadístico

  • Ejemplo 2, modelo 3: El ingreso aumenta en 0.4 puntos por cada nivel adicional de educación, controlando por inteligencia. O también ...

    • manteniendo la inteligencia constante

    • ceteris paribus

31 / 33

Resumen

  • Regresión múltiple: más de un predictor / variable independiente en el modelo

  • Permite

    • contrastar hipótesis de la influencia simultánea de más de una variable

    • controlar por la posible influencia de terceras variables (control estadístico)

32 / 33

Estadística Multivariada

Juan Carlos Castillo

Sociología FACSO - UChile

1er Sem 2022

multivariada.netlify.com


33 / 33

Concepto clave de la sesión de hoy:

control estadísitico en regresión múltiple

2 / 33
Paused

Help

Keyboard shortcuts

, , Pg Up, k Go to previous slide
, , Pg Dn, Space, j Go to next slide
Home Go to first slide
End Go to last slide
Number + Return Go to specific slide
b / m / f Toggle blackout / mirrored / fullscreen mode
c Clone slideshow
p Toggle presenter mode
t Restart the presentation timer
?, h Toggle this help
oTile View: Overview of Slides
sToggle scribble toolbox
Esc Back to slideshow