Agenda

• Modelo de Regresión Lineal

• Modelo de Regresión Lineal Generalizado (GLM)

Modelo de regresión lineal

Se extiende la regresión simple a varias variables explicativas:

\[ Y = \beta_0 + \beta_1 X_{1} + \beta_2 X_{2} + \dots + \beta_k X_{k} + \varepsilon \]

• \(Y\): variable respuesta (ej. número de delitos en un barrio).
• \(X_{j}\): variables explicativas (ej. pobreza, desempleo, nivel educativo).
• \(\beta_j \in \mathbb{R}\): coeficientes a estimar.
• \(\varepsilon\): error aleatorio.

Tests individuales (t de Student)

Objetivo: Queremos comprobar si el coeficiente \(\beta_j\) es significativamente distinto de cero.

\[H_0: \beta_j = 0\] \[H_1: \beta_j \neq 0\]

• Si \(H_0\) es cierta: No hay relación lineal entre \(X_j\) y \(Y\).

• Si rechazo \(H_0\): Sí existe relación lineal.

• Estadístico del contraste \(t\):

\[ t = \frac{\hat{\beta}_j}{SD(\hat{\beta}_j)} \sim t_{n-k-1} \]

donde \(t_{n-2}\) representa la distribución t-Student con \(n-k-2\) grados de libertad y \(SD(\hat{\beta}_j)\) es la desviación estándar de \(\beta_j\).

Descomposición de la varianza

\[ \underbrace{\sum_{i=1}^n (Y_i - \bar{Y})^2}_{\text{Suma total (SCT)}} = \underbrace{\sum_{i=1}^n (\hat{Y}_i - \bar{Y})^2}_{\text{Suma explicada (SCE)}} + \underbrace{\sum_{i=1}^n (Y_i - \hat{Y}_i)^2}_{\text{Suma de residuos o no explicada (SCR)}} \]

El coeficiente de determinación \(R^2\) se define como:

\[ R^2 = \frac{\text{SCE}}{\text{SCT}} = 1 - \frac{\text{SCR}}{\text{SCT}} \]

Test global (F de Snedecor)

Objetivo: Verificar si al menos una \(\beta_j\) es distinta de cero.

\[ H_0: \beta_1 = \beta_2 = \dots = \beta_k = 0 \] \[ H_1: \text{Al menos una } \beta_j \neq 0 \]

• Si \(H_0\) es cierta: las variables en conjunto no explican \(Y\).

• Si rechazo \(H_0\): almenos una variable aporta para explicar a la \(Y\).

Estadístico del contraste \(F\):

\[ F = \frac{\frac{SSR}{k}}{\frac{SSE}{n-k-1}} \sim F_{k, \, n-k-1} \]

donde: - \(k\) = número de predictores - \(n\) = número de observaciones - \(SSR\) = suma de cuadrados de la regresión - \(SSE\) = suma de cuadrados del error

Generamos datos Regresión Simple

# Simulación de datos
n <- 100
x <- rnorm(n, mean = 5, sd = 2)
y <- 3 + 2 * x + rnorm(n, sd = 4)

datos <- data.frame(x = x, y = y)

plot(x, y, main = "Ajuste de regresión lineal")
abline(a = 3, b = 2, col = "blue")

Estimamos los parámetros: función lm

# Ajuste del modelo
modelo <- lm(y ~ x)
modelo <- lm(y ~ x, data = datos)

• ¿Qué es el objeto modelo?

Detalle de la estimación: función summary

summary(modelo)

Call:
lm(formula = y ~ x, data = datos)

Residuals:
    Min      1Q  Median      3Q     Max 
-9.0838 -2.9827  0.4478  2.9540 10.0316 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   3.8501     1.1693   3.293  0.00138 ** 
x             1.9074     0.2104   9.064  1.3e-14 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 4.027 on 98 degrees of freedom
Multiple R-squared:  0.456, Adjusted R-squared:  0.4505 
F-statistic: 82.15 on 1 and 98 DF,  p-value: 1.302e-14

• Columna “Estimate” → \(\hat{\beta}_j\)

• Columna “Std. Error” → \(SE(\hat{\beta}_j)\)

• Columna “t value” y “Pr(>|t|)” → estadístico y p-valor

Accedemos a los elementos del modelo

• Coeficientes

modelo$coefficients

(Intercept)           x 
   3.850055    1.907439 

coef(modelo)

(Intercept)           x 
   3.850055    1.907439 

• P-valores

resumen <- summary(modelo)

resumen$coefficients

            Estimate Std. Error  t value     Pr(>|t|)
(Intercept) 3.850055  1.1692594 3.292730 1.380765e-03
x           1.907439  0.2104486 9.063682 1.302128e-14

Predicción: función predict

Si predict es ejecutado sin darle el argumento newdata, nos devolverá las predicciones de todas las \(X\) con las que se estimó el modelo. Es lo mismo que lo obtenido de la función fitted.

hist(predict(modelo))

Si le damos un data.frame en newdata, nos devolverá la predicción de esos valores únicamente

predict(modelo, newdata = data.frame(x = 10))

       1 
22.92444 

Residuos: function residuals

La función residuals nos devuelve los residuos del modelo

hist(residuals(modelo))

Plot del objeto modelo: diagnostíco de las hipótesis

plot(modelo)

Muestra los siguientes gráficos:

• Residuos Vs Valores Predichos

• Normal Q-Q

• Escala-Localización

• Residuos VS Apalancamiento

Residuos Vs Valores Predichos

Normal Q-Q

Escala-Localización

Residuos VS Apalancamiento

Descomposición de la varianza en R:

# Valores ajustados y residuos
y_hat <- fitted(modelo)
residuos <- residuals(modelo)

# Suma total de cuadrados (SCT)
SCT <- sum((y - mean(y))^2)

# Suma de cuadrados explicada (SCE)
SCE <- sum((y_hat - mean(y))^2)

# Suma de residuos (SCR)
SCR <- sum((y - y_hat)^2)

# R^2
R2 <- SCE / SCT
R2_alt <- 1 - SCR / SCT

# Resultados
cat("SCT =", SCT, "\n")

SCT = 2921.393 

cat("SCE =", SCE, "\n")

SCE = 1332.184 

cat("SCR =", SCR, "\n")

SCR = 1589.209 

cat("R^2 =", R2, " = ", R2_alt, "\n")

R^2 = 0.4560099  =  0.4560099 

Generamos datos Regresión Múltiple

n <- 100
x1 <- rnorm(n, mean = 0, sd = 2)
x2 <- rnorm(n, mean = 3, sd = 1)

y <- 3 + 2*x1 + 5*x2 + rnorm(n, sd = 4)

datos <- data.frame(y, x1, x2)

modelo <- lm(y ~ x1 + x2)
modelo <- lm(y ~ x1 + x2, data = datos)

summary(modelo)

Call:
lm(formula = y ~ x1 + x2, data = datos)

Residuals:
     Min       1Q   Median       3Q      Max 
-12.1094  -3.0378   0.2911   2.5026  10.7325 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   4.6020     1.4798   3.110  0.00246 ** 
x1            2.0682     0.2266   9.128 1.02e-14 ***
x2            4.5943     0.5098   9.012 1.82e-14 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 4.17 on 97 degrees of freedom
Multiple R-squared:  0.6375,    Adjusted R-squared:   0.63 
F-statistic: 85.29 on 2 and 97 DF,  p-value: < 2.2e-16

Multicolinealidad y VIF

# install.packages("car")
library(car)
vif(modelo)

      x1       x2 
1.001258 1.001258