39) Aplicaciones a Modelos Lineales

Clase 39: Aplicaciones a Modelos Lineales

📚 Introducción

Una tarea común en ciencia e ingeniería es analizar y entender relaciones entre diferentes cantidades que varían. Esta sección describe una variedad de situaciones en las que los datos se emplean para construir o comprobar una fórmula que predice el valor de una variable como función de otras variables. En cada caso, el reto será equivalente a resolver un problema de mínimos cuadrados.

Para facilitar la aplicación del análisis a problemas reales que encontrará en sus actividades profesionales, se elige la notación que comúnmente se utiliza en el análisis estadístico de datos científicos y de ingeniería. En vez de escribir Ax = b, se escribe Xβ = y, donde X es la matriz de diseño, β es el vector de parámetros y y es el vector de observaciones.

Objetivos de la Clase

• Comprender la formulación de la recta de regresión de mínimos cuadrados
• Dominar el cálculo de los coeficientes de regresión β₀ y β₁
• Aplicar la técnica de desviación media para simplificar cálculos
• Interpretar el significado de residuos y error de mínimos cuadrados
• Construir modelos lineales a partir de datos experimentales
• Entender las ecuaciones normales en el contexto de regresión

---

1. Rectas de Mínimos Cuadrados

1.1 Planteamiento del Problema

La relación más sencilla entre dos variables x y y es la ecuación lineal y = β₀ + β₁x.¹ Con frecuencia los datos experimentales generan los puntos (x₁, y₁),…, (xₙ, yₙ) que, cuando se grafican, parecen estar cerca de una recta. Se desea determinar los parámetros β₀ y β₁ para hacer que la recta esté lo más “cerca” posible de dichos puntos.

Visualización del Problema

Suponga que β₀ y β₁ están fijos, y considere la recta y = β₀ + β₁x de la figura 1. Para cada dato (xⱼ, yⱼ) existe un punto (xⱼ, β₀ + β₁xⱼ) sobre la recta con la misma coordenada x. Por otro lado, yⱼ es el valor observado de y, y β₀ + β₁xⱼ es el valor predicho para y (determinado por la recta). La diferencia entre los valores observado y predicho para y se llama residuo.

1.2 Definición de Residuo

$\text{Residuo}=(\text{valor observado de }y)-(\text{valor predicho de }y)$ $=y_j-({\beta }_0+{\beta }_1{x}_j)$

Existen varias maneras de medir qué tan “cerca” está la recta respecto de los datos. La elección habitual (sobre todo porque los cálculos matemáticos son sencillos) es sumar los cuadrados de los residuos. La recta de mínimos cuadrados es la recta y = β₀ + β₁x que minimiza la suma de los cuadrados de los residuos.

Definición - Recta de Mínimos Cuadrados

La recta de regresión de mínimos cuadrados de y sobre x es la recta y = β₀ + β₁x que minimiza la suma de los cuadrados de los residuos. Los coeficientes β₀, β₁ de la recta son los coeficientes de regresión.

1.3 Formulación Matricial

Si los puntos de los datos estuvieran sobre una recta, los parámetros β₀ y β₁ satisfarían las ecuaciones:

${\beta }_0+{\beta }_1{x}_1=y_1$ ${\beta }_0+{\beta }_1{x}_2=y_2$ $⋮$ ${\beta }_0+{\beta }_1{x}_n=y_n$

Este sistema se puede representar como:

$X\mathbf{\beta }=\mathbf{y}\text{donde}X=\left[\begin{array}{cc}1& x_1\\ 1& x_2\\ ⋮& ⋮\\ 1& x_n\end{array}\right],\mathbf{\beta }=\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\end{array}\right],\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right](1)$

Conexión con Mínimos Cuadrados

Desde luego, si los puntos de datos no están sobre una recta, entonces no existen parámetros β₀, β₁ para los cuales los valores predichos de y en Xβ sean iguales a los valores observados de y en y, y Xβ = y no tiene solución. Este es un problema de mínimos cuadrados, Ax = b, ¡con diferente notación!

---

2. Solución mediante Ecuaciones Normales

2.1 Derivación de las Ecuaciones Normales

El cuadrado de la distancia entre los vectores Xβ y y es precisamente la suma de los cuadrados de los residuos. El β que minimiza esta suma también minimiza la distancia entre Xβ y y. Calcular la solución de mínimos cuadrados de Xβ = y equivale a encontrar el vector β que determina la recta de mínimos cuadrados de la figura 1.

Interpretación Geométrica

Calcular la solución de mínimos cuadrados de Xβ** = y equivale a encontrar el vector β que determina la recta de mínimos cuadrados de la figura 1**.

El β̂ que minimiza la suma de los cuadrados de los residuos también minimiza la distancia entre Xβ y y, y por lo tanto a toda W. La descomposición deseada de y es:

$\mathbf{y}=\hat{\mathbf{y}}+(\mathbf{y}-\hat{\mathbf{y}})$

donde ŷ = Xβ̂ está en Col X y y - ŷ es ortogonal a Col X.

---

3. Ejemplo Resuelto Completo

3.1 Planteamiento

Ejemplo 1:

Encuentre la ecuación y = β₀ + β₁x de la recta de mínimos cuadrados que mejor se ajuste a los puntos de datos (2, 1), (5, 2), (7, 3) y (8, 3).

Solución:

Utilice las coordenadas x de los datos para construir la matriz de diseño X en la ecuación (1) y las coordenadas y para construir el vector de observaciones y:

$X=\left[\begin{array}{cc}1& 2\\ 1& 5\\ 1& 7\\ 1& 8\end{array}\right],\mathbf{y}=\left[\begin{array}{c}1\\ 2\\ 3\\ 3\end{array}\right]$

3.2 Cálculo de las Ecuaciones Normales

Para la solución de mínimos cuadrados de Xβ = y, obtenga las ecuaciones normales (con la nueva notación):

$X^{T}X\mathbf{\beta }=X^T\mathbf{y}$

Es decir, calcule:

$X^{T}X=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 5& 7& 8\end{array}\right]\left[\begin{array}{cc}1& 2\\ 1& 5\\ 1& 7\\ 1& 8\end{array}\right]=\left[\begin{array}{cc}4& 22\\ 22& 142\end{array}\right]$

$X^T\mathbf{y}=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 5& 7& 8\end{array}\right]\left[\begin{array}{c}1\\ 2\\ 3\\ 3\end{array}\right]=\left[\begin{array}{c}9\\ 57\end{array}\right]$

Las ecuaciones normales son:

$\left[\begin{array}{cc}4& 22\\ 22& 142\end{array}\right]\left[\begin{array}{c}{\beta }_0\\ {\beta }_1\end{array}\right]=\left[\begin{array}{c}9\\ 57\end{array}\right]$

3.3 Solución del Sistema

Pueden utilizarse operaciones de fila para resolver este sistema, pero como XᵀX es de 2 × 2 e invertible, tal vez sea más rápido calcular:

$(X^{T}X{)}^{-1}=\frac{1}{84}\left[\begin{array}{cc}142& -22\\ -22& 4\end{array}\right]$

y luego resolver XᵀXβ = Xᵀy como:

$\hat{\mathbf{\beta }}=(X^{T}X{)}^{-1}{X}^T\mathbf{y}=\frac{1}{84}\left[\begin{array}{cc}142& -22\\ -22& 4\end{array}\right]\left[\begin{array}{c}9\\ 57\end{array}\right]=\frac{1}{84}\left[\begin{array}{c}24\\ 30\end{array}\right]=\left[\begin{array}{c}2/7\\ 5/14\end{array}\right]$

De manera que la recta de mínimos cuadrados tiene la ecuación:

$y=\frac{2}{7}+\frac{5}{14}x$

Véase la figura 2.

---

4. Técnica de Desviación Media

4.1 Simplificación de Cálculos

Una práctica común, antes de calcular la recta de mínimos cuadrados, consiste en calcular el promedio x̄ de los valores x originales y formar una nueva variable x* = x - x̄. Se dice que los nuevos datos x quedan en su forma de desviación media. En este caso, las dos columnas de la matriz de diseño serán ortogonales. Se simplifica la solución de las ecuaciones normales, justo como en el ejemplo 4 de la sección 6.5. Véanse los ejercicios 17 y 18.

Ventaja de la Desviación Media

Cuando se usa la forma de desviación media, las columnas de la matriz de diseño X son ortogonales, lo que simplifica enormemente los cálculos de las ecuaciones normales. Esto es especialmente útil en cálculos manuales.

4.2 Ejemplo de Aplicación

Ejemplo de Desviación Media

Para los datos del Ejemplo 1, calcule:

$\bar{x}=\frac{2+5+7+8}{4}=\frac{22}{4}=5.5$

Entonces la variable transformada es:

$x^{\ast }=x-5.5$

Los nuevos puntos serían:

• (2 - 5.5, 1) = (-3.5, 1)
• (5 - 5.5, 2) = (-0.5, 2)
• (7 - 5.5, 3) = (1.5, 3)
• (8 - 5.5, 3) = (2.5, 3)

Con estos datos, la matriz de diseño tendría columnas ortogonales, simplificando los cálculos.

---

5. Residuos y Error de Mínimos Cuadrados

5.1 Cálculo del Error

Ejemplo 2: Para los datos del Ejemplo 1, calcule los residuos y el error de mínimos cuadrados.

Solución:

Los valores predichos usando la recta y = (2/7) + (5/14)x son:

Para x = 2: ŷ₁ = 2/7 + (5/14)(2) = 2/7 + 10/14 = 4/7 + 10/14 = 18/14 ≈ 1.29 Para x = 5: ŷ₂ = 2/7 + (5/14)(5) = 2/7 + 25/14 = 4/14 + 25/14 = 29/14 ≈ 2.07 Para x = 7: ŷ₃ = 2/7 + (5/14)(7) = 2/7 + 35/14 = 4/14 + 35/14 = 39/14 ≈ 2.79 Para x = 8: ŷ₄ = 2/7 + (5/14)(8) = 2/7 + 40/14 = 4/14 + 40/14 = 44/14 ≈ 3.14

Los residuos son:

$\mathbf{y}-\hat{\mathbf{y}}=\left[\begin{array}{c}1\\ 2\\ 3\\ 3\end{array}\right]-\left[\begin{array}{c}18/14\\ 29/14\\ 39/14\\ 44/14\end{array}\right]=\left[\begin{array}{c}-4/14\\ -1/14\\ 3/14\\ -2/14\end{array}\right]$

El error de mínimos cuadrados es:

$||\mathbf{y}-\hat{\mathbf{y}}|{|}^2={\left(\frac{-4}{14}\right)}^2+{\left(\frac{-1}{14}\right)}^2+{\left(\frac{3}{14}\right)}^2+{\left(\frac{-2}{14}\right)}^2=\frac{16+1+9+4}{196}=\frac{30}{196}=\frac{15}{98}$

$||\mathbf{y}-\hat{\mathbf{y}}||=\sqrt{\frac{15}{98}}\approx 0.391$

---

6. Extensión a Modelos Más Generales

6.1 Ajuste de Polinomios

El análisis precedente para ajustar una recta a los datos puede extenderse fácilmente al problema de ajustar un polinomio de grado mayor a los datos. Por ejemplo, para ajustar un cuadrático y = β₀ + β₁x + β₂x² a puntos (x₁, y₁),…, (xₙ, yₙ), se construye la matriz de diseño:

$X=\left[\begin{array}{ccc}1& x_1& x_1^2\\ 1& x_2& x_2^2\\ ⋮& ⋮& ⋮\\ 1& x_n& x_n^2\end{array}\right]$

y se resuelve el problema de mínimos cuadrados Xβ = y usando las ecuaciones normales.

6.2 Regresión Múltiple

Más generalmente, se pueden ajustar modelos de la forma:

$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_k{x}_k$

donde y depende de múltiples variables x₁, x₂,…, xₖ. Esto se conoce como regresión lineal múltiple y también se resuelve mediante mínimos cuadrados con las ecuaciones normales XᵀXβ = Xᵀy.

---

🎯 Conceptos Clave para Repasar

Resumen de Conceptos

1. Recta de Regresión: y = β₀ + β₁x que minimiza suma de cuadrados de residuos
2. Residuo: Diferencia entre valor observado y predicho: yⱼ - (β₀ + β₁xⱼ)
3. Matriz de Diseño: X con columnas [1, x₁,…, xₙ]ᵀ para rectas
4. Vector de Parámetros: β = [β₀, β₁]ᵀ contiene coeficientes de regresión
5. Ecuaciones Normales: XᵀXβ̂ = Xᵀy determina coeficientes óptimos
6. Desviación Media: x* = x - x̄ ortogonaliza columnas de X
7. Error de Mínimos Cuadrados: ||y - Xβ̂|| mide bondad del ajuste
8. Extensibilidad: El método funciona para polinomios y regresión múltiple

---

🚨 Errores Comunes

Error 1: Confundir columnas de la matriz de diseño

• Incorrecto: Poner valores de y en la matriz X
• Correcto: X tiene una columna de unos (para β₀) y columna de valores x (para β₁)

Error 2: No calcular el promedio correctamente para desviación media

• Problema: x̄ = (x₁ + x₂ + … + xₙ)/n, no olvidar dividir por n
• Consecuencia: Si x̄ es incorrecto, la ortogonalidad no se logra

Error 3: Usar valores predichos en lugar de observados

• Incorrecto: Residuo = β₀ + β₁xⱼ - yⱼ
• Correcto: Residuo = yⱼ - (β₀ + β₁xⱼ)

Error 4: Olvidar la columna de unos en X

• Problema: Si X solo tiene [x₁,…, xₙ]ᵀ, no se puede calcular β₀
• Solución: La primera columna de X debe ser [1, 1,…, 1]ᵀ

Error 5: Pensar que la recta pasa exactamente por los puntos

• Realidad: La recta de mínimos cuadrados minimiza distancias, generalmente no pasa exactamente por ningún punto
• Excepción: Solo si todos los puntos ya están alineados

---

📝 Ejercicios Propuestos

Ejercicios Nivel Básico (1-8)

Cálculo de rectas de mínimos cuadrados

1. Para conjuntos pequeños de datos (3-4 puntos), construya la matriz X y el vector y
2. Calcule XᵀX y Xᵀy
3. Resuelva las ecuaciones normales para encontrar β̂
4. Escriba la ecuación de la recta de mínimos cuadrados
5. Grafique los datos y la recta

Ejercicios Nivel Intermedio (9-18)

Desviación media y análisis de residuos

6. Calcule el promedio x̄ y transforme los datos a forma de desviación media
7. Verifique que las columnas de X son ortogonales en forma de desviación media
8. Compare la eficiencia de cálculo con y sin desviación media
9. Calcule residuos y error de mínimos cuadrados
10. Interprete el significado del error en el contexto del problema

Ejercicios Nivel Avanzado (19-25)

Extensiones y aplicaciones

11. Ajuste polinomios cuadráticos y = β₀ + β₁x + β₂x² a datos
12. Implemente regresión lineal múltiple con 2-3 variables predictoras
13. Compare diferentes modelos usando el error de mínimos cuadrados
14. Analice la validez de supuestos en modelos de regresión

---

📚 Referencias

Lectura Principal

• Sección 6.6: Aplicaciones a modelos lineales, págs. 368-370

Enlaces Relacionados

• 38) Problemas de Mínimos Cuadrados - Teoría general
• 36) Proyecciones Ortogonales - Fundamento geométrico
• Recta-Regresion
• Ecuaciones-Normales
• Regresion-Lineal
• Desviacion-Media

Aplicaciones Prácticas

Campos de Aplicación

Estadística: Análisis de regresión, inferencia estadística, intervalos de confianza

Ingeniería: Ajuste de modelos experimentales, calibración de sensores, análisis de datos

Economía: Modelos econométricos, predicción de series temporales

Ciencias Naturales: Ajuste de leyes físicas a datos experimentales, modelos de crecimiento

Machine Learning: Regresión lineal como modelo básico, base para modelos más complejos

---

Sugerencia de Estudio

La regresión lineal por mínimos cuadrados es probablemente la aplicación más importante del álgebra lineal en estadística y ciencias aplicadas. Entiende bien la notación: X es la matriz de diseño, β son los parámetros a estimar, e y son las observaciones. Las ecuaciones normales XᵀXβ̂ = Xᵀy son la misma AᵀAx̂ = Aᵀb de la clase anterior, solo con notación diferente. Practica construyendo la matriz X correctamente - es fácil equivocarse al principio. La técnica de desviación media es muy útil para cálculos manuales, pero en la práctica computacional moderna generalmente se usa factorización QR para mayor estabilidad numérica.

---

✅ Checklist de Estudio

Lista de Verificación

• Comprendo qué es un residuo y cómo se calcula
• Puedo construir la matriz de diseño X correctamente
• Sé plantear las ecuaciones normales XᵀXβ̂ = Xᵀy
• Puedo resolver para encontrar β₀ y β₁
• Sé escribir la ecuación de la recta de mínimos cuadrados
• Comprendo la técnica de desviación media y cuándo usarla
• Puedo calcular residuos y el error de mínimos cuadrados
• Entiendo la interpretación geométrica: ŷ = Xβ̂ es proyección de y
• Sé extender el método a polinomios de grado mayor
• Comprendo la conexión con el problema general de mínimos cuadrados

---

🏷️ Tags

algebra-lineal regresion-lineal minimos-cuadrados recta-regresion ecuaciones-normales modelo-lineal estadistica analisis-datos clase-39 clase capitulo-6