38) Problemas de Mínimos Cuadrados

Clase 38: Problemas de Mínimos Cuadrados

📚 Introducción

El ejemplo introductorio a este capítulo describió un enorme problema del tipo Ax = b que no tuvo solución. En las aplicaciones son frecuentes los sistemas inconsistentes, aunque por lo general no aparecen matrices de coeficientes tan grandes. Cuando se pide una solución y esta no existe, lo mejor que se puede hacer es encontrar una x tal que x esté lo más cerca posible de b.

Piense que Ax es una aproximación a b. Cuanto menor sea la distancia entre b y Ax, dada por ||b - Ax||, mucho mejor será la aproximación. El problema general de mínimos cuadrados consiste en encontrar una x que haga a ||b - Ax|| tan pequeña como sea posible. El adjetivo “mínimos cuadrados” se origina en el hecho de que ||b - Ax|| es la raíz cuadrada de una suma de cuadrados.

El aspecto más importante del problema de mínimos cuadrados es que sin importar cuál x se seleccione, el vector Ax necesariamente estará en el espacio columna, Col A. Así que se busca un vector x̂ que haga que Ax̂ sea el punto en Col A más cercano a b.

Objetivos de la Clase

• Comprender la definición y formulación del problema de mínimos cuadrados
• Dominar la solución mediante ecuaciones normales AᵀAx̂ = Aᵀb
• Aplicar el teorema de la mejor aproximación a sistemas inconsistentes
• Calcular errores de mínimos cuadrados
• Resolver problemas mediante factorización QR cuando sea apropiado

---

1. Definición del Problema de Mínimos Cuadrados

1.1 Planteamiento Geométrico

Definición - Solución de Mínimos Cuadrados

Si A es de m × n y b está en ℝᵐ, una solución de mínimos cuadrados de Ax = b es un x̂ en ℝⁿ tal que:

$||\mathbf{b}-A\hat{\mathbf{x}}||\le ||\mathbf{b}-A\mathbf{x}||$

para toda x en ℝⁿ.

Interpretación Geométrica

Si b resulta estar en Col A, entonces b es x̂ para alguna x̂, y tal x̂ es una “solución de mínimos cuadrados”. (Desde luego, si b resulta estar en Col A, entonces b es Ax̂ para alguna x̂, y tal x̂ es una “solución de mínimos cuadrados”).

1.2 Visualización del Problema

El aspecto más importante del problema de mínimos cuadrados es que sin importar cuál x se seleccione, el vector Ax necesariamente estará en el espacio columna, Col A. Así que se busca un vector x̂ que haga que Ax̂ sea el punto en Col A más cercano a b. Véase la figura 1.

Observación Clave

El vector b está más cerca de x̂ que de x para otra x.

---

2. Solución del Problema General de Mínimos Cuadrados

2.1 Aplicación del Teorema de la Mejor Aproximación

Con base en los y y b anteriores, aplique el teorema de la mejor aproximación que se expuso en la sección 6.3 al subespacio Col A. Sea:

$\hat{\mathbf{b}}={\text{proy}}_{\text{Col }A}\mathbf{b}$

Como b̂ está en el espacio columna de A, la ecuación Ax̂ = b̂ es consistente, y existe una x̂ en ℝⁿ tal que:

$A\hat{\mathbf{x}}=\hat{\mathbf{b}}(1)$

Como b̂ es el punto en Col A más cercano a b, un vector x̂ es una solución de mínimos cuadrados de Ax = b si y solo si x̂ satisface la ecuación (1). Tal x̂ en ℝⁿ es una lista de pesos para construir b̂ a partir de las columnas de A. Véase la figura 2. [Existen muchas soluciones de la ecuación (1) si tiene variables libres].

2.2 Ecuaciones Normales

El conjunto de soluciones de mínimos cuadrados de Ax = b coincide con el conjunto no vacío de soluciones de las ecuaciones normales AᵀAx̂ = Aᵀb.

Teorema 13 - Caracterización de Soluciones de Mínimos Cuadrados

El conjunto de soluciones de mínimos cuadrados de Ax = b coincide con el conjunto no vacío de soluciones de las ecuaciones normales:

$A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$

2.3 Demostración del Teorema 13

Demostración

Como ya se mostró antes, el conjunto de soluciones de mínimos cuadrados es no vacío y cada solución de mínimos cuadrados x̂ satisface las ecuaciones normales.

A la inversa, suponga que x̂ satisface AᵀAx̂ = Aᵀb. Entonces, x̂ satisface la ecuación (2) anterior, lo que demuestra que b - Ax̂ es ortogonal a las filas de Aᵀ y, por lo tanto, ortogonal a las columnas de A. Como las columnas de A generan Col A, entonces el vector b - Ax̂ es ortogonal a todo elemento de Col A. Si aj es cualquier columna de A, entonces:

${\mathbf{a}}_j\cdot (\mathbf{b}-A\hat{\mathbf{x}})=0\text{y}{A}^T(\mathbf{b}-A\hat{\mathbf{x}})=0$

Como las columnas de A generan Col A, entonces el vector b - Ax̂ es ortogonal a todo elemento de Col A. Por consiguiente, la ecuación:

$\mathbf{b}=A\hat{\mathbf{x}}+(\mathbf{b}-A\hat{\mathbf{x}})$

es una descomposición de b en la suma de un vector en Col A y de un vector ortogonal a Col A. Por la singularidad de la descomposición ortogonal, Ax̂ debe ser la proyección ortogonal de b sobre Col A. Es decir, Ax̂ = b̂, y x̂ es una solución de mínimos cuadrados.

---

3. Ejemplos Resueltos

3.1 Ejemplo Básico con Sistema 3×2

Ejemplo 1: Encuentre una solución de mínimos cuadrados del sistema inconsistente Ax = b para

$A=\left[\begin{array}{cc}4& 0\\ 0& 2\\ 1& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{c}2\\ 0\\ 11\end{array}\right]$

Solución:

Para emplear las ecuaciones normales (3), calcule:

$A^{T}A=\left[\begin{array}{ccc}4& 0& 1\\ 0& 2& 1\end{array}\right]\left[\begin{array}{cc}4& 0\\ 0& 2\\ 1& 1\end{array}\right]=\left[\begin{array}{cc}17& 1\\ 1& 5\end{array}\right]$

$A^T\mathbf{b}=\left[\begin{array}{ccc}4& 0& 1\\ 0& 2& 1\end{array}\right]\left[\begin{array}{c}2\\ 0\\ 11\end{array}\right]=\left[\begin{array}{c}19\\ 11\end{array}\right]$

Entonces, la ecuación AᵀAx = Aᵀb se convierte en:

$\left[\begin{array}{cc}17& 1\\ 1& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}19\\ 11\end{array}\right]$

Pueden utilizarse operaciones de fila para resolver este sistema, pero como AᵀA es de 2 × 2 e invertible, tal vez sea más rápido calcular:

$(A^{T}A{)}^{-1}=\frac{1}{84}\left[\begin{array}{cc}5& -1\\ -1& 17\end{array}\right]$

y luego resolver AᵀAx = Aᵀb como:

$\hat{\mathbf{x}}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}=\frac{1}{84}\left[\begin{array}{cc}5& -1\\ -1& 17\end{array}\right]\left[\begin{array}{c}19\\ 11\end{array}\right]=\frac{1}{84}\left[\begin{array}{c}84\\ 168\end{array}\right]=\left[\begin{array}{c}1\\ 2\end{array}\right]$

En muchos cálculos, AᵀA es invertible, pero este no siempre es el caso. El siguiente ejemplo implica a una matriz A como las que suelen presentarse en estadística, en problemas de análisis de varianza.

3.2 Ejemplo con Variables Libres

Ejemplo 2: Encuentre una solución de mínimos cuadrados de Ax = b para

$A=\left[\begin{array}{cccc}1& 1& 0& 0\\ 1& 1& 0& 0\\ 1& 0& 1& 0\\ 1& 0& 1& 0\\ 1& 0& 0& 1\\ 1& 0& 0& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{c}-3\\ -1\\ 0\\ 2\\ 5\\ 1\end{array}\right]$

Solución:

Calcule:

$A^{T}A=\left[\begin{array}{cccc}6& 2& 2& 2\\ 2& 2& 0& 0\\ 2& 0& 2& 0\\ 2& 0& 0& 2\end{array}\right]$

$A^T\mathbf{b}=\left[\begin{array}{c}4\\ -4\\ 2\\ 6\end{array}\right]$

La matriz aumentada para AᵀAx = Aᵀb es:

$\left[\begin{array}{cccccc}6& 2& 2& 2& |& 4\\ 2& 2& 0& 0& |& -4\\ 2& 0& 2& 0& |& 2\\ 2& 0& 0& 2& |& 6\end{array}\right]\sim \left[\begin{array}{cccccc}1& 0& 0& 1& |& 3\\ 0& 1& 0& -1& |& -5\\ 0& 0& 1& -1& |& -2\\ 0& 0& 0& 0& |& 0\end{array}\right]$

La solución general es x₁ = 3 - x₄, x₂ = -5 + x₄, x₃ = -2 + x₄, con x₃ libre. Así, la solución general de mínimos cuadrados de Ax = b tiene la forma:

$\hat{\mathbf{x}}=\left[\begin{array}{c}3\\ -5\\ -2\\ 0\end{array}\right]+x_4\left[\begin{array}{c}-1\\ 1\\ 1\\ 1\end{array}\right]$

---

4. Condiciones para Unicidad de la Solución

4.1 Criterios de Invertibilidad

El siguiente teorema brinda útiles criterios para determinar cuándo existe solamente una solución de mínimos cuadrados de Ax = b. (Desde luego, la proyección ortogonal b̂ siempre es única).

Teorema 14 - Unicidad de la Solución de Mínimos Cuadrados

Sea A una matriz de m × n. Los siguientes enunciados son lógicamente equivalentes:

a) La ecuación Ax = b tiene una solución de mínimos cuadrados única para cada b en ℝᵐ.

b) Las columnas de A son linealmente independientes.

c) La matriz AᵀA es invertible.

Cuando estos enunciados son verdaderos, la solución x̂ de mínimos cuadrados está dada por:

$\hat{\mathbf{x}}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}(4)$

Observación sobre la Fórmula (4)

La fórmula (4) para x̂ es útil sobre todo para fines teóricos y cálculos a mano cuando AᵀA es una matriz invertible de 2 × 2.

---

5. Cálculo del Error de Mínimos Cuadrados

5.1 Definición del Error

Cuando se usa una solución x̂ de mínimos cuadrados para producir Ax̂ como una aproximación a b, entonces la distancia de b a Ax̂ se llama el error de mínimos cuadrados de esta aproximación.

Ejemplo 3: Dados A y b como en el ejemplo 1, determine el error de mínimos cuadrados en la solución de mínimos cuadrados de Ax = b.

Solución:

A partir del ejemplo 1:

$\mathbf{b}=\left[\begin{array}{c}2\\ 0\\ 11\end{array}\right]\text{y}\hat{\mathbf{x}}=\left[\begin{array}{c}1\\ 2\end{array}\right]$

Por lo tanto,

$\mathbf{b}-A\hat{\mathbf{x}}=\left[\begin{array}{c}2\\ 0\\ 11\end{array}\right]-\left[\begin{array}{c}4\\ 4\\ 3\end{array}\right]=\left[\begin{array}{c}-2\\ -4\\ 8\end{array}\right]$

$||\mathbf{b}-A\hat{\mathbf{x}}|{|}^2=(-2{)}^2+(-4{)}^2+8^2=84$

El error de mínimos cuadrados es √84. Para cualquier x en ℝ², la distancia entre b y el vector Ax es al menos √84. Véase la figura 3. Observe que la solución x̂ de mínimos cuadrados no se presenta en la figura.

Interpretación Geométrica

El error de mínimos cuadrados es √84. Para cualquier x en ℝ², la distancia entre b y x es al menos √84. Véase la figura 3. Observe que la solución x̂ de mínimos cuadrados no se presenta en la figura.

---

6. Cálculos Alternativos con Factorización QR

6.1 Simplificación mediante Bases Ortonormales

El siguiente ejemplo muestra cómo encontrar una solución de mínimos cuadrados de Ax = b cuando las columnas de A son ortogonales. Con frecuencia tales matrices se presentan en problemas de regresión lineal, como los que se analizarán en la siguiente sección.

Ejemplo 4: Encuentre una solución de mínimos cuadrados de Ax = b para

$A=\left[\begin{array}{cc}1& -6\\ 1& -2\\ 1& 1\\ 1& 7\end{array}\right],\mathbf{b}=\left[\begin{array}{c}-1\\ 2\\ 1\\ 6\end{array}\right]$

Solución:

Como las columnas a₁ y a₂ de A son ortogonales, la proyección ortogonal de b sobre Col A está dada por:

$\hat{\mathbf{b}}=\frac{\mathbf{b}\cdot {\mathbf{a}}_1}{{\mathbf{a}}_1\cdot {\mathbf{a}}_1}{\mathbf{a}}_1+\frac{\mathbf{b}\cdot {\mathbf{a}}_2}{{\mathbf{a}}_2\cdot {\mathbf{a}}_2}{\mathbf{a}}_2=\frac{8}{4}{\mathbf{a}}_1+\frac{45}{90}{\mathbf{a}}_2$

$=\left[\begin{array}{c}2\\ 2\\ 2\\ 2\end{array}\right]+\left[\begin{array}{c}-3\\ -1\\ 1/2\\ 7/2\end{array}\right]=\left[\begin{array}{c}-1\\ 1\\ 5/2\\ 11/2\end{array}\right](5)$

Ahora que se conoce b̂, se puede resolver Ax̂ = b̂. Pero esto es trivial, porque ya se sabe que los pesos a colocar sobre las columnas de A producen b̂. A partir de la ecuación (5) es claro que:

$\hat{\mathbf{x}}=\left[\begin{array}{c}8/4\\ 45/90\end{array}\right]=\left[\begin{array}{c}2\\ 1/2\end{array}\right]$

6.2 Uso de la Factorización QR

Teorema 15 - Solución mediante Factorización QR

Dada una matriz A de m × n, con columnas linealmente independientes, sea A = QR una factorización QR de A como en el teorema 12. Entonces, para cada b en ℝᵐ, la ecuación Ax = b tiene una solución de mínimos cuadrados única, dada por:

$\hat{\mathbf{x}}=R^{-1}{Q}^T\mathbf{b}(6)$

Demostración

Sea x̂ = R⁻¹Qᵀb. Entonces,

$\hat{\mathbf{x}}=QR\hat{\mathbf{x}}=QR{R}^{-1}{Q}^T\mathbf{b}=Q{Q}^T\mathbf{b}$

De acuerdo con el teorema 12, las columnas de Q forman una base ortonormal para Col A. Por lo tanto, según el teorema 10, QQᵀb es la proyección ortogonal b̂ de b sobre Col A. Así, x̂ = b̂, lo que muestra que x̂ es una solución de mínimos cuadrados de Ax = b. La unicidad de x̂ se deduce del teorema 14.

6.3 Nota Numérica sobre Ecuación (7)

Nota Numérica

Como en el teorema 15, R es triangular superior, entonces x̂ se debería calcular como la solución exacta de la ecuación:

$R\mathbf{x}=Q^T\mathbf{b}(7)$

Es mucho más rápido resolver (7), por sustitución hacia atrás o mediante operaciones de fila, que calcular R⁻¹ y utilizar la ecuación (6).

Ejemplo 5: Encuentre la solución de mínimos cuadrados de Ax = b para

$A=\left[\begin{array}{ccc}1& 3& 5\\ 1& 1& 0\\ 1& 1& 2\\ 1& 3& 3\end{array}\right],\mathbf{b}=\left[\begin{array}{c}3\\ 5\\ 7\\ -3\end{array}\right]$

Solución:

La factorización QR de A se obtiene como en la sección 6.4:

$A=QR=\left[\begin{array}{ccc}1/2& 1/2& 1/2\\ 1/2& -1/2& -1/2\\ 1/2& -1/2& 1/2\\ 1/2& 1/2& -1/2\end{array}\right]\left[\begin{array}{ccc}2& 4& 5\\ 0& 2& 3\\ 0& 0& 2\end{array}\right]$

Luego,

$Q^T\mathbf{b}=\left[\begin{array}{cccc}1/2& 1/2& 1/2& 1/2\\ 1/2& -1/2& -1/2& 1/2\\ 1/2& -1/2& 1/2& -1/2\end{array}\right]\left[\begin{array}{c}3\\ 5\\ 7\\ -3\end{array}\right]=\left[\begin{array}{c}6\\ -6\\ 4\end{array}\right]$

La solución de mínimos cuadrados x̂ satisface Rx = Qᵀb; es decir,

$\left[\begin{array}{ccc}2& 4& 5\\ 0& 2& 3\\ 0& 0& 2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}6\\ -6\\ 4\end{array}\right]$

Esta ecuación se resuelve fácilmente y conduce a x̂ = $\left[\begin{array}{c}10\\ -6\\ 2\end{array}\right]$.

---

🎯 Conceptos Clave para Repasar

Resumen de Conceptos

1. Problema de Mínimos Cuadrados: Minimizar ||b - Ax|| cuando Ax = b es inconsistente
2. Solución de Mínimos Cuadrados: x̂ que minimiza ||b - Ax||
3. Ecuaciones Normales: AᵀAx̂ = Aᵀb caracteriza soluciones de mínimos cuadrados
4. Proyección Ortogonal: b̂ = Ax̂ es proy_Col A b
5. Unicidad: Solución única ⟺ columnas de A linealmente independientes ⟺ AᵀA invertible
6. Fórmula Explícita: x̂ = (AᵀA)⁻¹Aᵀb cuando AᵀA es invertible
7. Error de Mínimos Cuadrados: ||b - Ax̂||
8. Factorización QR: x̂ = R⁻¹Qᵀb proporciona método numéricamente estable

---

🚨 Errores Comunes

Error 1: Confundir solución exacta con solución de mínimos cuadrados

• Incorrecto: Pensar que Ax̂ = b exactamente
• Correcto: Ax̂ = b̂ donde b̂ es la proyección de b sobre Col A

Error 2: No verificar si AᵀA es invertible

• Problema: Intentar usar (AᵀA)⁻¹ cuando las columnas de A son linealmente dependientes
• Solución: Verificar rango de A o resolver el sistema AᵀAx̂ = Aᵀb directamente

Error 3: Calcular R⁻¹ innecesariamente

• Ineficiente: Usar x̂ = R⁻¹Qᵀb calculando la inversa
• Eficiente: Resolver Rx̂ = Qᵀb por sustitución hacia atrás

Error 4: Confundir b̂ con x̂

• Incorrecto: b̂ es la solución de mínimos cuadrados
• Correcto: x̂ es la solución de mínimos cuadrados; b̂ = Ax̂ es la proyección de b

Error 5: Pensar que el error es cero

• Problema: Asumir que ||b - Ax̂|| = 0 automáticamente
• Realidad: El error solo es cero si b ∈ Col A (sistema consistente)

---

📝 Ejercicios Propuestos

Ejercicios Nivel Básico (1-8)

Cálculos directos de mínimos cuadrados

1. Para matrices pequeñas A (2×2, 3×2), calcule AᵀA y Aᵀb
2. Resuelva las ecuaciones normales AᵀAx̂ = Aᵀb
3. Verifique que x̂ minimiza ||b - Ax||
4. Calcule el error de mínimos cuadrados ||b - Ax̂||

Ejercicios Nivel Intermedio (9-16)

Problemas con variables libres y aplicaciones

5. Encuentre la solución general de mínimos cuadrados cuando AᵀA no es invertible
6. Determine si las columnas de A son linealmente independientes
7. Use columnas ortogonales para simplificar cálculos
8. Aplique el Teorema 14 para verificar unicidad

Ejercicios Nivel Avanzado (17-25)

Factorización QR y análisis teórico

9. Use factorización QR para resolver problemas de mínimos cuadrados
10. Compare eficiencia: ecuaciones normales vs factorización QR
11. Demuestre propiedades del error de mínimos cuadrados
12. Analice estabilidad numérica de diferentes métodos

---

📚 Referencias

Lectura Principal

• Sección 6.5: Problemas de mínimos cuadrados, págs. 360-365

Enlaces Relacionados

• 36) Proyecciones Ortogonales - Base teórica para mínimos cuadrados
• 37) Proceso de Gram-Schmidt - Construcción de bases ortogonales
• 39) Aplicaciones a Modelos Lineales - Aplicación práctica
• Ecuaciones-Normales
• Solucion-Minimos-Cuadrados
• Factorizacion-QR

Conexión con Temas Futuros

Anticipando Regresión Lineal

El problema de mínimos cuadrados es fundamental para la regresión lineal y el ajuste de curvas. En la siguiente clase veremos cómo encontrar la recta (o curva polinomial) que mejor se ajusta a un conjunto de datos experimentales. Esto tiene aplicaciones directas en estadística, ingeniería, ciencias experimentales, y machine learning.

---

Sugerencia de Estudio

El problema de mínimos cuadrados es uno de los más importantes en álgebra lineal aplicada. La clave es entender la geometría: estamos proyectando b sobre Col A para encontrar la mejor aproximación posible. Las ecuaciones normales AᵀAx̂ = Aᵀb son la herramienta algebraica que hace esto posible. Practica con ejemplos donde AᵀA es invertible (más simple) antes de abordar casos con variables libres. La factorización QR proporciona un método numéricamente más estable, especialmente importante en aplicaciones computacionales donde los errores de redondeo pueden acumularse.

---

✅ Checklist de Estudio

Lista de Verificación

• Comprendo qué significa minimizar ||b - Ax||
• Puedo plantear las ecuaciones normales AᵀAx̂ = Aᵀb
• Sé calcular AᵀA y Aᵀb para matrices concretas
• Puedo resolver las ecuaciones normales
• Entiendo cuándo la solución de mínimos cuadrados es única (Teorema 14)
• Puedo usar la fórmula x̂ = (AᵀA)⁻¹Aᵀb cuando aplica
• Sé calcular el error de mínimos cuadrados ||b - Ax̂||
• Comprendo la interpretación geométrica: b̂ = Ax̂ es proy_Col A b
• Puedo usar factorización QR para resolver mínimos cuadrados
• Entiendo por qué resolver Rx̂ = Qᵀb es más eficiente que calcular R⁻¹

---

🏷️ Tags

algebra-lineal minimos-cuadrados ecuaciones-normales proyeccion-ortogonal factorizacion-qr regresion-lineal aproximacion clase-38 clase capitulo-6