43) Descomposicion Valores Singulares

Clase 43: Descomposición en Valores Singulares (DVS/SVD)

📚 Introducción

La Descomposición en Valores Singulares (DVS o SVD por sus siglas en inglés: Singular Value Decomposition) es una de las factorizaciones matriciales más importantes y versátiles del álgebra lineal. A diferencia de la diagonalización estándar que solo funciona para matrices cuadradas, la DVS se puede aplicar a cualquier matriz de m × n, sea cuadrada o rectangular.

La DVS tiene aplicaciones fundamentales en compresión de datos, reducción de dimensionalidad (PCA), procesamiento de imágenes, sistemas de recomendación, análisis de datos, procesamiento de señales, machine learning, y muchas otras áreas. Es la base matemática detrás de técnicas como análisis de componentes principales y aproximaciones de rango bajo.

Objetivos de la Clase

• Comprender la definición de valores singulares
• Dominar la construcción de la descomposición en valores singulares
• Entender la relación con valores propios y formas cuadráticas
• Aplicar DVS a problemas de aproximación y compresión
• Interpretar geométricamente la DVS
• Calcular la DVS de matrices rectangulares

---

1. Valores Singulares y su Definición

1.1 Motivación Geométrica

Transformación de la Esfera Unitaria

Sea A una matriz de m × n. La transformación lineal x ↦ Ax mapea la esfera unitaria {x : ||x|| = 1} en ℝⁿ sobre una elipse en ℝᵐ.

Los valores singulares de A miden las longitudes de los semiejes de esta elipse. El valor singular más grande σ₁ es la longitud máxima que A puede estirar un vector unitario:

${\sigma }_1={\max }_{||\mathbf{x}||=1}||A\mathbf{x}||$

Ejemplo Visual: Transformación ℝ³ → ℝ²

Sea A = $\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]$. La transformación A mapea la esfera unitaria en ℝ³ sobre una elipse en ℝ².

Efecto:

• Los vectores en ciertas direcciones se estiran más que en otras
• Los valores singulares σ₁ y σ₂ son las longitudes de los semiejes mayor y menor de la elipse

1.2 Definición Algebraica

Definición - Valores Singulares

Sea A una matriz de m × n. Los valores singulares de A son las raíces cuadradas de los valores propios de AᵀA:

${\sigma }_i=\sqrt{{\lambda }_i}\text{donde }{\lambda }_i\text{ es valor propio de }{A}^{T}A$

Por convención, se ordenan de mayor a menor:

${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_n\ge 0$

Conexión con Formas Cuadráticas

La cantidad ||Ax||² se puede escribir como:

$||A\mathbf{x}|{|}^2=(A\mathbf{x}{)}^T(A\mathbf{x})={\mathbf{x}}^T{A}^{T}A\mathbf{x}$

Esto es una forma cuadrática con matriz AᵀA (que es simétrica). Por el teorema de los ejes principales, existe un cambio de variable ortogonal que la convierte en suma de cuadrados.

---

2. El Teorema de la Descomposición en Valores Singulares

2.1 Enunciado del Teorema Principal

Teorema 10 - Descomposición en Valores Singulares

Sea A una matriz de m × n con rango r. Entonces existe una matriz Σ de m × n como la de la ecuación (3) para la cual las entradas diagonales en D son los primeros r valores singulares de A, σ₁ ≥ σ₂ ≥ ··· ≥ σᵣ > 0, y existen una matriz ortogonal U de m × m y una matriz ortogonal V de n × n tales que:

$A=U\Sigma V^T$

donde la matriz Σ tiene la forma:

$\Sigma =\left[\begin{array}{cc}D& 0\\ 0& 0\end{array}\right]\leftarrow m-r\text{ filas}$

con D una matriz diagonal r × r con entradas σ₁,…, σᵣ.

Componentes de la DVS

• U: Matriz ortogonal m × m cuyascolumnas son los vectores singulares izquierdos de A
• Σ: Matriz “diagonal” m × n con los valores singulares en la diagonal
• V: Matriz ortogonal n × n cuyas columnas son los vectores singulares derechos de A

2.2 Construcción Paso a Paso

Proceso de Construcción de la DVS

Paso 1: Encontrar una diagonalización ortogonal de AᵀA

• Calcular AᵀA (matriz simétrica n × n)
• Encontrar valores propios λ₁ ≥ λ₂ ≥ ··· ≥ λₙ de AᵀA
• Encontrar vectores propios ortonormales v₁,…, vₙ de AᵀA

Paso 2: Obtener V y Σ

• V = [v₁ v₂ ··· vₙ] (matriz ortogonal n × n)
• Valores singulares: σᵢ = √λᵢ para i = 1,…, r
• Construir Σ con σ₁,…, σᵣ en la diagonal

Paso 3: Construir U

• Para i = 1,…, r: calcular uᵢ = (1/σᵢ)Avᵢ
• Extender {u₁,…, uᵣ} a base ortonormal de ℝᵐ
• U = [u₁ u₂ ··· uₘ]

---

3. Ejemplos Completos

3.1 Ejemplo Fundamental

Ejemplo 1: DVS de matriz 2×3

Sea A = $\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]$. Encuentre la descomposición en valores singulares.

Paso 1: Calcular AᵀA

$A^{T}A=\left[\begin{array}{cc}4& 8\\ 11& 7\\ 14& -2\end{array}\right]\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]=\left[\begin{array}{ccc}80& 100& 40\\ 100& 170& 140\\ 40& 140& 200\end{array}\right]$

Paso 2: Valores propios de AᵀA

Los valores propios de AᵀA son: λ₁ = 360, λ₂ = 90, λ₃ = 0

Paso 3: Valores singulares

${\sigma }_1=\sqrt{360}=6\sqrt{10},{\sigma }_2=\sqrt{90}=3\sqrt{10},{\sigma }_3=0$

Paso 4: Vectores propios ortonormales de AᵀA

${\mathbf{v}}_1=\left[\begin{array}{c}1/3\\ 2/3\\ 2/3\end{array}\right],{\mathbf{v}}_2=\left[\begin{array}{c}-2/3\\ -1/3\\ 2/3\end{array}\right],{\mathbf{v}}_3=\left[\begin{array}{c}2/3\\ -2/3\\ 1/3\end{array}\right]$

Paso 5: Construir V

$V=[{\mathbf{v}}_1{\mathbf{v}}_2{\mathbf{v}}_3]=\left[\begin{array}{ccc}1/3& -2/3& 2/3\\ 2/3& -1/3& -2/3\\ 2/3& 2/3& 1/3\end{array}\right]$

Paso 6: Construir Σ

Como A es 2×3 y tiene rango 2:

$\Sigma =\left[\begin{array}{ccc}6\sqrt{10}& 0& 0\\ 0& 3\sqrt{10}& 0\end{array}\right]$

Paso 7: Construir U

${\mathbf{u}}_1=\frac{1}{{\sigma }_1}A{\mathbf{v}}_1=\frac{1}{6\sqrt{10}}\left[\begin{array}{c}18\\ 6\end{array}\right]=\left[\begin{array}{c}3/\sqrt{10}\\ 1/\sqrt{10}\end{array}\right]$

${\mathbf{u}}_2=\frac{1}{{\sigma }_2}A{\mathbf{v}}_2=\frac{1}{3\sqrt{10}}\left[\begin{array}{c}3\\ -9\end{array}\right]=\left[\begin{array}{c}1/\sqrt{10}\\ -3/\sqrt{10}\end{array}\right]$

Por lo tanto:

$U=\left[\begin{array}{cc}3/\sqrt{10}& 1/\sqrt{10}\\ 1/\sqrt{10}& -3/\sqrt{10}\end{array}\right]$

Descomposición completa:

$A=U\Sigma V^T$

3.2 Ejemplo con Matriz Cuadrada

Ejemplo 2: DVS de matriz 3×3 con un valor singular cero

Sea A = $\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 1\end{array}\right]$. Encuentre la DVS.

Paso 1: Calcular AᵀA

$A^{T}A=\left[\begin{array}{ccc}1& 1& 1\\ 0& 1& 1\end{array}\right]\left[\begin{array}{cc}1& 0\\ 1& 1\\ 1& 1\end{array}\right]=\left[\begin{array}{cc}3& 2\\ 2& 2\end{array}\right]$

Paso 2: Valores propios y vectores propios

Los valores propios de AᵀA son λ₁ = 4 y λ₂ = 1, con vectores propios unitarios:

${\mathbf{v}}_1=\left[\begin{array}{c}2/\sqrt{5}\\ 1/\sqrt{5}\end{array}\right],{\mathbf{v}}_2=\left[\begin{array}{c}-1/\sqrt{5}\\ 2/\sqrt{5}\end{array}\right]$

Paso 3: Valores singulares

${\sigma }_1=\sqrt{4}=2,{\sigma }_2=\sqrt{1}=1$

Paso 4: Construir V

$V=\left[\begin{array}{cc}2/\sqrt{5}& -1/\sqrt{5}\\ 1/\sqrt{5}& 2/\sqrt{5}\end{array}\right]$

Paso 5: Construir U (primeras dos columnas)

${\mathbf{u}}_1=\frac{1}{2}A{\mathbf{v}}_1=\frac{1}{2}\left[\begin{array}{c}2/\sqrt{5}\\ 3/\sqrt{5}\\ 3/\sqrt{5}\end{array}\right]=\left[\begin{array}{c}1/\sqrt{5}\\ 3/(2\sqrt{5})\\ 3/(2\sqrt{5})\end{array}\right]$

${\mathbf{u}}_2=\frac{1}{1}A{\mathbf{v}}_2=\left[\begin{array}{c}-1/\sqrt{5}\\ 1/\sqrt{5}\\ 1/\sqrt{5}\end{array}\right]$

Necesitamos u₃ ortogonal a u₁ y u₂ (puede calcularse con producto cruz o Gram-Schmidt).

---

4. Bases y Subespacios Fundamentales

4.1 Teorema de las Bases

Teorema 9 - Bases Ortogonales de los Cuatro Subespacios

Suponga que {v₁,…, vₙ} es una base ortonormal para ℝⁿ que consiste en vectores propios de AᵀA, arreglados de tal forma que los valores propios correspondientes de AᵀA satisfacen λ₁ ≥ ··· ≥ λₙ, y suponga que A tiene r valores singulares diferentes de cero. Entonces:

• {Av₁,…, Avᵣ} es una base ortogonal para Col A
• {vᵣ₊₁,…, vₙ} es una base ortogonal para Nul A
• rango A = r

Conexión con Subespacios Fundamentales

La DVS proporciona bases ortonormales para los cuatro subespacios fundamentales:

1. Col A (espacio columna): Primeras r columnas de U
2. Nul Aᵀ (espacio nulo izquierdo): Últimas m - r columnas de U
3. Fila A (espacio fila): Primeras r columnas de V
4. Nul A (espacio nulo): Últimas n - r columnas de V

---

5. Aplicaciones de la DVS

5.1 Aproximación de Rango Bajo

Mejor Aproximación de Rango k

Si A tiene DVS A = UΣVᵀ, entonces la mejor aproximación de A por una matriz de rango k (para k < r) es:

$A_k={\sum }_{i=1}^k{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$

Esta aproximación minimiza ||A - B|| sobre todas las matrices B de rango k.

Aplicación: Compresión de Imágenes

Una imagen en escala de grises es una matriz A. Para comprimir:

1. Calcular DVS: A = UΣVᵀ
2. Retener solo los k valores singulares más grandes
3. Aproximar: A ≈ Aₖ = σ₁u₁v₁ᵀ + ··· + σₖuₖvₖᵀ

Almacenamiento: En lugar de m×n elementos, solo se almacenan k(m + n + 1) elementos.

5.2 Análisis de Componentes Principales (PCA)

PCA mediante DVS

Para reducir dimensionalidad de datos:

1. Centrar los datos (restar media de cada variable)
2. Calcular DVS de la matriz de datos
3. Las columnas de V son las componentes principales
4. Proyectar datos sobre las primeras k componentes

5.3 Pseudoinversa de Moore-Penrose

Definición - Pseudoinversa

Si A = UΣVᵀ con r valores singulares no nulos, la pseudoinversa de A es:

$A^{+}=V{\Sigma }^{+}{U}^T$

donde Σ⁺ se obtiene transponiendo Σ y reemplazando cada valor singular no nulo σᵢ por 1/σᵢ.

Propiedad: x̂ = A⁺b minimiza ||Ax - b|| (solución de mínimos cuadrados).

---

6. Interpretación Geométrica

6.1 Descomposición como Producto de Transformaciones

Interpretación Geométrica de A = UΣVᵀ

La transformación Ax = UΣVᵀx se puede ver como composición de tres transformaciones:

1. Vᵀ: Rotación/reflexión en ℝⁿ (cambio a ejes principales)
2. Σ: Escalamiento por los valores singulares σᵢ
3. U: Rotación/reflexión en ℝᵐ

Efecto: Toda transformación lineal A se descompone en rotación → escalamiento → rotación.

---

🎯 Conceptos Clave

Resumen

1. Valores Singulares: σᵢ = √λᵢ donde λᵢ son valores propios de AᵀA
2. DVS: A = UΣVᵀ con U, V ortogonales
3. Construcción: Diagonalizar AᵀA, construir V, luego U = AV Σ⁻¹
4. Aplicaciones: Compresión, PCA, mínimos cuadrados, aproximación de rango bajo
5. Geometría: Mapeo de esfera a elipse, escalamiento según σᵢ
6. Bases: DVS proporciona bases para los cuatro subespacios

---

🏷️ Tags

algebra-lineal dvs svd valores-singulares descomposicion-matricial pca compresion aproximacion clase-43 capitulo-7