Análisis de componentes principales (PCA)

El PCA es un método de compresión con pérdida que se puede deducir solo con el álgebra lineal de este capítulo. Cada punto x ∈ ℝⁿ recibe un código más corto c ∈ ℝˡ, con l < n. Decodificar es un producto de matrices, g(c) = Dc, donde D ∈ ℝⁿˣˡ tiene columnas ortogonales entre sí y de norma unitaria.

Minimizar la distancia L² al cuadrado entre x y su reconstrucción da un codificador muy barato: c = Dᵀx. El recorrido completo es r(x) = DDᵀx.

Para elegir D para todo un conjunto de datos X (un ejemplo por fila), se minimiza la norma de Frobenius de los errores de reconstrucción. La primera componente principal resulta ser el vector propio de XᵀX con el mayor valor propio; con l componentes, D contiene los vectores propios de los l mayores valores propios.