Descomposición dentro de las redes neuronales

Un kernel de convolución denso de forma 3 × 3 × 512 × 512 tiene 2 359 296 pesos, y cuesta unos 462 millones de multiplicaciones-sumas sobre un mapa de características de 14 × 14.

Una factorización CP de rango 64 almacena 64 × (3 + 3 + 512 + 512) = 65 920 pesos — 35.8× menos — y corre como cuatro convoluciones delgadas en secuencia: 1×1 → 3×1 → 1×3 → 1×1.

Un orden más arriba, una matriz de salida de transformer W_O de forma 4096 × 4096 almacena 16 777 216 pesos; una representación TT-matriz de rango 16 almacena 34 816, o 481.9× menos.

La razón de almacenamiento es la mitad fácil.