Normas de vectores: L¹, L², máximo

Una norma mide el tamaño de un vector: intuitivamente, la distancia del origen al punto x. La norma Lᵖ, para p ≥ 1, es la raíz p-ésima de Σᵢ |xᵢ|ᵖ. Toda norma vale cero solo para el vector cero, cumple la desigualdad triangular f(x + y) ≤ f(x) + f(y) y escala con |α|: f(αx) = |α| f(x).

Las que usa el aprendizaje profundo, calculadas para x = [3, −4]ᵀ:

• Norma L² (euclidiana): √(3² + 4²) = 5. Se usa tanto que se escribe simplemente ‖x‖.
• Norma L² al cuadrado: xᵀx = 25. Es más cómoda, porque cada derivada depende de un solo elemento, pero crece muy despacio cerca del origen.
• Norma L¹: Σᵢ |xᵢ| = 3 + 4 = 7. Crece al mismo ritmo en todas partes, así que se usa cuando importa distinguir las entradas exactamente cero de las pequeñas pero no nulas.
• Norma L∞ (máximo): el mayor valor absoluto, maxᵢ |xᵢ| = 4.