Project DelphiTaller de Tensores

Lo que cuestan las cabezas

Las cabezas permiten patrones de atención distintos: cada cabeza puede atender de forma diferente en su propio espacio de características.

No son una aceleración. Con D fijo, las cabezas no reducen el trabajo principal O(B · S² · D) de los productos punto: H cabezas de D_k = D / H características hacen las mismas multiplicaciones que una cabeza de D.

Y la memoria crece con ellas: las puntuaciones ocupan B · H · S² elementos, cuadrático en la longitud de la secuencia.