Consulta, clave y valor

Un Transformer aprende primero tres proyecciones de los embeddings de los tokens X: Q = X @ W_Q, K = X @ W_K y V = X @ W_V, cada una de forma (B, S, D): lote, token, características.

• Consulta — pregunta qué recuperar.
• Clave — determina con qué coincide.
• Valor — lleva lo que se recupera.

El cuaderno usa proyecciones aleatorias pequeñas para mostrar la mecánica, no un modelo de lenguaje entrenado, así que sus patrones de atención no tienen ningún significado aprendido.