Qué fotogramas importan más

Ambos sistemas deben decidir qué fotogramas importan más. Muestrear cada 45.º fotograma trata todos los momentos como igual de importantes, y no lo son.

El mecanismo que puede aprender esa ponderación es la atención. El ejercicio para casa B la construye con dos contracciones de einsum y muestra que su máscara — poner las posiciones rellenadas en -np.inf antes del softmax — es exactamente la solución de longitud variable de la Parte II.

Así que la última pregunta del ejercicio grupal se responde dos secciones después, con una operación que todavía no has visto.