Error: conservar el 99 % de la varianza conserva las etiquetas

«La sombra conserva casi todo, así que debe bastar para clasificar.»

x = np.linspace(-30, 30, 100)
cloud = np.column_stack([np.repeat(x, 2), np.tile([-1., 1.], len(x))])
centered = cloud - cloud.mean(axis=0)
_, singular_values, axes = np.linalg.svd(centered, full_matrices=False)
shadow = centered @ axes[:1].T
assert singular_values[0]**2 / np.sum(singular_values**2) > .99
assert np.allclose(shadow[::2], shadow[1::2])

Las etiquetas opuestas comparten la misma coordenada horizontal amplia. PCA conserva más del 99 % de la varianza y da la misma puntuación a cada pareja de etiquetas opuestas. La pequeña coordenada vertical, la que PCA descarta, separa todas las parejas.

La varianza conservada no es información conservada. Elige la representación mediante validación en la tarea concreta dentro del entrenamiento, y evalúala después con datos reservados.