Project DelphiTaller de Tensores

CP son cuatro convoluciones, Tucker-2 son tres

Los pesos de una capa de convolución 2-D forman un tensor de 4 modos: canales de salida × canales de entrada × alto × ancho. Sustituye una CP de rango R y mete cada suma hacia dentro, y la capa se convierte en cuatro capas (Lebedev et al. 2015):

  1. una conv 1×1, de 256 a R canales
  2. una conv 3×1 depthwise por canal
  3. una conv 1×3 depthwise por canal
  4. una conv 1×1, de R a 256 canales

Depthwise (groups=R) significa que cada canal se convoluciona por separado: un término de rango uno nunca se mezcla con otro, otra vez el núcleo superdiagonal. La cadena guarda 518R pesos; R = 36 guarda 32 veces menos números que el kernel denso.

Tucker-2 comprime solo los dos modos de canal (Kim et al. 2016) y se convierte en tres capas: una conv 1×1, una conv 3×3 ordinaria cuyo kernel es el núcleo y otra conv 1×1.