Tutorial de Transformer

El componente TTransformer implementa la arquitectura de transformer completa descrita en el articulo seminario "Attention Is All You Need" (Vaswani et al., 2017). Permite cargar pesos de modelos preentrenados, ejecutar inferencia, ajustar con datos personalizados e incluso entrenar transformers pequenos desde cero — todo desde codigo Harbour xBase.

Proyectos de Ejemplo

Arquitectura del Transformer

Propiedades

Eventos

Ejemplo 1: Cargar un Modelo Preentrenado

#include "hbbuilder.ch"

function Main()

   local oTransformer, cSalida

   DEFINE TRANSFORMER oTransformer ;
      MODEL "models/tinyllama-1.1b-chat.Q4_K_M.gguf" ;
      CONTEXT 2048 ;
      GPU_LAYERS 0

   if .not. oTransformer:lLoaded
      ? "Error al cargar modelo:", oTransformer:cError
      return nil
   endif

   // Generar texto desde una solicitud
   cSalida := oTransformer:Generate( ;
      "Habia una vez", ;  // solicitud
      128 )                  // max tokens

   ? cSalida

return nil

Ejemplo 2: Generacion de Tokens en Streaming

static function EjemploStream()

   local oTransformer

   DEFINE TRANSFORMER oTransformer ;
      MODEL "models/phi3-mini.Q4_K_M.gguf"

   // Conectar al evento OnGenerate para streaming
   oTransformer:OnGenerate := { |cToken, nStep| ;
      QOut( cToken ) }

   oTransformer:GenerateStream( ;
      "Explica la arquitectura del transformer", ;
      256 )

return nil

Ejemplo 3: Visualizacion de Atencion

static function AtencionVis()

   local oTransformer
   local aMapasAtencion := {}

   DEFINE TRANSFORMER oTransformer ;
      MODEL "models/tinyllama-1.1b.Q4_K_M.gguf"

   // Capturar pesos de atencion via evento OnAttention
   oTransformer:OnAttention := ;
      { |aW, nL, nH| AAdd( aMapasAtencion, ;
         { nL, nH, aW } ) }

   // Ejecutar un paso adelante
   oTransformer:Forward( "El gato se sento en la alfombra" )

   // Ahora aMapasAtencion contiene matrices de pesos
   // para cada capa y cabeza - renderizar como mapa de calor
   RenderizarMapaCalorAtencion( aMapasAtencion )

return nil

Ejemplo 4: Entrenar desde Cero

static function EjemploEntrenar()

   local oTransformer
   local aEntradas  := { "hola", "mundo", "prueba" }
   local aObjetivos := { "hola", "mundo", "prueba" }  // tarea de copia

   DEFINE TRANSFORMER oTransformer ;
      LAYERS 2 ;
      HEADS 4 ;
      EMBED_DIM 128 ;
      FF_DIM 256 ;
      VOCAB_SIZE 1000 ;
      MAX_SEQ_LEN 32 ;
      DROPOUT 0.1

   // Monitorear progreso del entrenamiento
   oTransformer:OnTrainStep := ;
      { |nStep, nLoss, nBatch| ;
         QOut( "Paso:", nStep, "Perdida:", nLoss ) }

   oTransformer:OnLoss := ;
      { |nLoss| ;
         if nLoss < 0.01 ;
            QOut( "¡Convergido!" ) ;
         endif }

   // Entrenar por 1000 pasos
   oTransformer:Train( aEntradas, aObjetivos, ;
      1000,  // pasos
      0.001 ) // tasa de aprendizaje

return nil

Detalles de Arquitectura

Mecanismo de Atencion

Cada cabeza de atencion calcula la atencion estandar de producto escalar escalada:

Attention(Q, K, V) = softmax(Q * K^T / sqrt(d_k)) * V

El mecanismo multi-cabeza ejecuta nHeads calculos de atencion en paralelo y concatena los resultados, luego aplica una proyeccion lineal.

Mascaramiento Causal

Cuando lCausal es .T. (por defecto), el transformer aplica una mascara causal (triangular) que impide que cada posicion atienda a posiciones futuras. Esto es esencial para la generacion de texto autorregresiva. Establece lCausal := .F. para tareas bidireccionales como clasificacion o modelado de lenguaje enmascarado.

Red Feed-Forward

Cada capa contiene una red feed-forward posicional:

FFN(x) = max(0, x * W1 + b1) * W2 + b2

donde la dimension interna es nFFDim (tipicamente 4x la dimension de incrustacion).