Tutorial de Transformer

O componente TTransformer implementa a arquitetura transformer completa descrita no artigo seminal "Attention Is All You Need" (Vaswani et al., 2017). Ele permite carregar pesos de modelos pre-treinados, executar inferencia, fazer fine-tune com dados customizados e ate treinar transformers pequenos do zero — tudo a partir de codigo xBase Harbour.

Projetos de Exemplo

Arquitetura do Transformer

Propriedades

Eventos

Exemplo 1: Carregar um Modelo Pre-Treinado

#include "hbbuilder.ch"

function Main()

   local oTransformer, cOutput

   DEFINE TRANSFORMER oTransformer ;
      MODEL "models/tinyllama-1.1b-chat.Q4_K_M.gguf" ;
      CONTEXT 2048 ;
      GPU_LAYERS 0

   if .not. oTransformer:lLoaded
      ? "Falha ao carregar modelo:", oTransformer:cError
      return nil
   endif

   // Gerar texto a partir de um prompt
   cOutput := oTransformer:Generate( ;
      "Era uma vez", ;  // prompt
      128 )                  // max tokens

   ? cOutput

return nil

Exemplo 2: Geracao de Tokens em Streaming

static function StreamExample()

   local oTransformer

   DEFINE TRANSFORMER oTransformer ;
      MODEL "models/phi3-mini.Q4_K_M.gguf"

   // Hook no evento OnGenerate para streaming
   oTransformer:OnGenerate := { |cToken, nStep| ;
      QOut( cToken ) }

   oTransformer:GenerateStream( ;
      "Explique a arquitetura transformer", ;
      256 )

return nil

Exemplo 3: Visualizacao de Atencao

static function AttentionVis()

   local oTransformer, oForm, oChart
   local aAttentionMaps := {}

   DEFINE TRANSFORMER oTransformer ;
      MODEL "models/tinyllama-1.1b.Q4_K_M.gguf"

   // Capturar pesos de atencao via evento OnAttention
   oTransformer:OnAttention := ;
      { |aW, nL, nH| AAdd( aAttentionMaps, ;
         { nL, nH, aW } ) }

   // Executar um passe forward
   oTransformer:Forward( "The cat sat on the mat" )

   // Agora aAttentionMaps contem matrizes de pesos
   // para cada camada e cabeco - renderizar como heatmap
   RenderAttentionHeatmap( aAttentionMaps )

return nil

Exemplo 4: Treinamento do Zero

static function TrainExample()

   local oTransformer
   local aInputs  := { "hello", "world", "test" }
   local aTargets := { "hello", "world", "test" }  // tarefa de copia

   DEFINE TRANSFORMER oTransformer ;
      LAYERS 2 ;
      HEADS 4 ;
      EMBED_DIM 128 ;
      FF_DIM 256 ;
      VOCAB_SIZE 1000 ;
      MAX_SEQ_LEN 32 ;
      DROPOUT 0.1

   // Monitorar progresso do treinamento
   oTransformer:OnTrainStep := ;
      { |nStep, nLoss, nBatch| ;
         QOut( "Step:", nStep, "Loss:", nLoss ) }

   oTransformer:OnLoss := ;
      { |nLoss| ;
         if nLoss < 0.01 ;
            QOut( "Convergiu!" ) ;
         endif }

   // Treinar por 1000 steps
   oTransformer:Train( aInputs, aTargets, ;
      1000,  // steps
      0.001 ) // taxa de aprendizado

return nil

Detalhes da Arquitetura

Mecanismo de Atencao

Cada cabeco de atencao computa a atencao padrao de produto escalar escalonado:

Attention(Q, K, V) = softmax(Q * K^T / sqrt(d_k)) * V

O mecanismo multi-head executa nHeads computacoes de atencao paralelas e concatena os resultados, depois aplica uma projecao linear.

Mascaramento Causal

Quando lCausal e .T. (o padrao), o transformer aplica uma mascara causal (triangular) que impede cada posicao de atender a posicoes futuras. Isso e essencial para geracao de texto autorregressiva. Defina lCausal := .F. para tarefas bidirecionais como classificacao ou modelagem de linguagem mascarada.

Rede Feed-Forward

Cada camada contem uma rede feed-forward posicional:

FFN(x) = max(0, x * W1 + b1) * W2 + b2

onde a dimensao interna e nFFDim (tipicamente 4x a dimensao de embedding).