Tutorial: Integracao com IA

O HarbourBuilder fornece dois componentes de IA complementares: TOllama para conectar a grandes modelos de linguagem locais via o servico Ollama, e TTransformer para carregar e executar pesos de modelo transformer diretamente no processo. Este tutorial cobre ambas as abordagens com exemplos completos e funcionais.

Parte 1: TOllama — Chat com um LLM Local

Passo 1: Pre-requisitos

1. Instale o Ollama na sua maquina.
2. Baixe um modelo: execute ollama pull llama3 no seu terminal.
3. Verifique que o Ollama esta em execucao (ele escuta em http://localhost:11434 por padrao).

Passo 2: Criar a UI de Chat

Construa um formulario com um Memo para o historico de conversacao, uma Caixa de Texto para entrada do usuario e um botao Enviar.

#include "hbbuilder.ch"

function Main()

   local oForm, oMemo, oGetPrompt, oBtnSend, oOllama
   local cPrompt := ""

   // --- Conectar ao Ollama ---
   DEFINE OLLAMA oOllama ;
      URL "http://localhost:11434" ;
      MODEL "llama3"

   // --- Construir a UI ---
   DEFINE FORM oForm TITLE "Chat com IA" ;
      SIZE 700, 550 FONT "Segoe UI", 10

   @ 10, 10 MEMO oMemo ;
      OF oForm SIZE 660, 420 ;
      READONLY

   @ 440, 10 GET oGetPrompt VAR cPrompt ;
      OF oForm SIZE 540, 28

   @ 440, 560 BUTTON oBtnSend PROMPT "Enviar" ;
      OF oForm SIZE 110, 32 ;
      ACTION SendMessage( oOllama, oMemo, oGetPrompt )

   ACTIVATE FORM oForm CENTERED

return nil

Passo 3: Enviar uma Mensagem e Obter uma Resposta

Use oOllama:Chat() para uma simples requisicao/resposta, ou oOllama:ChatStream() para receber a resposta token por token conforme e gerada.

Chat simples (bloqueante):

static function SendMessage( oOllama, oMemo, oGetPrompt )

   local cPrompt  := oGetPrompt:GetValue()
   local cResponse

   if Empty( cPrompt )
      return nil
   endif

   // Exibir mensagem do usuario
   oMemo:Append( "Voce: " + cPrompt + Chr( 13 ) + Chr( 10 ) )
   oGetPrompt:SetValue( "" )

   // Obter resposta da IA
   cResponse := oOllama:Chat( cPrompt )

   oMemo:Append( "IA: " + cResponse + Chr( 13 ) + Chr( 10 ) + Chr( 13 ) + Chr( 10 ) )

return nil

Passo 4: Resposta em Streaming para um Memo

Para uma melhor experiencia do usuario, faca streaming da resposta para que os tokens aparecam no Memo conforme sao gerados — exatamente como uma interface de chat real.

static function SendMessageStream( oOllama, oMemo, oGetPrompt )

   local cPrompt := oGetPrompt:GetValue()

   if Empty( cPrompt )
      return nil
   endif

   oMemo:Append( "Voce: " + cPrompt + Chr( 13 ) + Chr( 10 ) )
   oMemo:Append( "IA: " )
   oGetPrompt:SetValue( "" )

   // Stream de tokens um a um no Memo
   oOllama:ChatStream( cPrompt, { |cToken| oMemo:Append( cToken ) } )

   oMemo:Append( Chr( 13 ) + Chr( 10 ) + Chr( 13 ) + Chr( 10 ) )

return nil

Passo 5: Propriedades e Metodos do TOllama

Parte 2: TTransformer — Inferencia no Processo

Para cenarios onde voce precisa executar um modelo sem um servico externo, o HarbourBuilder fornece TTransformer. Este componente carrega pesos de modelo (formato GGUF) diretamente na memoria da sua aplicacao e executa inferencia usando a CPU (ou GPU se disponivel).

Passo 1: Obter um Arquivo de Modelo

1. Baixe um arquivo de modelo GGUF (ex. tinyllama-1.1b-chat.Q4_K_M.gguf do Hugging Face).
2. Coloque-o na pasta do seu projeto ou em um caminho conhecido.

Passo 2: Carregar o Modelo

#include "hbbuilder.ch"

function Main()

   local oForm, oMemo, oGetPrompt, oBtnRun, oTransformer

   // --- Carregar o modelo transformer ---
   DEFINE TRANSFORMER oTransformer ;
      MODEL "models/tinyllama-1.1b-chat.Q4_K_M.gguf" ;
      CONTEXT 2048 ;
      GPU_LAYERS 0  // Defina > 0 para descarregar camadas na GPU

   if .not. oTransformer:lLoaded
      MsgAlert( "Falha ao carregar modelo: " + oTransformer:cError )
      return nil
   endif

   // --- Construir a UI ---
   DEFINE FORM oForm TITLE "Demo TTransformer" ;
      SIZE 700, 550 FONT "Segoe UI", 10

   @ 10, 10 MEMO oMemo ;
      OF oForm SIZE 660, 420 ;
      READONLY

   @ 440, 10 GET oGetPrompt VAR cPrompt ;
      OF oForm SIZE 540, 28

   @ 440, 560 BUTTON oBtnRun PROMPT "Executar" ;
      OF oForm SIZE 110, 32 ;
      ACTION RunInference( oTransformer, oMemo, oGetPrompt )

   ACTIVATE FORM oForm CENTERED

return nil

Passo 3: Executar Inferencia

Use Generate() para uma resposta completa ou GenerateStream() para fazer stream de tokens em um controle Memo conforme sao produzidos.

static function RunInference( oTransformer, oMemo, oGetPrompt )

   local cPrompt := oGetPrompt:GetValue()

   if Empty( cPrompt )
      return nil
   endif

   oMemo:Append( "Prompt: " + cPrompt + Chr( 13 ) + Chr( 10 ) )
   oMemo:Append( "Resposta: " )
   oGetPrompt:SetValue( "" )

   // Stream de saida token por token
   oTransformer:GenerateStream( cPrompt, ;
      { |cToken| oMemo:Append( cToken ) }, ;  // a cada token
      256 )  // max tokens

   oMemo:Append( Chr( 13 ) + Chr( 10 ) + Chr( 13 ) + Chr( 10 ) )

return nil

Passo 4: Propriedades e Metodos do TTransformer

Quando Usar Cada Um