Few-Shot Prompting: 36% Mais Precisão

O Problema: Sua IA Não Consegue Ler Documentos Técnicos

Você já tentou GPT-4 Vision nos seus desenhos técnicos. Os resultados? Péssimos.

Abordagens padrão de IA falham em documentos especializados porque:

• Sem conhecimento de domínio: O modelo não entende layouts de quadros elétricos, estruturas de níveis ou convenções de componentes
• Sem âncoras visuais: Não consegue distinguir o que é importante do que é ruído
• Saídas inconsistentes: Cada resposta tem um formato diferente, quebrando seu processamento downstream
• Seções perdidas: Dados críticos são completamente ignorados

Nosso cliente enfrentou exatamente isso. Eles precisavam extrair números de nível, larguras, status de ventilação e valores de componentes de desenhos de quadros elétricos.

Primeira tentativa com zero-shot prompting: 18,2% de precisão.

Não é um erro de digitação. A IA acertou menos de 1 em 5 vezes.

E se você pudesse triplicar essa precisão sem mudar de modelo ou aumentar custos?

O Que Construímos: Pipeline Few-Shot + Visão Computacional

Combinamos duas técnicas que individualmente ajudam, mas juntas criam algo poderoso:

Os Resultados

A contagem de níveis foi de 72,7% para 100%. O modelo zero-shot fundamentalmente não entendia a estrutura do documento. Com exemplos, acertou todas as vezes.

Etapa 1: Pré-processamento de Visão Computacional

Antes do LLM ver seu documento, prepare-o visualmente.

Treinamos um modelo de detecção leve (Roboflow) para identificar componentes-chave:

• Placas MCMP: Sobreposição amarela + borda verde
• Unidades de medição: Contorno de borda azul

O LLM recebe uma imagem "guia". Em vez de escanear todo o desenho complexo, ele sabe exatamente onde focar.

Pense nisso como sublinhar um livro-texto antes de uma prova. O conteúdo é o mesmo, mas as partes importantes estão marcadas.

Etapa 2: Exemplos Few-Shot Que Realmente Funcionam

A diferença entre um bom e um ótimo few-shot prompting é a seleção de exemplos.

Exemplos Ruins

• Todos com complexidade similar
• Mesmo tipo de documento
• Sem casos extremos

Bons Exemplos (O Que Usamos)

• Exemplo 1: Layout simples, componentes mínimos
• Exemplo 2: Ventilação pesada, estrutura de níveis complexa
• Exemplo 3: Componentes mistos, larguras incomuns
• Exemplo 4: Caso extremo com dados faltantes

Insight chave: 4 exemplos diversos superam 20 similares. Qualidade e cobertura importam mais que quantidade.

Etapa 3: Forçar Estrutura com Pydantic

Mesmo com ótimos exemplos, LLMs podem produzir JSON malformado. Usamos Pydantic para garantir saídas válidas — sem mais erros de parsing JSON, sem campos faltantes, sem incompatibilidades de tipo.

O Que Você Pode Aplicar Hoje

1. Não comece com o LLM. Use CV para pré-processar e destacar regiões-chave primeiro.
2. Monte um conjunto diverso de exemplos. Cubra casos extremos, não apenas cenários felizes. 4-6 exemplos de alta qualidade superam 20 mediocres.
3. Force estrutura. Use Pydantic, Zod ou JSON Schema. Nunca confie em saída livre de LLM em produção.
4. Meça corretamente. Acompanhe taxa de correspondência exata E precisão por campo. Elas contam histórias diferentes.

Resumo dos Resultados