Few-shot promptiranje: 36% veća točnost

Problem: Vaš AI ne može čitati tehničke dokumente

Probali ste GPT-4 Vision na svojim tehničkim crtežima. Rezultati? Neupotrebljivi.

Standardni AI pristupi ne uspijevaju na specijaliziranim dokumentima jer:

• Nema domenskog znanja: Model ne razumije rasporede razvodnih ploča, strukture razina ili konvencije komponenti
• Nema vizualnih sidara: Ne može razlikovati što je važno od šuma
• Nekonzistentni izlazi: Svaki odgovor ima drugačiji format, kvareći vašu naknadnu obradu
• Propuštene sekcije: Kritični podaci se u potpunosti previđaju

Naš klijent suočio se upravo s ovim. Trebali su izvući brojeve razina, širine, status ventilacije i vrijednosti komponenti iz crteža električnih razvodnih ploča.

Prvi pokušaj s zero-shot promptiranjem: 18,2% točnosti.

To nije tipfeler. AI je pogodio manje od 1 od 5 puta.

Što kad biste mogli utrostručiti tu točnost bez promjene modela ili povećanja troškova?

Što smo izgradili: Few-Shot + Computer Vision pipeline

Kombinirali smo dvije tehnike koje pojedinačno pomažu, ali zajedno stvaraju nešto moćno:

Rezultati

Broj razina porastao je sa 72,7% na 100%. Zero-shot model fundamentalno je pogrešno razumio strukturu dokumenta. S primjerima, pogodio je svaki put.

Korak 1: Predobrada računalnim vidom

Prije nego LLM ikada vidi vaš dokument, pripremite ga vizualno.

Istrenirali smo lagani detekcijski model (Roboflow) za identifikaciju ključnih komponenti:

• MCMP ploče: Žuti sloj + zeleni obrub
• Mjerne jedinice: Plavi obris obruba

LLM prima "šalabahter" sliku. Umjesto skeniranja cijelog složenog crteža, točno zna gdje se fokusirati.

Zamislite to kao podcrtavanje udžbenika prije ispita. Sadržaj je isti, ali važni dijelovi su označeni.

Korak 2: Few-Shot primjeri koji zaista funkcioniraju

Razlika između dobrog i izvrsnog few-shot promptiranja je odabir primjera.

Loši primjeri

• Svi slične složenosti
• Isti tip dokumenta
• Bez rubnih slučajeva

Dobri primjeri (što smo koristili)

• Primjer 1: Jednostavan raspored, minimalne komponente
• Primjer 2: Jaka ventilacija, složena struktura razina
• Primjer 3: Miješane komponente, neuobičajene širine
• Primjer 4: Rubni slučaj s nedostajućim podacima

Ključni uvid: 4 raznovrsna primjera pobjeđuju 20 sličnih. Kvaliteta i pokrivenost važnije su od količine.

Korak 3: Nametnite strukturu s Pydanticom

Čak i s izvrsnim primjerima, LLM-ovi mogu ispisati nevaljan JSON. Koristimo Pydantic za jamčenje valjanih izlaza — nema više pogrešaka parsiranja JSON-a, nema nedostajućih polja, nema nepodudaranja tipova.

Što možete primijeniti danas

1. Ne počinjite s LLM-om. Koristite CV za predobradu i isticanje ključnih regija.
2. Izgradite raznovrstan set primjera. Pokrijte rubne slučajeve, ne samo idealne scenarije. 4-6 visokokvalitetnih primjera pobjeđuje 20 osrednjih.
3. Nametnite strukturu. Koristite Pydantic, Zod ili JSON Schema. Nikad ne vjerujte slobodnom LLM izlazu u produkciji.
4. Mjerite ispravno. Pratite stopu točnog podudaranja I točnost na razini polja. One govore različite priče.

Sažetak rezultata