Wat is fine-tuning?

Fine-tuning is het verder trainen van een bestaand taalmodel op je eigen voorbeelden, zodat het een bepaalde taak, stijl of opmaak beter beheerst. Je begint dus niet bij nul, maar bouwt voort op een model dat al taal begrijpt. Het model leert daarmee vooral een vaardigheid, niet je actuele bedrijfsinformatie.

Hoe werkt fine-tuning?

Een groot taalmodel (LLM) is getraind op enorme hoeveelheden tekst. Daardoor kan het schrijven, samenvatten en redeneren, maar het doet dat op een algemene manier. Bij fine-tuning geef je het model een set voorbeelden van precies wat je wilt: een invoer en de gewenste uitvoer. Bijvoorbeeld een binnenkomende mail en de juiste categorie, of een ruwe storingsmelding en een nette werkorder in jouw opmaak.

Het model past op basis van die voorbeelden een deel van zijn interne instellingen aan. Na de training heb je een eigen variant van het model die de taak in jouw stijl uitvoert, zonder dat je de voorbeelden telkens opnieuw hoeft mee te sturen.

De stappen zijn in grote lijnen:

Voorbeelden verzamelen: paren van invoer en gewenste uitvoer, gecontroleerd en consistent.
Trainen: het model leert van de voorbeelden. Dat gebeurt bij de aanbieder van het model of op eigen hardware.
Testen: je legt het getrainde model nieuwe gevallen voor die niet in de training zaten, en vergelijkt de uitkomst met wat je verwacht.
In gebruik nemen: je software roept het getrainde model aan in plaats van het standaardmodel.

Fine-tuning, RAG of een goede prompt?

Er zijn drie manieren om een taalmodel beter te laten aansluiten op je bedrijf. Ze lossen elk een ander probleem op.

Een goede prompt. Je beschrijft de taak duidelijk en geeft een paar voorbeelden mee in de opdracht. Dit is snel, goedkoop en makkelijk aan te passen. Voor veel taken is dit genoeg.
RAG. Bij RAG (retrieval-augmented generation) zoekt het systeem bij elke vraag de relevante stukken uit je eigen documenten op en geeft die mee aan het model. Het model blijft hetzelfde. Dit is de beste keuze als het model actuele kennis nodig heeft, zoals productinformatie, procedures of klantafspraken.
Fine-tuning. Je verandert het gedrag van het model zelf. Dit past bij een taak die heel vaak terugkomt, met een vaste opmaak of een specifieke manier van indelen, waarbij prompts niet betrouwbaar genoeg blijken.

Een vuistregel: fine-tuning leert een model hoe het iets doet, RAG geeft het model wat het moet weten. Kennis die verandert, hoort niet in een getraind model. Werk je een prijslijst of procedure bij, dan zou je bij fine-tuning opnieuw moeten trainen. Bij RAG werk je alleen het document bij.

Voorbeelden in een bedrijf

Service en onderhoud: storingsmeldingen in vrije tekst omzetten naar een vaste opbouw met storingscode, onderdeel en urgentie.
Groothandel: inkomende orders per mail of pdf uitlezen en omzetten naar regels in het formaat van je ERP.
Productie: afwijkingsrapporten indelen in vaste categorieën, zodat je ze kunt tellen en vergelijken.
Zorg: notities samenvatten in een vaste, korte opbouw, met duidelijke afspraken over welke gegevens het model te zien krijgt.

In al deze voorbeelden is het goed om eerst te proberen hoe ver je komt met een duidelijke prompt en voorbeelden. Vaak is dat al voldoende, en dan heb je geen training nodig.

Waar let je op?

Kwaliteit van de voorbeelden

Een getraind model neemt over wat in de voorbeelden staat, ook de fouten. Zijn je voorbeelden inconsistent, dan wordt het model dat ook. Het verzamelen en controleren van goede voorbeelden is vaak het meeste werk.

Kosten en onderhoud

Fine-tuning kost tijd en geld: voor het voorbereiden van de data, de training zelf en het testen. Daarnaast komen er regelmatig nieuwe, betere modellen uit. Een getraind model blijft gebaseerd op de oude versie. Wil je overstappen, dan moet je de training vaak opnieuw doen. Een prompt kun je meestal direct op een nieuw model gebruiken.

Testen en meten

Leg vooraf vast wanneer het resultaat goed genoeg is. Houd een set testgevallen apart en vergelijk het getrainde model met het standaardmodel plus een goede prompt. Alleen als het getrainde model duidelijk beter scoort, is de extra moeite de moeite waard.

Welke gegevens je gebruikt

Trainingsdata gaat naar de aanbieder van het model of naar de plek waar je zelf traint. Gebruik geen persoonsgegevens of vertrouwelijke informatie die daar niet hoort, en maak afspraken over waar de data blijft.

Fine-tuning in de praktijk

Fine-tuning is een krachtig middel, maar zelden de eerste stap. Begin met een duidelijke prompt, voeg RAG toe als het model je eigen informatie nodig heeft, en kies pas voor fine-tuning als een vaste taak daarna nog steeds niet betrouwbaar genoeg gaat. SQUARE Concepts bouwt sinds 2004 software in Laravel, gehost in Europa, en werkt met modellen als Claude, Gemini en ChatGPT. Lees meer over AI-automatisering voor je bedrijf.

Veelgestelde vragen

Wat is het verschil tussen fine-tuning en RAG?

Bij fine-tuning pas je het model zelf aan door het te trainen op voorbeelden. Bij RAG blijft het model hetzelfde en geef je het bij elke vraag de juiste informatie uit je eigen documenten mee. Fine-tuning leert een model hoe het iets moet doen, RAG geeft het model de kennis die het nodig heeft.

Heb ik fine-tuning nodig om AI met mijn eigen data te laten werken?

Meestal niet. Voor de meeste toepassingen in een bedrijf is een goede prompt met voorbeelden, eventueel aangevuld met RAG, genoeg. Fine-tuning komt pas in beeld als een taak vaak terugkomt en het met prompts niet betrouwbaar genoeg lukt.

Hoeveel voorbeelden heb je nodig voor fine-tuning?

Dat hangt af van de taak en het model. Belangrijker dan het aantal is de kwaliteit. Een kleinere set met goede, consistente voorbeelden werkt vaak beter dan een grote set met fouten en tegenstrijdigheden.

Kan ik elk taalmodel fine-tunen?

Nee. Niet elke aanbieder biedt fine-tuning aan voor elk model, en de mogelijkheden verschillen per aanbieder. Open modellen kun je zelf trainen, maar dan beheer je ook zelf de hosting.