Kies eerst wat een bruikbaar antwoord moet doen
Een aangepaste prompt geeft een prettig antwoord. Maar heeft hij de juiste informatie behouden, de indeling gevolgd en niets erbij verzonnen? Een klein testoverzicht maakt de vergelijking tussen twee instructies concreter.
OpenAI adviseert evaluaties af te stemmen op de specifieke taak en het gewenste resultaat. Voor een kleine onderneming hoeft dat niet meteen een technische testomgeving te zijn. De aanpak hieronder is een eigen handmatige werkwijze voor tekstvoorstellen. Je kunt hem gebruiken bij ChatGPT of bij een MAINE-skill.
Maak een proefset met verschillende situaties
Kies één terugkerende taak en maak enkele fictieve invoervoorbeelden: een duidelijke aanvraag, een onvolledige aanvraag, een tegenstrijdigheid en een verzoek buiten het doel. Bewaar de invoer ongewijzigd voor volgende vergelijkingen.
Beschrijf vooraf wat je verwacht. Een perfecte voorbeeldtekst is niet nodig. “Noemt dat de uitvoeringsdatum ontbreekt” geeft meer houvast dan “moet ongeveer zo klinken”. Begin met een overzicht dat je daadwerkelijk wilt nalopen; een kleine proefset bewijst geen algemene betrouwbaarheid.
Fictief voorbeeld: vier aanvragen voor een opname
Een fictieve interieurbouwer test een instructie die ontbrekende informatie voor een locatiebezoek benoemt. Geval A bevat een werkadres, gewenst meubel en beschikbaar tijdvak. De controle is of het antwoord niet opnieuw om diezelfde gegevens vraagt. Geval B mist het werkadres: het antwoord moet dat ontbrekende gegeven signaleren, zonder een plaats in te vullen.
Geval C noemt twee verschillende adressen zonder uitleg. Het antwoord moet vragen welk adres voor het bezoek geldt. Geval D vraagt alleen om een algemene uitleg over materialen. De instructie mag daar niet vanzelf een bevestigde opnameafspraak van maken. Dit zijn bedachte testgevallen, geen uitgevoerde klantproeven of gemeten AI-resultaten.
Gebruik drie eenvoudige controlevelden per antwoord: noodzakelijke vraag aanwezig, geen onbewezen gegeven toegevoegd en passende soort reactie. Noteer bij een fout de precieze zin. Dan weet je straks welke instructie verduidelijking nodig heeft.
Probeer de instructie gecontroleerd met MAINE
In MANE kun je de werkwijze als eigen MAINE-skill bewaren en bewust openen voor gebruik. Geef voor deze proef expliciet mee: “Gebruik alleen de fictieve testcase hieronder. Zoek geen bedrijfsrecords op. Geef uitsluitend een tekstvoorstel en wijzig niets.” Zo beoordeel je eerst de instructie, zonder de test te vermengen met een echt klantdossier.
Wil je het verbruik begrenzen, open dan onder de invoer Verbruik begrenzen en kies een maximum voor die vraag. Bij een te laag maximum kan de opdracht stoppen; dat is geen inhoudelijke testuitslag. Het werkelijke verbruik staat bij de uitkomst. Een nieuwe vraag heeft een eigen opdracht en deze instelling geldt niet vanzelf voor geplande acties.
Vergelijk versies op dezelfde invoer
Bewaar je oorspronkelijke instructietekst als versie A en je aanpassing als versie B in je eigen testdocument. Verander bijvoorbeeld alleen de regel voor ontbrekende locatiegegevens. Laat beide versies op dezelfde proefset antwoorden en gebruik voor beide dezelfde controlevelden. Vermeld datum, gebruikte omgeving en model wanneer dat zichtbaar is.
OpenAI beschrijft skills testen als vastleggen wat er gebeurde en beoordelen tegen concrete criteria. Gebruik hier een eigen overzicht: testcase, instructieversie, antwoord, controle en toelichting. Dit is geen ingebouwde automatische scorefunctie van MANE.
Herhaal een belangrijk geval zo nodig. Eén goede formulering zegt weinig over de stabiliteit. Vergelijk inhoudelijke fouten apart van stijlvoorkeuren; korter is niet beter als juist de ontbrekende informatie wegvalt.
Verbeter de oorzaak, niet alleen het antwoord
Zie je dezelfde fout vaker? Pas de betreffende regel aan. Vraagt de instructie om een adres dat al aanwezig is, laat haar dan eerst controleren welke gegevens beschikbaar zijn. Ga niet alle mogelijke uitzonderingen opsommen.
Controleer ook de invoer. Wanneer je testcase zelf dubbelzinnig is, kan een verduidelijkingsvraag juist een goede uitkomst zijn. In OpenAI’s optimalisatierichtlijn horen testen, instructies aanpassen en opnieuw beoordelen bij dezelfde verbeterlus. Gebruik de uitkomst om een volgende wijziging te kiezen, niet om een algemeen rapportcijfer aan AI te geven.
Neem een verbetering bewust over in je werkwijze
Bewaar bij je testnotitie welke versie je verder gebruikt en waarom. Pas daarna de echte werkwijze aan; een eigenaar of beheerder kan een MAINE-skill wijzigen. Bewaar in je eigen testdocument ook de vorige tekst, zodat je kunt begrijpen wat er veranderd is.
Voeg een geval toe wanneer je een terugkerende fout ontdekt. Zo groeit je proefset uit geleerde lessen. Blijf bij klantwerk daarnaast ieder voorstel lezen voordat je het bewaart, verstuurt of gebruikt.
Veelgestelde vragen
Hoeveel voorbeelden heb ik nodig om een AI-prompt te testen?
Er is geen vast aantal voor iedere taak. Begin met enkele duidelijke, onvolledige en afwijkende situaties. Voeg gevallen toe wanneer je nieuwe fouten tegenkomt. Een kleine proefset geeft richting, geen betrouwbaarheidsgarantie.
Kan MAINE mijn instructie automatisch goedkeuren?
De handmatige testmethode in dit artikel geeft geen automatisch keurmerk. Jij vergelijkt de antwoorden met vooraf gekozen criteria. MAINE helpt de werkwijze uitvoeren; de beoordeling en keuze om een wijziging over te nemen blijven afzonderlijke stappen.
