Het belang van trainingsgegevens

Zoals in de meeste systemen is AI zo sterk als de zwakste schakel. Als je goede data hebt, maar geen manier om die te verwerken, heb je niets. En zelfs als je de meest geavanceerde architectuur hebt, maar je voert data van lage kwaliteit in, zullen de resultaten teleurstellend zijn.

In dit hoofdstuk bespreken we het belang van het leveren van gegevens van hoge kwaliteit bij het trainen van een AI-model. Daarnaast evalueren we aan welke criteria gegevens moeten voldoen om als gegevens van hoge kwaliteit te worden beschouwd.

Er zijn systemen die gebruikmaken van gesimuleerd leren, waarbij een AI met een gesimuleerde omgeving om gaat en leert door middel van trial-and-error door middel van bekrachtiging (dit wordt uitgelegd in hoofdstuk 4). Voor andere AI-modellen is trainingsdata de enige bron van begrip voor de AI. Alle patronen die het model observeert, zijn gebaseerd op de data die het krijgt. Dit komt doordat de AI, in tegenstelling tot mensen, geen lichaam of persoonlijke ervaring heeft om kennis uit te halen en afhankelijk is van de input om zijn waarheid te bepalen. Het heeft geen verdere manier om zijn conclusies te testen, tenzij het later te horen krijgt dat de informatie onjuist is. Daarom zijn data van hoge kwaliteit noodzakelijk voor het functioneren van AI-modellen. Maar wat zijn nu eigenlijk data van hoge kwaliteit?

De eerste overweging is nauwkeurigheid. Hoewel er zowel gelabelde als ongelabelde datasets zijn, is nauwkeurigheid voor beide cruciaal. Bij gebruik van gelabelde data in combinatie met supervised learning (meer hierover in hoofdstuk 4), hangt de nauwkeurigheid van de data af van hoe gedetailleerd en correct de labels zijn ten opzichte van de data. Je kunt bijvoorbeeld een AI trainen om objecten in een afbeelding te identificeren.

Neem bijvoorbeeld deze afbeelding; deze kan worden gebruikt als input om een AI te trainen. De afbeelding blijft hetzelfde, maar de tags kunnen variëren afhankelijk van de gewenste complexiteit van de AI. Eén label kan ‘vogel’ zijn; dit beperkt het begrip van de AI. Een andere, meer geavanceerde dataset kan deze afbeelding labelen met tags als ‘vogel, roodborstje, zittend, staand op tak, oranje borst, wazige achtergrond’, enzovoort. U kunt zich het verschil in de resulterende AI-modellen voorstellen. Als u een onbetrouwbare dataset gebruikt, kan deze afbeelding zelfs het label ‘kat’ hebben. Dit is natuurlijk overdreven, maar als u de AI leert dat dit een kat is, kan hij, zelfs als hij begrijpt wat een vogel is, ernaar verwijzen als een kat. Daarom is het gebruik van gedetailleerde en nauwkeurige gelabelde data cruciaal voor een goede functionaliteit bij het trainen van een AI.

Als we een voorbeeld willen geven van nauwkeurigheid in de context van ongelabelde data die gebruikt worden in ongeleide training, kunnen we ons een groot taalmodel (LLM) voorstellen. LLM’s zoals ChatGPT kunnen getraind worden met ongelabelde data, zoals artikelen, tweets, Reddit-berichten, wetenschappelijke tijdschriften, enz. Dit zijn ongelabelde data en de AI gebruikt deze om patronen in de zinsstructuur te identificeren en relaties tussen woorden te leggen. Door de AI te trainen met voldoende van deze data, begint de AI zinnen te produceren die een mens zou kunnen schrijven. Als je de AI echter traint met huiswerk van zesjarige kinderen, kun je ongewenste resultaten van de AI krijgen. Dit is wat kwaliteit betekent in de context van ongelabelde data.

Kortom, als je hem dingen leert die niet waar zijn, kan de AI dit niet corrigeren. Zorg ervoor dat de data die gebruikt wordt om een AI te trainen van hoge kwaliteit is, anders zou hij katten als honden kunnen identificeren. Als je hem traint met tekst, zorg er dan voor dat deze coherent en grammaticaal correct is geschreven, anders kan de uitkomst onzinnig zijn. Zelfs een kleine subset van de data van lage kwaliteit kan het model verontreinigen, omdat AI werkt met patronen en daardoor onjuiste verbanden legt. De kwaliteit van de invoerdata is direct gecorreleerd met de kwaliteit van de uitkomsten.

Een andere overweging voor hoogwaardige data is de aanwezigheid van vooroordelen. Zelfs als er technisch niets mis is met de data, kun je nog steeds enorme problemen krijgen als je vooroordelen over het hoofd ziet. In een PR-schandaal lijkt een AI voor beeldherkenning voornamelijk te zijn getraind op blanke gezichten, waardoor mensen van andere rassen als primaten werden herkend. Dit kan worden opgelost door rekening te houden met de twee volgende criteria voor hoogwaardige data: volume en diversiteit.

Hoe groter het brein van de AI – gemeten in het aantal parameters – hoe meer data er nodig is om waarden nauwkeurig en effectief in de nodes te coderen, aangezien elke input de nodewaarden slechts lichtjes zal verschillen. Beschouw nodes als wiskundige functies – ze ontvangen input en geven output na wat rekenwerk. Daarom is het belangrijk om voldoende volume te hebben bij het trainen van een AI. Er zijn online verschillende suggesties te vinden over hoeveel data voldoende is, maar de enige echte manier om dit te bepalen is door de AI te testen. Dit test natuurlijk het hele systeem en niet alleen de hoeveelheid inputdata, waardoor het moeilijk is om het zwakke punt te identificeren. Door het model te testen, krijg je echter een idee van de resultaten die je kunt verwachten.

De laatste belangrijke overweging bij het trainen van data is de diversiteit. Als je de AI te veel van één type input geeft, zal deze overfitten en algemene patronen niet herkennen, maar alleen geoptimaliseerd worden voor die ene vraag. Dit hangt natuurlijk af van het doel van de AI, maar voor grote taalmodellen is het cruciaal dat ze een breed begrip hebben en zelfstandig proberen te redeneren. Laten we eens een paar voorbeelden bekijken: als je de AI alleen vragen laat over toevoegen laat maken, zal het niet weten hoe het moet vermenigvuldigen. Als je de AI te veel artikelen laat zien, klinkt hij in alle contexten als een verslaggever, dus je kunt beter Reddit-threads of tweets opnemen. In een AI voor beeldherkenning kun je hem te veel vergelijkbare foto’s geven – als alle foto’s met een vogel een blauwe lucht als achtergrond hebben, kan de AI ervan uitgaan dat het blauw bijdraagt aan het feit dat de afbeelding een vogel is.