Back to basics: hoe data cleaning ál het verschil maakt

Een snelle online zoektocht bracht ons meteen bij een interessante dataset die we ook als voorbeeld noemen in onze Tech Talk. Eentje met geanonimiseerde patiëntgegevens over risicofactoren voor hart- en vaatziekten. Met een visuele scan is in een oogopslag te zien dat de set incompleet is; er zijn flink wat gaten te zien. Het gevaar als je deze cijfers gebruikt? Verkeerde voorspellingen. En worst case: mensen die niet op tijd gewaarschuwd worden voor de gezondheidsrisico’s die ze lopen.

De noodzaak van goede data begrijpt iedereen aan de hand van zo’n simpel voorbeeld. Toch merken wij in de praktijk dat lang niet elke scientist daar veel of überhaupt aandacht aan besteedt. Meestal geven zij voorrang aan het model waaraan ze de dataset voeden. Wie wél een dataset wil checken, maar niet weet waar te beginnen, komt online bedrogen uit. Wij vonden wel artikelen die delen van het proces beschreven, maar geen enkele die het hele proces tot in detail besprak. Daarom vonden wij het hoog tijd voor een plek waar je aan de hand van een paar stappen weet hoe je op een goede dataset uitkomt.

In onze Tech Talk doorlopen we die stappen uitgebreid, in deze blog nemen we je alvast mee. En je zal zien: het is best simpel.

Oké, je hebt gaten in je data gespot. Nu wil je weten waarom die data ontbreekt. Er kunnen drie redenen zijn. Wij gebruiken het voorbeeld van de kat die naar de dierenarts gaat om gewogen te worden. Die data kan op de volgende drie manieren incompleet zijn:

- Missing completely at random: door externe factoren, zoals een lege batterij in de weegschaal of de batterij die wordt opgeladen, hierdoor staat het gewicht van de kat niet geregistreerd.

- Missing at random: De kat was ziek en kon niet op de afspraak komen. De gegevens hebben een kolom 'ziek' en wanneer die kolom waar is, heeft de kolom 'gewicht' een ontbrekende waarde. Die ontbrekende waarde is er door de volledig ingevulde klolom 'ziek'.

- Missing not at random: het gewicht van de kat is niet ingevuld, want de eigenaar schaamde zich voor het gewicht van de kat. De data ontbreekt dus bewust.

Tot slot wil je testen of de ingevulde dataset ook daadwerkelijk waardevol is. Dit doe je aan de hand van een test- en een trainingset. Hoe precies, vertellen we ook weer in onze Tech Talk.

Wat je belangrijkste takeaway moet zijn wat ons betreft? Dat we bewust moeten zijn van onze verantwoordelijkheid voor de kwaliteit van data. Wij gaan niet alleen over de ontwikkeling van modellen, maar ook over hoe clean onze datasets zijn. Zelfs door heel minimaal data op te schonen, maken we al een enorme sprong voorwaarts in onze resultaten.

De gaten opvullen of niet, dat is steeds weer de vraag als je met datasets werkt. Als je ze niet opvult, de ontbrekende data dan maar gewoon verwijderen? En als je ze wel opvult, hoe dan? Moet je je eigenlijk ook druk maken over ontbrekende data? In hun Tech Talk geven Frances en Andre antwoord op al deze vragen. Eén antwoord: ja, je moet je altijd iets aantrekken van ontbrekende data. Wat je daarna doet staat alleen niet vast.