Lakmoesproef in de AI-hype: recall en precision

In de hype van artificial intelligence (AI) willen zelfverklaarde goeroes en leveranciers ons wel eens verblinden met de ‘coolness’ van de tools en technologieën waar het label ‘AI’ of ‘Machine learning’ op is geplakt.

Maar vaak valt het wel mee – of tegen – wat die nieuwe coole tools bieden. Voor informatieprofessionals de schone taak om kritische vragen te stellen over de recall (opbrengst/vangst) en precision (precisie). De video Precision, Recall & F-Measure van AJ kan wellicht helpen je kennis over deze essentiële begrippen even op te poetsen.

AJ laat aan de hand van een voorbeeld met sportschoenen zien waarom de ‘Simple Accuracy Measure’ niet werkt. En hoe Precision en Recall wél helpen om te bepalen of een AI- ML- DL- of een andere tool in ‘information retrieval’ echt goed werkt.

AJ laat ook nog zien hoe je met de F (beta)-Measure verschillende systemen met elkaar vergelijkt. Waarbij hij ook uitlegt dat de waarde van een systeem ook wordt bepaald door het doel dat je er mee wilt bereiken.

Jouw rol als informatieprofessional

Je hoeft geen AI-ontwikkelaar te zijn of een PhD. in wiskunde te hebben om recall en precision en andere relevante begrippen te doorgronden. Er is voldoende te vinden op internet over dit onderwerp.

Tijdens je zoektocht zul je zien dat de echte AI-experts en AI-bronnen veel over recall en precision publiceren. Dat is niet verbazingwekkend, want AI gaat over informatie (data), context/semantiek, structuur, datakwaliteit, information retrieval en alles wat met ons vak als informatieprofessionals te maken heeft.

Jouw rol als informatieprofessional is volgens mij om de juiste vragen te stellen aan leveranciers en de werking van de systemen te duiden voor collega’s en management. Probeer – na het bekijken van de video met het voorbeeld van de de Nike-schoenen –  onderstaande figuur uit te leggen met een voorbeeld uit je eigen praktijk.

positives and negatives
Leg dit schema eens uit aan een collega met een voorbeeld uit je eigen praktijk

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

This site uses Akismet to reduce spam. Learn how your comment data is processed.