Lessen van een CAT

Een van onze aios moest een CAT houden en deed iets nieuws: geen uitgebreide, gestructureerde en reproduceerbare zoekactie in PubMed, maar de klinische vraag rechtstreeks in ChatGPT intypen en kiezen uit de literatuurlijst die de AI genereerde. Uren tijdsbesparing en een goed artikel gevonden.

Het leverde (vanzelfsprekend) in de opleidingsgroep een stevige discussie op of dit wel zo mocht. Een terechte vraag, want we hebben gewoon een protocol hoe een CAT tot stand komt, inclusief aanwijzingen voor de zoekstrategie, en dat protocol bestaat niet voor de vorm. Het borgt dat iemand anders dezelfde zoekactie kan herhalen en dan op dezelfde resultaten uitkomt. Tegelijk wilden we ook niet met de rug naar de toekomst gaan staan. In plaats van een simpel antwoord (mag wel/niet) hebben we een traject ingezet om de kracht van de nieuwe AI-systemen te benutten, maar wel de kwaliteit en reproduceerbaarheid te borgen.

Het boek van Ethan Mollick gaf daarvoor handvatten en verdient mijns inziens brede aandacht in ons vakgebied.

Co-Intelligence

Co-Intelligence: Living and Working with AI (2024) van Ethan Mollick, hoogleraar aan Wharton (University of Pennsylvania), belooft opvallend weinig. Geen voorspelling over banen die verdwijnen, geen handleiding per tool. Wat hij levert is een houding, een attitude, gebouwd op één observatie die hij de jagged frontier noemt: het vermogen van AI-systemen om ons te helpen is onvoorspelbaar. Soms presteert AI uitstekend op de ene taak maar faalt op een taak die er voor de gebruiker precies hetzelfde uitziet. Er bestaat geen vooraf af te leiden regel die je vertelt welke taak succesvol opgepakt kan worden en welke vooral ook niet.

De casus hierboven is daar een goed voorbeeld van, en niet omdat het goed ging. Het punt is dat we vooraf niet wisten of het zou werken, en nog belangrijker: we weten ook niet of dezelfde vraag morgen weer hetzelfde artikel oplevert. Een jagged frontier kent niet alleen een grens tussen taken, maar ook grenzen in tijd en in herhaling. Daarom is een eenvoudig verbod het verkeerde antwoord en is het formuleren van kwaliteits- en reproduceerbaarheidseisen een betere strategie.

Mollick formuleert vier regels. Hieronder loop ik ze langs zoals ik ze gebruik: als revalidatiearts, als opleider en als enthousiast AI-gebruiker.

1. Nodig AI altijd uit aan tafel

De eerste regel is de meest tegendraadse: gebruik AI bij vrijwel alles, ook bij taken waarvan je op voorhand denkt dat het niet gaat lukken. Niet omdat het altijd wat oplevert, maar omdat je anders nooit ontdekt waar jouw eigen frontier ligt. Die grens verschilt immers per vak en per taak, en je vindt hem niet door erover te praten.

Onze aios deed dit zonder het zo te noemen. Zij nodigde AI uit aan een tafel waarvan wij hadden aangenomen dat die bezet was, en de uitkomst dwong ons tot een expliciete afweging die we anders nooit gemaakt hadden.

In mijn geval loopt de grens inmiddels ongeveer zo. Bij literatuuronderzoek levert AI veel op: een snelle search opbouwen, een RCT doornemen, een CAT-kaart opbouwen, de zwakke plek middels een Cochrane-review laten benoemen voordat ik hem zelf gedetailleerd lees. Bij onderwijs idem: leerdoelen scherpstellen, een casus construeren rond een specifieke EPA, tegenargumenten genereren voor een refereeravond. Bij een businesscase of een opleidingsplan is AI een goede eerste lezer maar een slechte eerste schrijver. Een patroon dat steeds terugkomt, en blijkbaar een van de frontiers is: AI is slecht als de benodigde kennis impliciet en lokaal is — hoe het bij ons loopt, wie waarover gaat, wat de opleidingsgroep vorig jaar al geprobeerd heeft. AI is zeer sterk als het gaat om verbanden vinden, verbreding van onderwerpen, toetsing van onderwerpen tegen een grote body of literature of een richtlijnendatabase.

Eén begrenzing hoort er in de zorg expliciet bij, en die is niet technisch maar juridisch. Patiëntgebonden gegevens gaan nooit zomaar de cloud in. In mijn dagelijkse werk, maar ook bijvoorbeeld bij workshops voor aios, houd ik de casuïstiek altijd bewust niet-patiëntgebonden. Dat is geen concessie maar een afbakening die de vraag zuiver houdt: wat kan dit voor mijn denkwerk betekenen, los van de vraag welke data ik erin mag stoppen.

2. Blijf de mens in de loop

De tweede regel is de bekendste en juist daardoor de meest onderschatte. Mollick beschrijft het als een verschuiving van maker naar eindredacteur. Je verantwoordelijkheid neemt niet af als de tekst beter wordt, want die zat nooit in het typen van de tekst maar in de consequenties daarvan.

Wat dit lastig maakt is niet dat het model fouten maakt. Het is dat de fouten er vaak veel te goed uitzien. Een verzonnen referentie heeft dezelfde vorm als een echte, een net iets verkeerd geciteerde effectmaat leest even vloeiend als de juiste, en een subtiele verschuiving tussen Ashworth en Tardieu valt alleen op als je zelf weet waarom dat onderscheid bestaat. Interpretatie van statistiek, voor velen van ons toch al niet ons sterkste punt, kan subtiel maar enorm belangrijk zijn.

Vloeiendheid in geschreven tekst of visualisaties is in ons vak geen kwaliteitssignaal, maar geeft vaak wel een vals gevoel van kwaliteit.

Bij de CAT hebben we dit vertaald naar iets concreters dan waakzaamheid. De vraag is niet of AI gebruikt is, maar of de route navolgbaar is: welke vraag is gesteld, wat kwam eruit, en is de gevonden literatuur langs een controleerbare zoekstrategie verantwoord? Voor de opleiding zit daar een tweede laag onder. Een aios die deze tools gebruikt zonder de onderliggende kennis, kan het verschil tussen een goed en een plausibel antwoord niet zien. De volgorde is wat mij betreft dan ook omgekeerd aan wat je zou verwachten: het oordeel is richtinggevend, niet het gereedschap.

3. Behandel het als een persoon, maar zeg welke

De derde regel levert het snelst rendement op. De output van AI verandert substantieel als je expliciet maakt wie er antwoordt en voor wie. Dat sluit direct aan op het raamwerk dat ik in de workshops gebruik: rol, taak, context, vorm. De analogie die daar het beste werkt is die met de snelle klinische vraag op de gang. Een vage vraag zonder context levert een vaag antwoord op; een korte beschrijving die gestructureerd is en zeer to-the-point levert vaak een veel bruikbaarder antwoord op. Van een collega vindt niemand dat gek. Van een AI-model moeten we dat ook verwachten.

Er zit wel een addertje onder deze regel. "Behandel het als een persoon" is een instructie over interactie, geen uitspraak over wat het ding is. Mollick is daar zelf uitgesproken over: het is een alien mind, mensachtig in gedrag zonder mensachtige cognitie eronder. Die spanning is interessant genoeg om apart te behandelen, en daar kom ik zeker nog eens op terug.

4. Ga ervan uit dat dit de slechtste AI is die je ooit zult gebruiken

De vierde regel gaat over de houdbaarheid van je eigen oordeel. Wie twee jaar geleden concludeerde dat een model geen fatsoenlijke methodensectie kon beoordelen, heeft dat oordeel waarschijnlijk nooit herzien en loopt nu rond met een conclusie die niet meer klopt. "Dit kan AI niet" is meer afhankelijk van een datum dan van een eigenschap.

Voor mij heeft dat twee gevolgen. Hertest periodiek de taken waarop het eerder faalde, en leg vast wat je getest hebt, anders blijft het vluchtig. AI is zeer sterk in het periodiek schrijven van bijvoorbeeld een handoff-document, en het hertoetsen daarvan. Vrijwel geen werk of investering, maar wel een groot verschil in effectiviteit. En voor de opleiding zwaarder wegend: bouw je afspraken zo dat ze meeschalen. Een protocol dat een specifieke tool verbiedt, is over een jaar achterhaald of wordt door de realiteit ingehaald. Een protocol dat reproduceerbaarheid eist, blijft staan als het gereedschap eronder wisselt. Dat is ook waarom onze CAT-discussie niet is geëindigd in een verbod maar in een concrete tool die aan alle eisen voldoet.

Al met al is mijn les van de afgelopen twee jaar van intensief AI-gebruik in de geneeskunde: dit zijn niet vier trucs, maar vier vragen die je jezelf per taak stelt. Heb ik het geprobeerd, wie controleert het, heb ik gezegd wie er antwoordt, en van wanneer dateert mijn oordeel hierover.

In een volgend stuk: de alien mind. Waarom het beter werkt om deze systemen niet als een digitale collega te zien, en wat dat betekent voor hoe we ze in de opleiding introduceren.