De curve die niemand bijhoudt
Ik weet ondertussen wel wanneer ik op het matje word geroepen. Ik ben zo’n zes maanden als ANIOS op de spoedeisende hulp aan het werk, wanneer een verpleegkundige me vraagt om even mee te lopen. Hij kijkt me aan en zegt: Onno, er bestaat hier een soort tweedejaarssyndroom op de spoedeisende hulp. De meeste arts-assistenten beginnen rustig en twijfelend, worden door de verpleegkundigen aan de hand meegenomen terwijl ze leren omgaan met verantwoordelijkheid. Ze vragen supervisie van ouderejaars, soms van medisch specialisten, en langzaam leren ze het klappen van de zweep. En dan, op een gegeven moment, worden ze overmoedig. Ze denken het te begrijpen en worden bijdehand. Op zich niet erg. Behalve als ze denken dat ze er al zijn.
Je bent een slimme vent, Onno, en je bent een lieve dokter. Maar geloof me als ik zeg dat je nog een hoop te leren hebt. En dat je, als je in de veronderstelling leeft dat jij in je eentje deze spoedeisende hulp kunt bestieren, van jezelf niet doorhebt hoeveel je nog moet leren.
Ik herkende dit gedrag wel bij mijzelf. Ook op mijn studentenvereniging was het tweedejaarssyndroom een serieus ding. Ik wist ook dat hij gelijk had gehad. Het was een bekend onderdeel van mijn eigen leercurve.
Waarom die curve hanteerbaar is
Die verpleegkundige is ondertussen met pensioen, en ik sta aan de andere kant. Ik superviseer nu zelf de arts-assistenten die deze curve doorlopen, en ik zie hem elke keer opnieuw: de rustige start, de overmoed in het midden, en bij de meesten daarna het herstel.
De overmoed in dat midden is gevaarlijk. En toch handelen we hem af. Niet omdat ik hem in het moment betrap, want dat lukt lang niet altijd. We handelen hem af omdat de curve die de verpleegkundige beschreef geen geheim is. Hij kon hem uittekenen omdat iedereen op de afdeling hem kent.
Elke AIOS komt binnen met een dossier. Er is een opleidingsplan, een supervisor die ongeveer weet in welke fase iemand zit, een portfolio, voortgangsgesprekken, visitatie, examens, en aan het eind een diploma. Mijn gepaste wantrouwen bij elke nieuwe arts-assistent is geen improvisatie. Het is geijkt op een traject dat anderen al in kaart hebben gebracht. Ik hoef niet vanaf nul te ontdekken waar deze persoon onbetrouwbaar is. De opleiding is, naast alles wat ze nog meer is, een instituut dat betrouwbaarheidscurves bijhoudt.
Daarom geef ik een eerstejaars AIOS en een nieuwe specialist allebei een marge, maar niet dezelfde. Het wantrouwen is geen vaste positie, het is een afbouwschema. Dat schema werkt alleen omdat ik weet waar iemand op de lijn staat. Het diploma is uiteindelijk niet veel meer dan een claim over een punt op die curve, een claim waar een externe instantie voor instaat.
Hetzelfde gedrag, op AI
Dat afbouwschema is niet iets wat ik voor arts-assistenten heb bedacht. Het is dezelfde neiging waarmee ik alles aanneem wat een ander mij aanlevert. Een overdracht, een aanvraag, een opmerking van een collega, en sinds kort de uitslag van een AI-model. Gepast wantrouwen, en de marge hangt af van wat ik over de bron weet. De vraag is wat er met mijn gedrag gebeurt als de bron een AI is.
Neem de wiskundigen. In oktober claimde OpenAI dat een model tien problemen van Erdős had gekraakt. Thomas Bloom, die de lijst met openstaande Erdős-problemen bijhoudt, keek ernaar en noemde het een dramatische misrepresentatie. Het model had bekende antwoorden teruggevonden, niets opgelost. Dat wantrouwen was terecht. In mei volgde een ander resultaat. Een vergelijkbaar model weerlegde het unit distance-vermoeden, open sinds 1946, en deze keer zetten Bloom en een Fields-medaillewinnaar hun naam onder de verificatie.
Het punt is niet dat AI nu betrouwbaar is geworden. Het punt is hoe ze de betrouwbaarheid moesten verifiëren. Ze konden niet zeggen dat dit systeem in zijn tweede jaar zat, daar een herkenbare fout maakte, en nu volwassen was. Ze moesten resultaat voor resultaat verifiëren, elke keer opnieuw, want er was geen curve om op terug te vallen. Bloom is de externe instantie uit de vorige alinea, maar dan zonder het dossier eronder. Hij staat ergens voor in, maar hij kan niet zeggen waar op de groeilijn dat model nu ligt, want die lijn is er niet.
Wat ik bij een arts-assistent superviseer zijn in het begin de fouten. Maar naarmate de opleiding vordert verschuift het. Het gaat steeds minder over wat iemand fout doet en steeds meer over zelfinzicht: het vermogen om zelf met onzekerheid om te gaan, om te merken dat de omstandigheden veranderd zijn en de eigen aanpak bij te stellen, om hulp te vragen op het juiste moment, om te weten dat je nog iets moet bijleren. De overmoedige tweedejaars is gevaarlijk omdat juist dat deel even wegvalt, maar het valt zichtbaar en gecontroleerd weg, en de opleiding is erop gebouwd het weer op te bouwen.
Een arts-assistent doorloopt die beweging waar ik bij sta. Ik weet niet precies hoe iemands oordeelsvermogen zich vormt. Bij een mens zit dat ook grotendeels buiten mijn zicht. Maar ik heb er twintig jaar ervaring mee. Ik ken de vorm van de curve, ik herken de fasen, ik weet hoe overmoed eruitziet en wat hem terugzet. Bij een model heb ik dat niet. Ik weet niet waar de intelligentie van een token prediction-systeem vandaan komt, of die binnen een gesprek iets opbouwt, of de duizendste vraag anders behandeld wordt dan de eerste. Het communiceert even vloeiend en stellig bij wat het kan en bij wat het niet kan. Maar of daar een curve onder ligt die ik niet zie, of helemaal geen curve, dat is precies wat ik niet kan beoordelen.
Welke curve heeft AI eigenlijk?
Het ding waar ik naar zoek is één leesbare curve: een simpel geijkt vertrouwen voor mijn samenwerking met de AIOS, en straks met de AI-OS. Vooralsnog breekt zo’n ijking op drie verschillende plaatsen.
De eerste is de meetlat zelf. Bij een arts-assistent ijk ik mijn wantrouwen op herhaling, op een beweging die ik vaker heb zien langskomen. Met een model heb ik die herhaling niet, en dus geen curve van eigen ervaring om de huidige versie tegen af te zetten.
De tweede is de vorm van de curve. Mijn heuristieken werken omdat menselijke groei traag is en begrensd. “Ik ken de fasen” betekent dat de fasen ongeveer liggen waar ze vorig jaar lagen. Als de curve van een model exponentieel is, klopt die aanname niet meer. Wat vorige maand een redelijke inschatting van de grens was, is deze maand achterhaald. De heuristiek is dan niet ongeijkt, hij veroudert sneller dan ik hem kan bijstellen. Mensen zijn slecht in het aanvoelen van exponentiële verandering.
De derde breuk is de scherpste. Bij een mens loopt bekwaamheid redelijk samen. Wie de moeilijke dingen van een vak beheerst, beheerst de makkelijke meestal ook, en daarom kan ik uit één observatie de rest schatten. Bij een model is dat verband er niet. Het lost een wiskundeprobleem op waar ik niet uitkom, en weet even later niet of je lopend naar de autowasstraat kunt. Sterk op het ene veld voorspelt niets over het andere.
Dat de ijking ook tussen mensen kan breken weet ik ook wel. Je kent de collega die uitermate overtuigend is naar de patiënt en op wiens tafel jij jezelf niet zou leggen. Overtuigingskracht en betrouwbaarheid zijn niet hetzelfde. Het verschil is dat zo iemand de uitzondering is. Bij een model lijkt het de regel.
En de enige curve die ik wél aangereikt krijg, komt van het lab dat het model heeft gemaakt. Dat is de slager die zijn eigen vlees keurt en een diploma uitschrijft. De wiskundeclaim van afgelopen oktober was precies dat, en het waren de sceptici van buiten die hem corrigeerden.
Wie houdt de curve bij
Die verpleegkundige kon het tweedejaarssyndroom benoemen omdat hij het tientallen keren had zien langskomen. Hij had genoeg arts-assistenten de curve zien doorlopen om te weten hoe de dip eruitziet en wanneer die komt. Dat staat in geen handboek. Je bouwt het op door lang genoeg naar dezelfde beweging te kijken.
Bij een model staat daar niemand. Er komen nieuwe versies, elk capabeler dan de vorige, maar buiten het lab heeft niemand er lang genoeg naar gekeken om te zeggen: dit klinkt zelfverzekerd, maar het is een tweedejaars. Een curve die niemand bijhoudt is geen curve. Het zijn losse indrukken, en op losse indrukken kan ik geen vertrouwen ijken.
Mijn vertrouwen is niet kapot. Ik weet nog steeds hoe ik een overtuigende uitspraak van AIOS of AI OS met de juiste marge aanneem. Maar mijn vertrouwen en wantrouwen deed ik nooit alleen. Het leunde op een curve die ook anderen voor mij bijhielden. Wie heeft, zoals die verpleegkundige, lang genoeg naar de AI gekeken om mij op tijd te kunnen waarschuwen?
‘Onbewust onbekwaam’ - ik hoor het je nog vaak genoeg zeggen. Zou dat (een deel) van het ‘probleemm’ zijn bij vertrouwen in AI, dat het bewust/onbewust onderscheid er niet is?