De turingtest is een gedachte-experiment om machine-intelligentie te beoordelen via een gesprek. Iemand typt vragen naar twee verborgen partners, één mens en één machine, en kan die persoon niet betrouwbaar zeggen wie wie is, dan slaagt de machine.
Zie het als een blinde smaaktest, maar dan voor een gesprek in plaats van cola. Je chat met twee anonieme tekstvensters en probeert de robot eruit te pikken. Antwoordt de machine natuurlijk genoeg dat je steeds verkeerd gokt, dan heeft hij zijn werk gedaan. Het idee zit achter elke chatbot en bepaalt hoe we naar conversational AI kijken, want menselijk klinken is precies wat de test beloont.
Turing schreef dit in 1950, decennia voordat een machine twee samenhangende zinnen aan elkaar kon rijgen. Hij maakte een filosofische zet, geen technische. In plaats van eindeloos te ruziën of een machine kon ‘denken’, ruilde hij de vraag in voor eentje die je echt als experiment kunt draaien. Door die andere insteek wordt de test vandaag nog steeds aangehaald, zelfs door mensen die het oorspronkelijke artikel nooit lazen. Het gaf het hele vakgebied een concreet doel om op te mikken.
Er zit wel een addertje aan. De test meet imitatie, geen begrip. Een systeem kan een menselijk gesprek overtuigend nabootsen en toch geen idee hebben van wat het zegt. Daarom zien de meeste labs de test nu als een historische mijlpaal en niet als een serieuze maatstaf. Een model dat je vleit en lastige vragen ontwijkt, kan slagen terwijl het waardeloos is voor echt werk.
Bij TopDevs draait het minder om de vraag of een systeem iemand voor de gek kan houden en meer om of het correcte, bruikbare antwoorden geeft. We meten ons AI-werk dus af aan echte resultaten bij klanten, niet aan kunstjes.
