Modeluitrol is de stap waarin een getraind AI-model het lab verlaat en een werkend onderdeel van een product wordt. Trainen levert een model op dat voorspellingen kan doen. Uitrol is wat die voorspellingen bereikbaar maakt voor je app, je website of je team, meestal via een API die een verzoek aanneemt en een antwoord teruggeeft.
Een eerlijke vergelijking is het openen van een restaurant nadat je thuis een recept hebt geperfectioneerd. Het een keer voor jezelf koken is het makkelijke deel. Het snel en consistent serveren aan betalende klanten, in een keuken die daarvoor is gebouwd, dat is uitrol. Het recept is het getrainde model. De draaiende keuken is de uitgerolde service die de live inferentie afhandelt.
Er zijn rustigere manieren om live te gaan dan in één keer omschakelen. Een canary-release stuurt eerst een klein deel van het verkeer naar het nieuwe model en bekijkt de cijfers voordat de rest volgt. Een shadow-deployment draait het nieuwe model naast het oude zonder de antwoorden aan gebruikers te tonen, puur om de resultaten te vergelijken. Allebei vangen ze een slecht model op voordat het iedereen bereikt.
Uitrol is zelden eenmalig. Modellen worden vervangen door betere versies, opgeschaald als het drukker wordt en teruggedraaid als er iets breekt. Dit soepel en herhaalbaar doen is precies waar MLOps voor is gemaakt, samen met modelmonitoring om te bevestigen dat het live model zich nog goed gedraagt. Het is de plek waar veel AI-projecten vastlopen als niemand erop heeft geanticipeerd.
Bij TopDevs behandelen we uitrol als een volwaardige stap, zodat het model van een klant snel draait, beschikbaar blijft en kan worden bijgewerkt zonder het hele systeem plat te leggen.
