Doorvoer is een maat voor hoeveel werk een systeem in een bepaalde tijd verzet. Bij een AI-model betekent het meestal hoeveel tokens het per seconde genereert, of hoeveel verzoeken het tegelijk kan bedienen voordat de prestaties teruglopen.
Stel je een kassa in de supermarkt voor. Eén caissière scant snel, maar bij een lange rij telt vooral hoeveel klanten er per minuut de winkel verlaten over alle kassa’s samen. Die totale stroom is doorvoer. Eén snelle kassa gaat over de inferentie-snelheid voor één klant, terwijl doorvoer gaat over het bedienen van de hele drukte. Stuur je te veel mensen door één baan, dan staat iedereen te wachten.
Doorvoer en kosten hangen nauw samen. Een systeem met hoge doorvoer haalt meer nuttig werk uit dezelfde hardware, wat de kosten per token verlaagt en de ervaring soepel houdt als het druk wordt. Bundelen is hier de grote hefboom: in plaats van elk verzoek apart te draaien, verwerkt de GPU een groep tegelijk en krijgt per cyclus veel meer gedaan. Het nadeel is dat één gebruiker een paar milliseconden langer wacht terwijl zijn verzoek bij een groep aansluit.
Dus je stemt af op de werklast. Een chatfunctie met grillig verkeer leunt op bundelen en een streaming response, zodat de eerste woorden ook bij drukte snel verschijnen. Een nachtelijke klus die tienduizend documenten samenvat geeft alleen om het totaal aan tokens per uur, niet om hoe één los verzoek aanvoelt. Kijk je naar het verkeerde getal, dan koop je te veel hardware in of loop je op de lanceerdag tegen een muur.
Bij TopDevs stemmen we AI-systemen af op echte doorvoer, niet op demogetallen, zodat de functie ook op de drukste dag snel blijft aanvoelen en niet alleen wanneer één persoon zit te testen.
