Modelrouting is de praktijk om elk AI-verzoek automatisch naar het model te sturen dat het het beste kan afhandelen. In plaats van alles naar een model te sturen, kijkt een routinglaag naar het verzoek en kiest: een klein, goedkoop en snel model voor makkelijke vragen en een groter, capabeler model voor de lastige. De gebruiker ziet gewoon een goed antwoord. De keuze gebeurt achter de schermen.
Denk aan de triagebalie van een ziekenhuis. Niet elke patient heeft een gespecialiseerd chirurg nodig, en iedereen naar een sturen zou een wachtrij en een enorme rekening opleveren. Triage stuurt de verzwikte enkel naar een verpleegkundige en de pijn op de borst naar een cardioloog. Modelrouting triageert verzoeken op dezelfde manier en weegt per stuk kwaliteit af tegen kosten per token en reactietijd.
De opbrengst is echt geld en snelheid. Je krachtigste LLM bewaren voor de gevallen die het echt nodig hebben, terwijl een lichter model de rest doet, kan kosten flink drukken zonder dat gebruikers een daling in kwaliteit merken.
Er zit wel een addertje onder het gras. De router voegt zelf een stap toe, dus een klungelige variant kost meer tijd met beslissen dan hij bespaart, of erger, schat een lastige vraag verkeerd in en stuurt die naar het zwakke model. Een supportbot die een boze terugbetaalvraag naar een mini-model routeert, geeft een zelfverzekerd maar fout antwoord, en dat kost meer dan de tokens die je bespaarde. Dus goede routing leunt op gedegen modelevaluatie en een veilige standaard die opschaalt naar het sterkere model zodra hij twijfelt.
Bij TopDevs voegen we modelrouting toe als het AI-gebruik van een klant groeit, zodat ze alleen betalen voor zware modellen op de verzoeken die er echt om vragen.
