Contextcaching is een manier om te voorkomen dat je twee keer voor hetzelfde werk betaalt als je met een AI-model praat. Veel prompts hebben een groot vast deel, zoals een uitgebreide systeemprompt of een naslagdocument, gevolgd door een klein wisselend deel, zoals de eigenlijke vraag van de gebruiker. Caching bewaart dat vaste deel na de eerste aanvraag, zodat het model het kan hergebruiken in plaats van het elke keer opnieuw te lezen.
Stel je een druk café voor waar één vaste klant altijd dezelfde uitgebreide basisdrank bestelt, maar elk bezoek met een andere siroop. In plaats van die basis elke keer opnieuw te maken, houdt de barista hem klaar en voegt alleen de nieuwe siroop toe. De basis is de gecachte context, de siroop is de nieuwe vraag. Het resultaat is snellere bediening en minder verspilde moeite. Omdat de meeste AI-aanbieders per token rekenen, is hergebruik van gecachte invoer ook merkbaar goedkoper.
Dit telt het zwaarst voor chatbots en documenttools die bij elk bericht dezelfde grote instructies meesturen. Zonder caching wordt een handleiding van 20 pagina’s bij elke vraag opnieuw gelezen. Mét caching betaal je één keer de volle prijs en daarna een gereduceerd tarief. De getallen lopen snel op. Een supportbot die duizend vragen per dag tegen hetzelfde handboek afhandelt, leest dat handboek duizend keer opnieuw, en caching maakt van de meeste van die leesbeurten een goedkope opzoekactie. De afweging zit in de timing. Omdat de cache na een paar minuten verloopt, helpt hij een reeks samenhangende vragen veel meer dan een rustig druppeltje verspreid over de dag.
Bij TopDevs zetten we contextcaching aan voor klanttools die steeds dezelfde grote prompts versturen, wat de draaikosten laag houdt zonder dat de functie zich anders gaat gedragen.
