Het contextvenster is hoeveel tekst een AI-model voor één aanvraag in gedachten kan houden. Alles telt mee: je instructies, documenten die je plakt, het gesprek tot dan toe en het antwoord dat wordt gegenereerd. Het wordt gemeten in tokens, de kleine stukjes tekst die modellen lezen, en elk model heeft een vaste limiet.
Een handig beeld is een whiteboard van een vast formaat. Je kunt er veel op schrijven, maar zodra het vol is, moet je iets uitvegen om meer toe te voegen. Een model met een klein venster is een klein whiteboard: vraag je te veel, dan worden eerdere details gewist om ruimte te maken. Een groter venster is een groter bord, zodat je een heel rapport of een lange chat in één keer zichtbaar houdt. Daarom kan het model ook iets kwijtraken dat veel eerder in een lange thread is genoemd, zodra het van het bord af scrolt.
Het formaat bepaalt wat praktisch is. Een klein venster past bij korte vragen, een groot venster laat een model een heel contract of een codebase lezen voordat het antwoordt. Omdat de kosten meegroeien met de hoeveelheid tekst, is efficiënt binnen het venster blijven onderdeel van goede context engineering. Er speelt ook een kwaliteitskant. Zelfs als een lang document wél past, letten modellen vaak het scherpst op het begin en het eind, dus een belangrijk detail dat in het midden verstopt zit, krijgt soms minder gewicht. Een ruim venster is dus geen vrijbrief om alles erin te kieperen. Het is speelruimte die je met beleid gebruikt.
Bij TopDevs kiezen we modellen en ontwerpen we prompts rond het juiste contextvenster voor elke klantklus, zodat de AI genoeg ziet om accuraat te zijn zonder te betalen voor tekst die niet nodig is.
