Een transformer is de neurale netwerkarchitectuur die vrijwel elk modern taalmodel aandrijft. Onderzoekers van Google introduceerden hem in 2017. Hij leest een hele invoer in één keer en gebruikt een mechanisme dat attention heet om uit te zoeken welke delen van de tekst het meest met elkaar te maken hebben.
Een simpele vergelijking. Lees je de zin ‘de bank langs de rivier was modderig’, dan weet je meteen dat ‘bank’ de oever betekent en niet een geldzaak, door het woord ‘rivier’ ernaast. Een transformer doet hetzelfde op grote schaal: voor elk woord weegt hij alle andere woorden en bepaalt welke de betekenis veranderen. Door die attention-truc gaat hij zo goed om met lange, dubbelzinnige tekst, en hij zit in het hart van elk large language model en de GPT-familie.
De naam komt uit een paper uit 2017 met een botte titel: ‘Attention Is All You Need’. Die claim bleek te kloppen. Haal de oudere machinerie eruit, leun volledig op attention, en het model wordt tegelijk simpeler en sterker. Datzelfde ontwerp drijft nu veel meer aan dan chat. Het schrijft code, vertaalt talen, voorziet beelden van bijschriften en vouwt eiwitten, allemaal uit één kernidee over het wegen van context.
Vóór transformers lazen modellen tekst woord voor woord en raakten ze de draad kwijt over lange stukken. Alles parallel lezen maakte het trainen sneller en de context langer. Dat is de sprong die de AI-assistenten van nu bruikbaar maakte. En omdat de architectuur netjes meeschaalt met meer data en meer chips, bleef er resources tegenaan gooien jaar na jaar lonen.
Bij TopDevs bouwen we geen transformers vanaf nul, maar we kiezen en koppelen de juiste transformer-modellen voor elk probleem van een klant, zodat het systeem bij de taak past in plaats van andersom.
