Edge AI betekent dat je een AI-model laat draaien op het apparaat waar de data ontstaat, in plaats van die data eerst naar een datacenter te sturen. De ‘edge’ is de rand van het netwerk: een telefoon, een camera, een sensor op een machine, een auto. Het model zit daar en geeft ter plekke een antwoord.
Denk aan een zelfscankassa die producten op het oog herkent. Als die elke foto naar een server moest uploaden en op antwoord moest wachten, kroop de rij vooruit. Met Edge AI draait de camera het model lokaal en beslist hij in een fractie van een seconde, ook als de wifi van de winkel eruit ligt. Die snelle lokale inferentie is het hele punt, en daarom gebeurt veel computer vision tegenwoordig op het apparaat zelf.
Je komt Edge AI vaker tegen dan je denkt. De gezichtsontgrendeling op je telefoon, het herkennen van het wakkerwoord van een slimme speaker, en de rijstrookassistent in een moderne auto draaien hun modellen allemaal lokaal in plaats van voor elk beeld of geluid naar huis te bellen.
Er zit een afweging aan vast. Apparaten hebben veel minder geheugen en rekenkracht dan een serverrack, dus het model moet meestal kleiner. Het werk zit in een model zo klein krijgen dat het past zonder de nauwkeurigheid te verliezen die voor de taak telt, vaak met trucs als quantisatie die een sprankje precisie inruilen voor een flinke afname in grootte. De keerzijde is updaten: een cloudmodel verbetert zodra je het opnieuw uitrolt, terwijl duizenden edge-apparaten elk hun nieuwe model geduwd en geïnstalleerd moeten krijgen.
Bij TopDevs kiezen we voor Edge AI als een klant directe reacties nodig heeft of gevoelige data heeft die echt niet het pand uit hoort.
