Natural language processing, of NLP, is de tak van AI die computers menselijke taal laat lezen, begrijpen en verwerken, geschreven of gesproken. Het is wat rommelige, vrije zinnen omzet in iets waar software mee kan werken.
De uitdaging is dat menselijke taal vol dubbelzinnigheid zit. “Ik zag haar bank” kan een meubel of een geldinstelling zijn, en mensen halen dat meteen uit de context. NLP is het werk om machines hetzelfde te leren. Het zit achter alledaagse tools die je al gebruikt: het spamfilter dat je mail leest, het zoekvak dat een typefout snapt, en de assistent die een gesproken vraag beantwoordt. Specifieke taken erbinnen zijn onder meer named entity recognition, die namen en datums in tekst vindt, en sentimentanalyse, die beoordeelt of een bericht positief of negatief is.
Moderne NLP kreeg een flinke duw van het large language model, dat tekst leest en schrijft met verrassend gemak. Maar het vakgebied is breder dan die ene aanpak en loopt van simpele trefwoordregels tot diepe modellen. Voor een vaste klus als het opsporen van één zinsnede is een gewone regel sneller, goedkoper en makkelijker te debuggen dan een log model.
Taal is bovendien een bewegend doel. Slang, sarcasme, typefouten en Nederlands en Engels door elkaar in één bericht gooien een systeem allemaal van de wijs, en een model dat op formele tekst is getraind worstelt met hoe mensen echt schrijven. Resultaten moet je dus checken tegen je eigen data, niet tegen een benchmark. Zie NLP als een manier om een stapel tekst werkbaar te maken, niet als een garantie dat elke regel is gelezen zoals jij dat zou doen.
Bij TopDevs passen we NLP toe zodat de mails, reviews en documenten van een klant doorzoekbare, sorteerbare data worden in plaats van een stapel tekst die niemand tijd heeft om te lezen.
