Tekstclassificatie is tekst automatisch in vooraf bepaalde bakjes indelen. Bij een zin, een e-mail of een document beslist het systeem in welke categorie het hoort, zoals spam of geen spam, klacht of compliment, of naar welke afdeling een verzoek moet.
Het werkt als de sorteerbak op een drukke postkamer. Een medewerker leest elke brief en gooit hem in het juiste vakje, facturen hier, klachten daar, reclame in de bak. Een classifier doet dat op schaal en in milliseconden, met natural language processing om de tekst te lezen en het label toe te kennen. Het is een specifieke toepassing van classificatie, het bredere idee toegepast op tekst in plaats van getallen of beelden.
De meeste classifiers worden gebouwd met supervised learning, getraind op voorbeelden die de juiste categorie al bij zich dragen, dus de kwaliteit van die labels bepaalt het plafond van de nauwkeurigheid. Een naaste verwant is sentimentanalyse, die tekst op stemming sorteert in plaats van op onderwerp.
Het lastige zit zelden in de techniek. Het zit in de categorieën zelf. Overlappen twee labels, zeg “factuurvraag” en “verzoek om terugbetaling”, dan twijfelt het model precies waar mensen dat ook doen, en zakt de nauwkeurigheid. Vage of dubbelzinnige tekst geeft hetzelfde gedoe. Een heldere set labels die elkaar uitsluiten doet meer voor het resultaat dan een chiquer model. En de praktische winst is overal: supporttickets triëren, urgente berichten markeren, documenten taggen, allemaal werk dat met de hand saai is en voor een model snel.
Bij TopDevs bouwen we tekstclassificatie in clientsystemen om binnenkomende berichten automatisch te routeren, taggen en prioriteren, zodat het juiste item bij de juiste persoon komt zonder dat iemand elke regel leest.
