VUB-onderzoek leert AI-systemen tabellen juister lezen

De kerndata van een document zijn dikwijls samengevat in tabellen en die vormen voor huidige AI-systemen niet zelden een probleem. Veel zogenoemde Large Language Models – zoals ChatGPT bijvoorbeeld – zetten tabellen om in lineaire tekst, waardoor de tweedimensionale structuur, de koppen en de relaties tussen cellen verloren gaan. Dat leidt tot fouten en onnauwkeurigheden. "We ontdekten dat veel AI-taalmodellen moeite hebben met iets dat ‘volgorde-onafhankelijkheid’ heet", zegt Tchuitcheu. "Het betekent dat, wanneer je de rijen of kolommen van een tabel van plaats verwisselt, de AI die tabel ziet als een compleet nieuwe tabel. Dat toont eigenlijk aan dat AI de onderliggende structuur van een tabel niet altijd echt begrijpt. Daardoor kan de informatie verkeerd worden geïnterpreteerd." 

Tchuitcheu introduceerde daarom het zogenoemde Table Understanding-principle, een theoretisch kader dat beschrijft hoe mensen tabellen interpreteren door elke cel automatisch te verbinden met de juiste rij- en kolomkop. Vanuit dat principe ontwikkelde hij een methode die tabellen niet langer reduceert tot platte tekst, maar ook rekening houdt met de structuur van de tabel. "Ons doel was om ervoor te zorgen dat AI-systemen de tabellen in een document natuurlijker zouden begrijpen", legt Tchuitcheu uit. "We willen een alternatief bieden voor het simpelweg nabootsen van een principe dat is bepaald door hun training met tekstuele data. Als AI-systemen de onderliggende structuur begrijpen, net als mensen, levert dat betrouwbaardere analyses en sneller bruikbare inzichten op, zeker in situaties waarin tabeldata een strategische rol spelen." 

De nieuwe aanpak blijkt bijzonder robuust, onder meer omdat hij rekening houdt met permutatie-invariantie, het feit dat tabellen hun betekenis meestal behouden, zelfs als rijen of kolommen worden herschikt. Daardoor presteert het model consistent, zelfs wanneer de vorm van de tabel wijzigt. 

Promotor prof. dr. Ann Dooms benadrukt het belang van het onderzoek voor de bredere evolutie van artificiële intelligentie. "Documentverwerking is een cruciale component in tal van maatschappelijke en economische processen", zegt ze. "Het werk van Willy Tchuitcheu toont aan dat we AI-systemen veel betrouwbaarder kunnen maken door hen fundamenteel anders naar tabellen te laten kijken. Het opent de deur naar nieuwe toepassingen in administratieve automatisering, in wetenschappelijke analyse en in data-intensieve industrieën." 

Het doctoraatsonderzoek, met als titel ‘Representation Learning for Table Understanding in Intelligent Document Processing’, toont sterke resultaten in twee centrale toepassingen: het automatisch herkennen van kolomtypes en het beantwoorden van vragen op basis van tabeldata. Daarnaast verhoogt de methode de snelheid en nauwkeurigheid van informatie-extractie, wat belangrijk is voor bedrijven die grote hoeveelheden documenten verwerken. 

Co-promotor prof. dr. Tan Lu: “Hoewel men voor documentverwerking en geautomatiseerd redeneren steeds vaker een beroep doet op grote taalmodellen (LLM's), is ook wiskundige modellering, zoals het werk van Tchuitcheu, nog altijd enorm belangrijk. Door AI-systemen te leren hoe ze de gegevens in tabellen moeten verwerken, worden de resultaten van geautomatiseerde documentverwerking veel preciezer. Tegelijk kunnen ze verder gaan in het interpreteren van die gegevens en boeken we ook vooruitgang inzake transparantie. Hierdoor neemt de betrouwbaarheid van AI-systemen weer aanzienlijk toe.”