Van simulatie tot GenAI: robuuste AI zonder labelkost

Connor Verhulst – keynotespreker tijdens Food Process Seminar

Presentatie downloaden

Connor Verhulst, application engineer bij Flanders Make, opende zijn presentatie met de vaststelling dat artificiële intelligentie weliswaar veelbelovend is voor de voedingsindustrie, maar dat de praktijk vaak weerbarstig is door de hoge kosten van dataverzameling en manuele labeling – vooral het verkrijgen van kwaliteitsvolle geannoteerde datasets. In sectoren waar producten variabel van vorm, kleur en textuur zijn – aardappelen, wortelen en druiven – wordt dat probleem nog scherper. Verhulst toont aan hoe synthetische data en generatieve AI in staat zijn die drempels te verlagen en AI toegankelijk te maken voor zowel grote bedrijven als kleinere producenten.

Het gebruik van synthetische data

Verhulst begint zijn presentatie met het schetsen van het intensieve en tijdrovende labelwerk dat nodig is voor elke nieuwe dataset. Zelfs met semiautomatische tools blijft het werk volgens hem enorm: één beeld annoteren kan al snel twee minuten vergen, waardoor bijvoorbeeld een dataset van vijfhonderd beelden al snel  meer dan zestien uur puur labelwerk vraagt.

Bovendien moet het proces vaak volledig opnieuw worden uitgevoerd zodra omstandigheden veranderen, bijvoorbeeld wanneer een transportband een andere kleur krijgt, de vorm van producten varieert of het model slecht generaliseert naar nieuwe situaties. Dat maakt handmatige annotatie praktisch ingewikkeld voor industriële implementaties.

Vanuit dat probleem introduceert Verhulst zijn alternatieve aanpak: het gebruik van synthetische data. In de maakindustrie wordt al langer gewerkt met CAD-modellen en simulaties om realistische trainingsbeelden te genereren, inclusief automatisch geproduceerde annotaties. Dat werkt goed voor objecten met vaste vormen en afmetingen, maar vormt in de voedingssector een uitdaging omdat natuurlijke producten veel variatie vertonen en zelden over een nauwkeurig CAD-model beschikken.

Wie is Connor Verhulst?
Connor Verhulst is application engineer bij Flanders Make, het Vlaamse onderzoekscentrum dat innovatieve technologieën ontwikkelt om de maakindustrie concurrerend en toekomstgericht te houden. Binnen Flanders Make focust hij vooral op generatieve AI, het trainen van detectiemodellen, en het creëren van synthetische data om AI-systemen efficiënter en betaalbaarder te trainen. Zijn werk helpt om de kloof tussen geavanceerde AI-technieken en praktische toepassingen in de industrie te dichten.

Duizenden varianten

Verhulst legt uit dat er daarom twee nieuwe technieken nodig zijn: impliciete CAD-generatie, waarbij uit foto’s automatisch een 3D-mesh wordt opgebouwd, en expliciete CAD-generatie, waarbij automatische scripts grote variaties creëren in vorm, textuur en schaal. Beide technieken maken het mogelijk om duizenden varianten van bijvoorbeeld aardappelen, bonen of druiven te genereren zonder elk object fysiek te scannen.

Zo zijn tools zoals Trellis in staat om uit één enkele foto een bruikbaar meshmodel te reconstrueren. "Hoewel zo’n model slechts één individuele aardappel of appelsien representeert, is de accuraatheid van de synthetische beelden die hieruit worden gegenereerd verrassend hoog en vaak beter dan wat men bereikt door objecten manueel in software zoals Blender te modelleren", ziet Verhulst.

Voor situaties waar variatie cruciaal is, zoals bij wortelen met verschillende groeistadia of maïsplanten in een veld, toonde hij expliciete CAD-generatie met scripts die willekeurige vormen, kleuren, texturen en structuren produceren. Op die manier ontstaat een synthetische dataset die veel dichter aanleunt bij de reële variatie in productieomgevingen.

Toch bleef één probleem bestaan: modellen die uitsluitend op synthetische beelden waren getraind bereikten in zijn voorbeeldcase slechts een nauwkeurigheid van ongeveer 74 procent. Dat is onvoldoende voor industriële toepassingen.

Diffusie-modellen & control units

De sleutel om dit te verbeteren ligt volgens Verhulst bij de inzet van generatieve AI, meer bepaald diffusie-modellen in combinatie met control units. Door een synthetisch beeld eerst te voorzien van maskers en daarna via een control unit te gebruiken als conditionering, kan een diffusie-model nieuwe beelden genereren die zowel realistisch lijken als exact dezelfde segmentatiemaskers volgen. Op die manier ontstaat volledig geannoteerde trainingsdata die inhoudelijk overeenkomt met de synthetische opstelling, maar qua uiterlijk dichter aanleunt bij echte foto's.

Verhulst toont verschillende toepassingen van deze aanpak, zoals het genereren van realistische beelden van aardappelen en stenen, het detecteren van onkruid in maïsvelden en het creëren van synthetische wortelen met artificieel toegevoegde barsten.

Ook bij druiventrossen werd duidelijk hoe variatie in kleur en textuur eenvoudig kan worden ingebouwd. Door meerdere varianten te genereren per masker vergroot de diversiteit van de dataset aanzienlijk, wat resulteert in robuustere modellen die beter bestand zijn tegen veranderingen in belichting, achtergrond of productvariatie.

91 procent

De resultaten spraken volgens Verhulst voor zich: waar de oorspronkelijke synthetische dataset tot 74 procent nauwkeurigheid leidde, steeg dit cijfer tot 91 procent wanneer generatieve AI werd ingezet om realistischere beelden te creëren. Het hoogste resultaat werd bereikt door een kleine hoeveelheid echte data te combineren met de gegenereerde beelden.

"Met synthetische data en generatieve AI kunnen we eindelijk datasets bouwen die realistisch én volledig geannoteerd zijn, zonder dat iemand nog urenlang polygonen hoeft te tekenen"

Dat was logisch, zei hij, aangezien de testset ook uit echte data bestond, maar het meest opvallende was dat al deze verbeteringen konden worden gerealiseerd zonder dat één enkel beeld manueel hoefde te worden geannoteerd. "Met synthetische data en generatieve AI kunnen we eindelijk datasets bouwen die realistisch én volledig geannoteerd zijn, zonder dat iemand nog urenlang polygonen hoeft te tekenen", verklaart Verhulst de meerwaarde.

Blik op de toekomst

Vervolgens werpt hij een blik op de toekomst, zoals de snelle ontwikkelingen in videogenereertechnologie, waarbij diffusie-modellen in staat zijn om realistische video’s te creëren op basis van eenvoudige tekstprompts. Dergelijke technologie kan mogelijk ook worden afgestemd op industriële use cases, bijvoorbeeld door een model te leren hoe een robotarm een taak uitvoert en die kennis vervolgens toe te passen op andere objecten zonder bijkomende training. Zulke technieken stellen bedrijven in staat om complexe scenario’s te simuleren.

Verhulst sluit af met de vaststelling dat synthetische data en generatieve AI nieuwe perspectieven openen voor automatisering in de voedingsindustrie. Door realistische en gevarieerde datasets te genereren zonder manuele annotatie wordt het mogelijk om robuuste AI-modellen te trainen tegen een fractie van de klassieke kosten. Zo wordt AI niet langer afgeremd door de beschikbaarheid van data, maar juist versterkt door de mogelijkheden van synthetische en generatieve technieken.