De la simulation à la GenAI: une IA robuste sans coût d'étiquetage

Connor Verhulst - orateur principal au Food Process Seminar

Télécharger la présentation

Connor Verhulst, ingénieur d'application chez Flanders Make, a commencé sa présentation en notant que si l'intelligence artificielle est très prometteuse pour l'industrie alimentaire, la pratique est souvent récalcitrante en raison du coût élevé de la collecte de données et de l'étiquetage manuel - en particulier pour obtenir des ensembles de données annotées de qualité. Dans les secteurs où les produits sont de forme, de couleur et de texture variables (pommes de terre, carottes et raisins), ce problème est encore plus aigu. M. Verhulst montre comment les données synthétiques et l'IA générative sont en mesure d'abaisser ces obstacles et de rendre l'IA accessible tant aux grandes entreprises qu'aux petits producteurs.

Utilisation de données synthétiques

M. Verhulst commence sa présentation en décrivant le travail d'étiquetage intensif et fastidieux requis pour chaque nouvel ensemble de données. Même avec des outils semi-automatiques, le travail reste énorme: l'annotation d'une image peut rapidement prendre deux minutes, de sorte qu'un ensemble de données de cinq cents images, par exemple, nécessite rapidement plus de 16 heures de travail d'étiquetage pur.

En outre, le processus doit souvent être entièrement refait dès que les conditions changent, par exemple lorsqu'une bande transporteuse change de couleur, que la forme des produits varie ou que le modèle se généralise mal à de nouvelles situations. Cela rend l'annotation manuelle pratiquement compliquée pour les implémentations industrielles.

À partir de ce problème, M. Verhulst propose une autre approche: l'utilisation de données synthétiques. Dans l'industrie manufacturière, les modèles de CAO et les simulations sont depuis longtemps utilisés pour générer des images de formation réalistes, y compris des annotations produites automatiquement. Cette méthode fonctionne bien pour les objets dont les formes et les dimensions sont fixes, mais elle pose un problème dans le secteur alimentaire, car les produits naturels présentent de nombreuses variations et disposent rarement d'un modèle CAO précis.

Qui est Connor Verhulst
Connor Verhulst est ingénieur d'application chez Flanders Make, le centre de recherche flamand qui développe des technologies innovantes pour que l'industrie manufacturière reste compétitive et tournée vers l'avenir. Au sein de Flanders Make, il se concentre principalement sur l'IA générative, la formation de modèles de détection et la création de données synthétiques pour former des systèmes d'IA de manière plus efficace et plus abordable. Son travail contribue à combler le fossé entre les techniques avancées d'IA et les applications pratiques dans l'industrie.

Des milliers de variantes

M. Verhulst explique que deux nouvelles techniques sont donc nécessaires: la génération CAO implicite, où un maillage 3D est automatiquement construit à partir de photos, et la génération CAO explicite, où des scripts automatiques créent de grandes variations de forme, de texture et d'échelle. Ces deux techniques permettent de générer des milliers de variantes de pommes de terre, de haricots ou de raisins, par exemple, sans avoir à scanner physiquement chaque objet.

Ainsi, des outils comme Trellis sont capables de reconstruire un modèle de maillage utile à partir d'une seule photo. "Bien qu'un tel modèle ne représente qu'une pomme de terre ou une orange individuelle, la précision des images synthétiques générées à partir de ce modèle est étonnamment élevée et souvent meilleure que celle obtenue en modélisant les objets manuellement dans des logiciels tels que Blender", observe M. Verhulst.

Pour les situations où la variation est cruciale, comme les carottes à différents stades de croissance ou les plants de maïs dans un champ, il a montré la génération explicite de CAO avec des scripts qui produisent des formes, des couleurs, des textures et des structures aléatoires. Cela permet de créer un ensemble de données synthétiques qui est beaucoup plus proche de la variation réelle dans les environnements de production.

Un problème subsiste cependant: les modèles formés uniquement à partir d'images synthétiques n'ont atteint qu'une précision d'environ 74% dans son exemple. C'est insuffisant pour des applications industrielles.

Modèles de diffusion et unités de contrôle

Selon M. Verhulst, la clé de l'amélioration réside dans l'utilisation de l'IA générative, en particulier des modèles de diffusion combinés à des unités de contrôle. En masquant d'abord une image synthétique et en l'utilisant ensuite comme conditionnement via une unité de contrôle, un modèle de diffusion peut générer de nouvelles images qui ont l'air réalistes et qui suivent exactement les mêmes masques de segmentation. Il crée ainsi des données d'apprentissage entièrement annotées dont le contenu est similaire à celui de la configuration synthétique, mais dont l'apparence est plus proche de celle de photographies réelles.

M. Verhulst présente plusieurs applications de cette approche, telles que la génération d'images réalistes de pommes de terre et de pierres, la détection des mauvaises herbes dans les champs de maïs et la création de carottes synthétiques avec des fissures artificiellement ajoutées.

Les grappes de raisin ont également montré comment les variations de couleur et de texture peuvent être facilement incorporées. La génération de plusieurs variantes par masque augmente considérablement la diversité de l'ensemble de données, ce qui permet d'obtenir des modèles plus robustes et plus résistants aux changements d'éclairage, d'arrière-plan ou de produits.

91% de réussite

Selon M. Verhulst, les résultats parlent d'eux-mêmes: alors que l'ensemble de données synthétiques d'origine permettait d'obtenir une précision de 74%, ce chiffre est passé à 91% lorsque l'IA générative a été utilisée pour créer des images plus réalistes. Le résultat le plus élevé a été obtenu en combinant une petite quantité de données réelles avec les images générées.

"Grâce aux données synthétiques et à l'IA générative, nous pouvons enfin créer des ensembles de données réalistes ET entièrement annotés, sans qu'il soit nécessaire de passer des heures à dessiner des polygones"

C'est logique, dit-il, puisque l'ensemble de test est également constitué de données réelles, mais le plus frappant est que toutes ces améliorations ont pu être réalisées sans avoir à annoter manuellement une seule image. "Grâce aux données synthétiques et à l'IA générative, nous pouvons enfin créer des ensembles de données réalistes ET entièrement annotés, sans que personne ne doive passer des heures à dessiner des polygones", a expliqué M. Verhulst pour expliquer la valeur ajoutée.

Regarder vers l'avenir

Il jette ensuite un regard sur l'avenir, notamment sur l'évolution rapide de la technologie de génération de vidéos, où les modèles de diffusion sont capables de créer des vidéos réalistes à partir de simples invites textuelles. Cette technologie pourrait également être adaptée à des cas d'utilisation industrielle, par exemple en apprenant à un modèle comment un bras robotique effectue une tâche, puis en appliquant ces connaissances à d'autres objets sans formation supplémentaire. Ces techniques permettent aux entreprises de simuler des scénarios complexes.

M. Verhulst conclut en notant que les données synthétiques et l'IA générative ouvrent de nouvelles perspectives pour l'automatisation dans l'industrie alimentaire. En générant des ensembles de données réalistes et variés sans annotation manuelle, il devient possible d'entraîner des modèles d'IA robustes pour une fraction des coûts traditionnels. Ainsi, l'IA n'est plus freinée par la disponibilité des données, mais plutôt améliorée par les capacités des techniques synthétiques et génératives.