Les modèles de génération d’images sont devenus des outils puissants pour créer du contenu visuel de manière automatique. Cependant, ces systèmes ne sont pas à l’abri des biais qui peuvent se glisser dans les images produites, reflétant ainsi des préjugés inconscients présents dans les jeux de données utilisés pour les entraîner. Afin de garantir une production d’images plus neutre et éthique, il est essentiel de corriger ces biais en améliorant la neutralité des modèles de génération d’images.
Formation des modèles de génération d’images
Les modèles de génération d’images basés sur des descriptions textuelles sont devenus très populaires ces dernières années. Ces systèmes sont formés sur des paires image-texte massives, leur permettant de générer de nouvelles images en fonction des descriptions fournies.
Ce processus de formation permet aux modèles d’acquérir des hypothèses sur le monde. Quelques-unes sont bénéfiques, par exemple, « le ciel est bleu », mais ces modèles peuvent aussi encoder des hypothèses incorrectes et des biais sociétaux. Par exemple, en demandant une image de CEO à un modèle comme Stable Diffusion, seulement 4% des images générées représenteront des femmes.
Défis rencontrés
Outre les biais, un autre défi est l’incapacité des modèles à s’adapter aux changements post-formation. Les modèles apprennent beaucoup de connaissances factuelles durant leur formation, mais sans être actualisés, ils peuvent fournir des informations obsolètes, comme une image de Donald Trump en tant que président des États-Unis, bien qu’il ne soit plus en fonction.
Les solutions traditionnelles impliquent des corrections de données constantes, un réentraînement ou un fine-tuning. Toutefois, ces méthodes sont coûteuses en termes financiers, de charge de travail, et d’impact environnemental, sans garantie de contrôler complètement les hypothèses indésirables.
Nouvelles méthodes de correction
Des étudiants doctorants ont développé plusieurs méthodes pour adresser ces problèmes sous la direction du Dr. Yonatan Belinkov. Une de ces méthodes, nommée TIME (Text-to-Image Model Editing), permet la correction rapide et efficace des biais et hypothèses, sans nécessiter de réentraînement complet. Cette méthode modifie environ 1,95% des paramètres du modèle en moins d’une seconde.
Dans une recherche basée sur TIME, appelée UCE, en collaboration avec des universités comme Northeastern et MIT, les chercheurs proposent des moyens de contrer divers comportements éthiques indésirables, en retirant des associations problématiques du modèle.
ReFACT: Une méthodologie avancée
Une deuxième méthode, développée par Dana Arad et Hadas Orgad, est nommée ReFACT. Elle permet des éditions plus précises en modifiant seulement 0,25% des paramètres du modèle, ce qui s’avère efficace même lorsque les méthodes précédentes échouent. ReFACT accomplit ceci tout en maintenant la qualité des images et les faits et hypothèses du modèle que l’on souhaite préserver.
Les méthodes reçoivent des instructions de l’utilisateur concernant les faits ou hypothèses à éditer. Par exemple, pour des hypothèses implicites, le modèle peut être ajusté en passant d’une source « roses rouges » à une cible « roses bleues ». En cas de modification de rôles, on pourrait demander un changement de « Donald Trump » à « Joe Biden » en tant que « Président des États-Unis ».
- 📚 Entraînement sur vastes données – Modèles apprennent hypothèses et biais
- 🔄 Mise à jour des modèles – Solutions coûteuses et insuffisantes
- ⏱️ TIME – Correction rapide sans réentraînement
- 🌐 UCE – Contrôle des biais éthiques
- 🔍 ReFACT – Précision augmentée avec moins de changements de paramètres
Ces recherches et leurs applications ont été présentées à diverses conférences prestigieuses, soulignant leur importance et leur efficacité dans le domaine de la vision par ordinateur et de la recherche en traitement du langage naturel.
