Des chercheurs de l’Université du Colorado Boulder ont entrepris une étude fascinante visant à évaluer la fiabilité des outils d’intelligence artificielle (IA) en les initiant au célèbre jeu de sudoku. En créant près de 2 300 grilles de sudoku aux niveaux de difficulté variés, l’équipe a testé plusieurs modèles de langage pour déterminer leur capacité à résoudre ces énigmes tout en fournissant des explications cohérentes sur leur raisonnement. Les résultats de cette recherche soulèvent d’importantes questions sur la trustworthiness des systèmes d’IA, car même les meilleurs modèles ont rencontré des difficultés à justifier leurs réponses de manière logique.
La question de la fiabilité de l’intelligence artificielle (IA) se pose de manière croissante à mesure que ces technologies deviennent plus omniprésentes dans notre quotidien. Une étude récente menée par des chercheurs de l’Université du Colorado Boulder a exploré cette problématique en confrontant divers modèles de langage AI à des énigmes de sudoku. L’objectif est de comprendre non seulement si ces outils peuvent résoudre de telles énigmes, mais également de quel type d’explications ils peuvent fournir pour justifier leurs résolutions.
Un défi basé sur le sudoku
Le projet a débuté avec la création de près de 2 300 énigmes originales de sudoku, structurant des grilles en suivant des règles logiques précises. Les chercheurs ont ensuite sollicité plusieurs modèles d’IA pour tenter de résoudre ces défis. Les résultats ont été variés, montrant une certaine efficacité pour les grilles les plus simples, mais révélant également des limitations significatives en matière d’explicabilité des solutions trouvées par les IA.
Les limites des modèles de langage
Maria Pacheco, co-auteur de l’étude, a souligné que, pour de nombreux types de sudoku, la plupart des modèles de langage (LLM) ont encore du mal à produire des explications pertinentes pour les humains. « Pourquoi cette solution a-t-elle été choisie ? Quelles étapes faut-il suivre pour y parvenir ? », a-t-elle demandé. Ces questions essentielles mettent en lumière le fait que, malgré leur capacité à prédire des résultats, ces outils ne sont pas encore capables de rendre compte de leur raisonnement d’une manière qui puisse être facilement comprise par une personne.
Une approche pour comprendre la prise de décision de l’IA
Les chercheurs ne cherchent pas à contourner des énigmes, mais plutôt à utiliser ces exercices logiques pour explorer le fonctionnement de la pensée AI. Fabio Somenzi, un autre co-auteur, a comparé les énigmes à un microcosme utile pour analyser le processus de prise de décision en apprentissage machine. « Si vous avez une IA chargée de préparer vos impôts, vous souhaitez pouvoir expliquer à l’IRS pourquoi l’IA a produit ce qu’elle a fait », a-t-il affirmé.
Les défis d’interprétation
Les résultats de l’étude montrent que, bien que le modèle o1 d’OpenAI ait réussi à résoudre environ 65 % des grilles de sudoku, les explications fournies par l’IA étaient souvent erronées ou illogiques. Par exemple, un modèle a déclaré qu’il ne pouvait pas y avoir de deux dans une case car un deux existait déjà dans la même ligne, alors que cela n’était pas le cas. Dans un cas particulièrement déroutant, l’IA a même donné des prévisions météo au lieu de se concentrer sur l’énigme.
Vers des systèmes AI plus fiables
Les académiciens espèrent développer un système d’IA capable non seulement de résoudre des énigmes complexes, telles que le sudoku, mais aussi d’expliquer clairement sa démarche. Le projet s’étend même à d’autres types de puzzles, mettant en avant la difficulté de créer une IA qui allie la mémoire massive et la capacité de raisonnement logique, un champ de recherche désigné comme IA neurosymbolique.
Les implications pour l’avenir de l’IA
Alors que les chercheurs travaillent à améliorer la fiabilité des IA, des questions cruciales restent en suspens concernant la responsabilité et l’éthique dans la conception de ces technologies. Des discussions s’intensifient autour des obligations légales des concepteurs pour garantir que leurs systèmes produisent des informations fiables et correctes. L’exploration des potentialités du secteur de l’IA est aussi mise en avant, comme en témoigne le développement d’initiatives pour enseigner aux machines à reconnaître et accepter leurs incertitudes.
Enfin, des enjeux plus larges tels que l’indépendance numérique sont abordés dans le contexte de l’évolution des technologies d’IA, comme en témoigne l’exploration de nouveaux systèmes de calcul au Canada avec Eurostack. Ces discussions soulignent à quel point le développement de l’IA est interconnecté à la société dans son ensemble.
EN BREF
|
