Une équipe de chercheurs a entrepris une démarche novatrice visant à former des modèles d’intelligence artificielle capables de détecter les reportages scientifiques trompeurs. En utilisant une architecture basée sur des modèles de langage étendus, ils cherchent à identifier des narrations trompeuses dans les articles de presse relatifs aux découvertes scientifiques. Face à une information inexacte qui peut avoir des conséquences sur la santé et la confiance du public, cette initiative représente un pas significatif vers une meilleure compréhension de la vérité scientifique dans un paysage médiatique souvent embrouillé.
Un groupe de chercheurs de l’Institut de technologie de Stevens a mis au point une architecture d’intelligence artificielle (IA) visant à identifier les narrations trompeuses dans les reportages scientifiques, particulièrement dans le contexte de la pandémie de COVID-19. En utilisant des modèles de langage à grande échelle (LLMs) et des ressources en accès libre, ils cherchent à offrir aux lecteurs une meilleure compréhension des informations scientifiques présentées dans les médias.
Une méthodologie innovante pour créer un jeu de données scientifique
Pour cette recherche, les scientifiques ont d’abord constitué un jeu de données composé de 2 400 articles de presse traitant des avancées scientifiques. Ce corpus comprend des rapports rédigés par des humains, provenant de revues scientifiques respectées ainsi que de sources moins fiables, connues pour publier des fausses informations. De plus, des articles générés par IA ont été inclus, de sorte que la moitié d’entre eux étaient fiables tandis que l’autre moitié contenait des inexactitudes.
Chaque article a ensuite été couplé avec des résumés de recherches originales sur le sujet technique, permettant ainsi aux chercheurs de vérifier l’exactitude scientifique de chaque rapport. Ce travail représente la première tentative systématique d’orienter les LLMs pour détecter les inexactitudes dans les communications scientifiques diffusées dans les médias publics.
Une architecture IA à trois étapes
L’équipe a élaboré trois architectures basées sur des LLMs pour guider le modèle dans le processus de détermination de l’exactitude d’un article de presse. Une de ces architectures suit un processus en trois étapes. Tout d’abord, le modèle d’IA résume chaque article et identifie les éléments saillants. Ensuite, il effectue des comparaisons au niveau des phrases entre les déclarations faites dans le résumé et les preuves trouvées dans la recherche originale revue par des pairs. Enfin, le LLM détermine si le rapport reflète fidèlement la recherche originale.
Les chercheurs ont également défini des « dimensions de validité » et demandé au LLM de prendre en compte cinq dimensions spécifiques, comme les erreurs d’interprétation courantes telles que la simplification excessive ou la confusion entre causalité et corrélation, présents dans les articles de presse inexactes.
Résultats et perspectives d’amélioration
En utilisant le nouveau jeu de données, les pipelines LLM de l’équipe ont pu distinguer correctement les rapports fiables des rapports non fiables avec environ 75 % de précision, bien qu’ils aient montré de meilleures performances dans l’identification des inexactitudes dans le contenu généré par les humains par rapport à celui généré par l’IA. Les raisons de cette différence ne sont pas encore totalement comprises, mais des études antérieures montrent que les humains non experts éprouvent également des difficultés à repérer les erreurs techniques dans des textes générés par des modèles d’IA.
Le Dr K.P. Subbalakshmi, co-auteur de l’étude, souligne qu’il existe un potentiel d’amélioration dans leur architecture et que les étapes suivantes pourraient consister à créer des modèles d’IA personnalisés pour des sujets de recherche spécifiques, afin qu’ils puissent « penser » davantage comme des scientifiques humains.
Vers des outils de détection plus fiables
À long terme, la recherche de l’équipe pourrait aboutir à la création de plugins de navigateur qui signalent automatiquement le contenu inexact au fur et à mesure que les utilisateurs se déplacent sur Internet. De plus, elle pourrait permettre de classer les éditeurs en fonction de la manière dont ils couvrent les découvertes scientifiques avec précision. L’idée principale, selon le Dr Subbalakshmi, est de développer des modèles LLM qui décrivent les informations scientifiques avec plus de précision et qui sont moins susceptibles de générer des données biaisées lors de la présentation de recherches scientifiques.
Ces avancées dans le domaine de l’IA pourraient contribuer à réduire la propagation de désinformations et à aider les lecteurs à naviguer plus sereinement à travers les informations scientifiques, en leur permettant ainsi de mieux comprendre les allégations qui les entourent. Pour découvrir d’autres approches innovantes en matière de détection de l’information scientifique, vous pouvez consulter des articles sur des projets similaires, tels que cette étude sur la détection des discours violents ou un outil de détection des fraudes.
EN BREF
|
