Les avancées rapides de l’intelligence artificielle (IA) bouleversent de nombreux secteurs, y compris celui des moteurs de recherche. Dans ce contexte, une équipe de chercheurs de l’Université du Massachusetts Amherst a récemment mis au point une méthode novatrice et économique appelée eRAG. Cette approche vise à évaluer la fiabilité des résultats générés par les moteurs de recherche alimentés par l’IA, offrant une réponse à la complexité croissante des besoins informationnels des modèles de langage de grande taille. Alors que l’importance de l’IA dans le paysage numérique ne cesse d’augmenter, cette méthode pourrait transformer la manière dont les recherches en ligne sont effectuées et optimiser l’interaction entre l’IA et les moteurs de recherche traditionnels.
Une équipe de chercheurs a récemment mis au point une méthode innovante, appelée eRAG, pour évaluer la fiabilité des réponses fournies par les moteurs de recherche alimentés par l’intelligence artificielle. Ce système novateur pourrait transformer notre façon d’interagir avec les outils de recherche en ligne, permettant à ces derniers de mieux s’adapter aux besoins des modèles de langage AI tels que ChatGPT. En se concentrant sur la performance et l’efficacité, cette méthodologie répond aux défis actuels que posent les différences fondamentales entre les utilisateurs humains et les intelligences artificielles.
Un tournant pour l’évaluation des moteurs de recherche
Le développement de eRAG a pour but de mettre en lumière l’incapacité des moteurs de recherche traditionnels à répondre adéquatement aux demandes de recherche formulées par les modèles de langage AI. Alors que les chercheurs de l’Université du Massachusetts à Amherst explorent ces défis, ils se basent sur l’idée que les moteurs de recherche ont longtemps été conçus principalement pour des utilisateurs humains, ce qui les rend moins efficaces pour les applications d’IA.
Ce nouvel outil de recherche permet de créer un dialogue entre l’IA et le moteur de recherche, fournissant ainsi une évaluation précise de la qualité et de la pertinence des résultats générés. Comme l’explique Alireza Salemi, l’un des principaux auteurs de l’étude, les besoins en informations d’une IA diffèrent considérablement de ceux d’un utilisateur humain, rendant essentielle cette redéfinition des mécanismes de recherche.
Les limites des modèles de recherche traditionnels
Une des principales limites à laquelle se heurtent les moteurs de recherche traditionnels réside dans leur incapacité à traiter des requêtes vagues ou incomplètes. Lorsqu’un utilisateur humain ne se souvient pas du titre d’un livre, par exemple, il peut formuler des recherches plus larges qui sont raffinées avec le temps. En revanche, les LLMs agissent sur des écoles de données fermées et n’ont pas la capacité d’explorer l’information de cette manière. Ils ne peuvent pas accéder à des informations qui ne figurent pas dans leurs vastes ensembles de données.
Ce manque de flexibilité pose des défis pour la génération de contenu et la recherche d’informations actualisées. Les résultats peuvent être peu fiables lorsque les requêtes sont floues, car l’IA doit être en mesure de demander des précisions, ce qui est compliqué dans le cadre d’une recherche autonome.
Une nouvelle approche : l’augmentation de la récupération d’informations
La technique nommée RAG (retrieval-augmented generation) a été développée pour contrebalancer cette problématique. En suggérant des résultats globaux fournis par les moteurs de recherche, RAG permet aux LLMs de puiser des informations concrètes qui enrichissent le processus de génération de texte. Cependant, une question primordiale demeure : comment évaluer l’utilité de ces résultats pour les modèles de langage?
Traditionnellement, l’exactitude des jugements de pertinence a été validée par des groupes d’humains, méthode coûteuse et souvent sujette à interprétation. D’autres solutions ont tenté d’utiliser un LLM pour générer un jugement sur la pertinence, mais cela nécessite des modèles très puissants pour garantir la précision. Il existe également une approche évaluant la performance intégrée des systèmes augmentés, mais celle-ci engendre des coûts élevés et pose des problèmes de transparence.
Le potentiel d’eRAG
Le développement de eRAG propose une solution intermédiaire, qui est à la fois plus économique et plus efficace, permettant de réduire de trois fois le temps de traitement et d’utiliser cinquante fois moins de puissance GPU, tout en conservant une fiabilité similaire aux méthodes standards. En utilisant eRAG, les chercheurs peuvent donc offrir une évaluation plus rapide et moins coûteuse de la qualité des moteurs de recherche pour les agents AI.
Dans son fonctionnement, eRAG intègre l’expérience d’un utilisateur humain interagissant avec un agent AI qui soumet une requête à un moteur de recherche. Ce dernier renvoie une liste de résultats. Chaque document de cette liste est alors analysé par le LLM afin de déterminer quels contenus ont été jugés utiles pour produire une réponse correcte. Cette méthode d’évaluation agrégée permet de quantifier la qualité des informations fournies par le moteur de recherche.
Avenir des moteurs de recherche à l’ère de l’IA
Alors que les moteurs de recherche se dirigent vers une ère dominée par l’intelligence artificielle, l’émergence de eRAG représente une avancée significative. Bien qu’à l’heure actuelle, il n’existe pas encore de moteur de recherche capable de fonctionner avec tous les principaux LLMs, l’efficacité et la simplicité d’implémentation d’eRAG ouvrent la voie à une amélioration des expériences de recherche. Ce processus pourrait rendre les moteurs de recherche plus accessibles et pertinents pour les utilisateurs AI, tout en renforçant leur pertinence pour les utilisateurs humains.
Cette avancée a d’ailleurs été reconnue lors de la Conférence internationale ACM SIGIR 2024 sur la recherche et le développement en matière de récupération d’informations, où l’équipe a reçu le prix du meilleur article court. Une version publique du package Python contenant le code d’eRAG est également mise à disposition sur GitHub.
EN BREF
|
