Une récente étude menée par des chercheurs de l’université Cornell met en lumière les difficultés rencontrées par l’assistant IA d’Amazon, Rufus, lorsqu’il s’agit de comprendre et de répondre à des utilisateurs s’exprimant dans divers dialectes. L’étude montre que les réponses fournies par Rufus sont souvent vagues ou incorrectes, en particulier lorsque les utilisateurs communiquent en utilisant des formes d’anglais comme l’anglais afro-américain ou en faisant des erreurs typographiques. Ce constat soulève des questions sur l’équité et la qualité des services fournis par les chatbots, notamment dans un contexte où de plus en plus d’interactions en ligne reposent sur ces technologies.
Une recherche récente menée par Cornell a mis en évidence que l’assistant de shopping en ligne d’Amazon, Rufus, rencontre des difficultés pour comprendre et répondre correctement aux utilisateurs s’exprimant dans des dialectes spécifiques de l’anglais, tels que l’anglais afro-américain. Cette étude souligne les risques d’inégalités dans la qualité de service des chatbots, particulièrement lorsque ces derniers sont confrontés à des fautes de frappe ou à des variations dialectales.
Le cadre d’évaluation des chatbots
Les chercheurs ont introduit un cadre permettant d’évaluer les chatbots en tenant compte des préjudices qui peuvent survenir quand ces systèmes d’IA fonctionnent moins bien pour les utilisateurs qui s’expriment dans divers dialectes. Ces résultats sont de plus en plus pertinents à mesure que de nombreuses plateformes en ligne intègrent des chatbots basés sur de grands modèles linguistiques pour fournir des services aux consommateurs.
Résultats de l’audit sur Rufus
Dans le cadre de l’étude, l’équipe de recherche a audité Rufus, l’assistant chatbot de l’application de shopping d’Amazon. Pour cela, ils ont utilisé un outil nommé MultiVALUE qui permet de transformer des requêtes en anglais standard en cinq dialectes largement parlés, notamment l’anglais afro-américain (AAE), l’anglais chicano, l’anglais appalachien, l’anglais indien et l’anglais singapourien.
Les impacts des fautes de frappe
Les chercheurs ont ensuite modifié ces requêtes pour refléter un usage réel, en ajoutant des fautes de frappe, en supprimant la ponctuation et en modifiant la capitalisation. L’étude a révélé que Rufus fournissait plus fréquemment des réponses de faible qualité, souvent vagues ou incorrectes, lorsqu’il était sollicité dans des dialectes autres que l’anglais américain standard (SAE)
Implicatures pour l’équité et l’inclusivité
L’une des auteures principales, Emma Harvey, a souligné que cette perte de qualité ne devrait pas être inéluctable. Elle précise qu’en entraînant des modèles linguistiques à être plus robustes face aux caractéristiques dialectales qui dépassent l’anglais américain standard, il serait possible d’observer un comportement plus équitable. Cela suggère que les développeurs de chatbots devraient envisager l’inclusivité en matière de diversité linguistique dans le processus de développement.
Préoccupations pédagogiques
Les résultats de cette recherche soulèvent par ailleurs des préoccupations pour l’avenir des technologies éducatives. Allison Koenecke fait remarquer que de plus en plus de chatbots sont intégrés à des systèmes éducatifs. Il est essentiel que ces systèmes offrent une expérience comparable à tous les utilisateurs, peu importe leur façon de s’exprimer, sous peine de renforcer des inégalités éducatives.
Appel à une attention accrue
Les auteurs de l’étude appellent à des audits linguistiques systématiques pour identifier et corriger ces disparités, soulignant que la mise en place de telles pratiques pourrait limiter les risques d’inégalité dans les réponses fournies par les chatbots. Les chercheurs partagent une vision où l’IA pourrait réellement servir de manière équitable et adaptée à une large variété d’utilisateurs, quel que soit leur dialecte.
Pour des informations supplémentaires et des exemples concrets, il peut être intéressant de consulter des études antérieures sur les biais linguistiques et les défis liés aux dialectes, comme le travail des chercheurs sur la reconnaissance des dialectes arabes ou sur d’autres modèles de langage. Des liens pertinents incluent des études sur des biais racistes dans les modèles de langage et sur les techniques de reconnaissance vocale adaptées à des variations linguistiques.
Pour davantage d’approfondissements, vous pouvez explorer les travaux sur les biais racistes envers les locuteurs d’AAE et découvrir un outil d’apprentissage automatique capable d’identifier les dialectes arabes avec précision dans 22 pays arabophones. Des initiatives pour différencier les sons authentiques des deepfakes peuvent également enrichir notre compréhension des défis actuels en matière de technologies linguistiques, à découvrir ici : Deepfakes et sons authentiques.
EN BREF
|
