Dans le Far West des chatbots AI, les avancées technologiques rencontrent des défis éthiques importants. Alors que ces systèmes deviennent de plus en plus intégrés dans des processus décisionnels cruciaux, comme le recrutement, des biais subtils liés à la race et à la caste passent souvent inaperçus. Ce phénomène soulève des questions sérieuses sur l’équité et l’inclusivité des modèles de langage, laissant entrevoir des implications profondes pour les personnes touchées par ces choix biaisés.
Les chatbots alimentés par l’intelligence artificielle (IA) s’immiscent de plus en plus dans des domaines critiques tels que le recrutement, mais des recherches récentes révèlent que des biais subtils, liés à la race et à la caste, persistent dans leurs interactions. Malgré des mesures mises en place pour filtrer les discours manifestement biaisés, des comportements discriminatoires plus discrets restent souvent incontestés, soulevant de sérieuses préoccupations éthiques sur l’utilisation de ces technologies dans des situations où des décisions impactent des vies humaines.
La montée des chatbots dans le recrutement
Avec l’émergence de nouveaux outils d’IA, comme l’Assistant de Recrutement de LinkedIn, les chatbots prennent en charge des aspects répétitifs des processus de recrutement, y compris les interactions avec les candidats. Des plateformes telles que Tombo.ai et Moonhub.ai exploitent également ces modèles de langage avancés pour transformer la façon dont les entreprises gèrent le recrutement. Toutefois, cette automatisation soulève des inquiétudes quant à la manière dont ces bots peuvent influencer les choix de carrière des individus en raison de biais intrinsèques qu’ils peuvent refléter.
Les biais dans les modèles de langage
Les chercheurs de l’Université de Washington ont entrepris d’étudier ces biais en utilisant des méthodes issues des sciences sociales. Ils ont mis au point un système d’évaluation basé sur sept critères pour tester huit modèles de langage variés à propos de la race et de la caste dans le contexte d’entretiens d’embauche simulés. Il est apparu que la majorité de ces modèles produisaient des contenus biaisés, en particulier dans le cadre de discussions sur la caste, mettant en lumière des failles dans les mécanismes de filtrage prédéfinis.
Les défis de l’identification des biais subtils
Bien que les modèles de langage avancés, tels que ChatGPT, ont des dispositifs de protection contre les propos ouvertement offensants, les biais systémiques sont souvent plus insidieux, se manifestant de manière moins évidente dans les interactions. Les systèmes créés dans des pays occidentaux, par ailleurs, peuvent ne pas prendre en compte des concepts sociaux non occidentaux, par exemple, la hiérarchie de caste présente en Asie du Sud. Dans cette perspective, il devient essentiel de développer des méthodologies qui permettent de détecter et d’analyser ces dangers cachés.
Le cadre CHAST : vers une meilleure compréhension des préjugés
Pour classifier ces atteintes subtiles, l’équipe de recherche a développé le cadre Covert Harms and Social Threats (CHAST). Ce cadre regroupe des métriques visant à évaluer des comportements nuisibles « cachés », tels que les menaces de compétence et symboliques, qui peuvent discréditer des groupes ou poser des menaces perçues à leurs valeurs. En analysant des conversations générées par différents modèles de langage autour des thèmes de la race et de la caste, ils espèrent mettre au jour la portée des biais présents dans les interactions.
Conséquences des biais dans les conversations générées par l’IA
Les résultats de l’étude ont révélé que 69% des discussions sur la caste et 48% de toutes les conversations contenues dans les interactions analysées incluaient des contenus préjudiciables. Par exemple, une des réponses générées a manqué le critère de menace de compétence en décrivant des candidats minoritaires comme potentiellement incapables de bien interagir avec une équipe majoritairement blanche. Ces statistiques illustrent non seulement l’inquiétante prévalence de préjugés dans les modèles de langage ouverts, mais également la nécessité d’une réévaluation de leur utilisation dans des contextes sensibles.
Inégalités entre modèles : un tableau contrasté
Il a également été observé que les deux modèles ChatGPT se sont comportés significativement mieux que les autres modèles open source, produisant moins de contenus nuisibles, surtout sur les questions raciales. Cependant, il subsiste des disparités entre les performances des modèles, l’un affichant aucun contenu nuisible sur la race, mais davantage concernant la caste, tandis que l’autre a généré relativement peu de contenus préjudiciables dans les deux catégories. Cela souligne l’importance de comprendre la façon dont différents algorithmes traitent des problèmes éthiques complexes.
Vers une réglementation éclairée des modèles d’IA
Les chercheurs appellent à l’élaboration de politiques qui puissent guider l’utilisation des modèles d’IA, soulignant l’urgence de développer des méthodes d’évaluation adaptées. L’attention doit s’élargir au-delà des préoccupations traditionnelles, telles que la race et le genre, pour inclure des concepts culturels variés, notamment en provenance du Sud Global. Cela nécessite une recherche plus approfondie sur la manière dont ces modèles interagissent avec des identités intersectionnelles, afin de mieux appréhender leurs biais potentiels dans différents contextes.
EN BREF
|
