L'histoire des rédacteurs - Maintenir la fraîcheur des incidents liés à l'IA
Vous voulez rendre l'IA plus sûre ? Soumettez un rapport d'incident.
Vous souhaitez devenir rédacteur ? Pour en savoir plus, consultez le Guide de l'éditeur
Vous souhaitez suivre l'évolution des incidents ? Abonnez-vous au "Briefing sur les incidents liés à l'IA"
Au Collab, notre première tâche est d'indexer l'univers des incidents d'IA. Les contributeurs et les rédacteurs sont d'une importance capitale pour cet effort et sont au cœur de la mission visant à garantir la sécurité des déploiements de l'IA. Les éditeurs d'incidents travaillent en collaboration pour déterminer si des événements du monde réel sont des "incidents" et nécessitent un profil d'incident sur incidentdatabase.ai.
Après avoir récemment indexé le 500e incident distinct exprimé dans plus de 2 500 rapports, nous souhaitons rendre hommage aux éditeurs de la base de données des incidents d'IA en mettant en lumière leurs histoires.
Daniel Atherton, éditeur et contributeur
Volontaire au Collab depuis juin 2022
Comment avez-vous été impliqué ?
Je travaillais avec Patrick Hall de BNH sur un grand nombre de bases de connaissances, y compris le suivi et la taxonomisation des incidents. Il m'a recommandé de coordonner mon travail sur ce front avec la base de données des incidents de l'IA.
Quel est le plus grand défi en matière d'édition ?
Il peut être difficile de déterminer les détails, notamment d'établir la chronologie précise des événements, de savoir qui a déployé la technologie et qui sont les parties lésées (ou presque). Certains rapports peuvent citer un exemple de partie lésée tout en faisant référence à une série d'autres parties lésées sans entrer dans les détails. Cela peut nécessiter de nombreuses recherches pour obtenir une vue d'ensemble.
Quel est l'incident que vous trouvez particulièrement intéressant ?
Les incidents 112, 255, 256, 257, 429 et 446 de la base de données concernent tous ShotSpotter, que les forces de l'ordre et les municipalités utilisent pour tenter d'identifier et de localiser les coups de feu. J'ai cherché à cartographier les dimensions complexes des rapports sur cette technologie et son déploiement.
Khoa Lam, rédacteur en chef
Membre du personnel du Collab depuis mai 2022
Comment avez-vous été impliqué ?
Il y a deux ans, lorsque j'ai appris l'existence de la base de données des incidents, j'ai pensé qu'il s'agissait d'un outil formidable pour en apprendre davantage sur les préjudices et les échecs des systèmes algorithmiques. Pour me familiariser avec les incidents en tant que passionné de données, j'ai créé une chronologie interactive présentant les incidents au fil du temps. Finalement, lorsque la base de données a cherché un rédacteur, j'ai postulé pour le rôle, car je voulais comprendre les incidents à un niveau plus profond, et je voulais contribuer à la curation et à la gestion de la qualité des données sur les incidents.
Quel est le plus grand défi de l'édition ?
Pour moi, la principale difficulté consiste à déterminer s'il s'agit bien d'un incident. Bien sûr, les éditeurs de la base de données disposent d'un guide pour opérationnaliser cette question, mais les incidents "dans la nature" résistent parfois à notre définition précise. Je trouve ces cas à la fois humbles et inspirants, car ils nous rappellent que les incidents impliquant l'IA, tout comme les systèmes d'IA, sont façonnés par les humains et reflètent nos perspectives, nos valeurs et nos préjugés.
Quel est l'incident que vous trouvez particulièrement intéressant ?
Je trouve certains incidents mettant en scène l'utilisation abusive de l'IA à la fois fascinants et poignants. Un exemple est incident 518, où un détective de New York aurait utilisé le visage de Woody Harrelson (un acteur américain) pour remplacer le visage d'un suspect dans le cadre d'une recherche par reconnaissance faciale qui a abouti à une arrestation. Le détective avait utilisé le visage du suspect, mais n'avait pas obtenu de correspondance utile car les images de surveillance contenant son visage étaient fortement pixélisées. Remarquant la ressemblance entre le visage du suspect et celui de Woody Harrelson, et n'acceptant pas les limites de l'outil d'IA, le détective a continué à utiliser l'outil d'IA, ce qui a conduit à la fausse accusation d'une victime innocente.
Selon moi, cet incident met en évidence la nécessité urgente d'améliorer la gouvernance, l'explicabilité, le suivi et la responsabilité de l'utilisation de l'IA, en particulier dans le cadre d'une application aux enjeux aussi importants et ayant une incidence sur le public. Je trouve cet incident fascinant car il remet en question les connaissances et les stratégies d'atténuation existantes en matière d'automatisation et de biais de confirmation, qui ne tiennent généralement pas compte des efforts déployés par les utilisateurs pour contourner les limites connues de leurs outils d'IA.
Kate Perkins, rédactrice et collaboratrice
Bénévole au Collab depuis juin 2021, Rédactrice depuis novembre 2022
Comment vous êtes-vous impliqué ?
J'ai entendu parler pour la première fois de la base de données sur les incidents liés à l'IA (AIID) dans un article de WIRED intitulé "Don't End Up on This Artificial Intelligence Hall of Shame" (Ne finissez pas dans ce Panthéon de l'intelligence artificielle) en juin 2021. Comme je travaille sur l'IA responsable, l'objectif de l'AIID de faire connaître les préjudices causés par l'IA dans le passé, dans l'espoir de tirer des leçons de ces expériences "afin que nous puissions prévenir ou atténuer les mauvais résultats", m'a vraiment interpellé. J'ai contacté Sean McGregor pour en savoir plus et j'ai immédiatement commencé à soumettre les rapports d'incidents dont j'avais connaissance. Au fur et à mesure que j'en apprenais davantage sur le processus de soumission, j'ai pu commencer à contribuer davantage à l'AIID en tant que rédacteur.
Quel est le plus grand défi de l'édition ?
Pour les nouveaux incidents, il peut être fastidieux de faire des recherches pour trouver la première date du dommage causé par le système d'IA et d'autres informations clés telles que le développeur du système d'IA. Lorsque les soumissions complètes sont saisies dans la base de données, cela réduit le travail qu'un rédacteur doit effectuer pour ingérer un nouveau rapport. Je suis également tombé sur des articles qui mettent en évidence plusieurs préjudices liés à l'IA, auquel cas nous pouvons associer ce rapport à plusieurs incidents. Le champ Note de l'éditeur dans le formulaire de soumission est un endroit idéal pour ajouter des détails supplémentaires sur le ou les incidents soumis.
Quel est l'incident que vous trouvez particulièrement intéressant ?
Lorsque je partage des informations sur l'AIID, je fais souvent référence à l'incident 6 et à l'incident 106 concernant les robots de conversation Tay de Microsoft et Lee Luda de Scatter Labs. Ces deux incidents mettent en évidence les mêmes dommages causés à l'IA par l'entraînement des chatbots à partir de données contenant un langage et des conversations inappropriés. J'espère que nous avons collectivement tiré les leçons de ces expériences et que nous ne verrons pas un troisième chatbot finir dans l'AIID avec les mêmes préjudices.
De nombreux incidents se produisent également autour des systèmes d'IA générative, à mesure que ces technologies se développent et sont adoptées dans de nouveaux cas d'utilisation. J'espère que nous tirerons rapidement les leçons des préjudices associés aux systèmes d'IA générative afin de pouvoir exploiter cette technologie émergente de manière responsable.
Cependant, l'incident qui m'a le plus marqué est l'incident 384 dans lequel Sebastian Galassi, un chauffeur de Glovo en Italie, a été licencié par un algorithme d'IA pour non-conformité après que l'employé a été tué dans un accident de voiture alors qu'il effectuait une livraison pour le compte de Glovo. Cet incident met en évidence les préjudices réels que peuvent causer les systèmes d'IA utilisés pour licencier des travailleurs. S'il y avait eu un humain dans la boucle, il aurait pu reconnaître la raison pour laquelle la livraison de Glovo était incomplète et gérer la situation avec plus de compassion et d'empathie. Dans le cas présent, le système d'IA a été insensible à l'incident tragique qui s'est produit et a causé un préjudice supplémentaire aux Galassi et à leur famille. L'un des principaux enseignements que j'ai tirés de cet incident est que l'IA utilisée dans les systèmes de gestion des performances peut bénéficier d'une supervision humaine afin d'éviter les effets déshumanisants.
Janet Schwartz, rédactrice
Membre du personnel du Collab depuis juin 2022
Comment avez-vous été impliquée ?
J'ai rencontré Sean McGregor (fondateur) il y a quelques années par l'intermédiaire d'un ami commun et nous avions alors discuté de notre intérêt commun pour le big data. L'année dernière, j'ai appris que Sean fondait le Responsible AI Collaborative pour soutenir l'AIID, et j'ai donc demandé si je pouvais faire partie de l'équipe. J'avais une formation en informatique, mais je n'avais qu'une compréhension superficielle de l'apprentissage automatique ou de l'IA. L'année écoulée a été un voyage incroyable dans ce domaine et j'ai beaucoup apprécié de contribuer à la croissance de l'AIID et de sa base de contributeurs.
Quel est le plus grand défi de l'édition ?
Le plus grand défi pour moi a été de traiter des rapports qui ne sont qu'un élément d'une histoire plus vaste. Cela peut nécessiter de déterrer des articles connexes pour déterminer la ou les causes profondes, la date de l'incident initial et les acteurs impliqués. Cependant, ces rapports sont parmi les plus intéressants à étudier, car ils nécessitent des recherches et une réflexion critique pour trouver les réponses.
Quel est l'incident que vous trouvez particulièrement intéressant ?
Plusieurs incidents et rapports ont récemment attiré mon attention parce qu'ils ont des conséquences potentiellement graves pour la vérification de l'identité. Dans l'incident 485, un journaliste britannique a utilisé une version de sa voix générée par l'IA pour accéder à son compte bancaire et dans l'incident 523, un journaliste australien a utilisé une méthode similaire pour accéder à son compte Centrelink. Dans issue report 2962, une société de cybersécurité a effectué des tests avec le système d'IA PassGAN pour démontrer la rapidité avec laquelle les mots de passe peuvent être déchiffrés (les issues reports peuvent être considérés comme des "pré-incidents", ou des avertissements sur des dommages susceptibles de se produire dans un avenir proche).
Cela montre qu'il est nécessaire de reconsidérer les méthodes de vérification couramment utilisées par un grand nombre d'organisations.
Vous souhaitez devenir éditeur d'incidents d'IA ? La moitié des éditeurs actifs dans la base de données des incidents d'IA occupent leur poste parce qu'ils ont soumis un grand nombre d'incidents de haute qualité. Vous pouvez suivre la même voie en soumettant régulièrement des incidents répondant à l'ensemble des normes éditoriales, puis demander ou être invité à rejoindre le panel. Sans l'aide de personnes comme vous, nous ne parviendrons inévitablement pas à tirer les leçons du passé. Veuillez soumettre des incidents !