Historia del editor - Mantener frescos los incidentes de IA
¿Quieres que la IA sea más segura? Envía un informe de incidente.
¿Quieres ser editor? Más información en la Guía del editor
¿Quieres seguir la evolución de los incidentes? Suscríbase a "The AI Incident Briefing".
En el Collab, nuestra primera tarea es indexar el universo de incidentes de IA. Los colaboradores y editores son de suma importancia para este esfuerzo y fundamentales para la misión de garantizar la seguridad de los despliegues de IA. Los editores de incidentes trabajan en colaboración para determinar si los sucesos del mundo real son "incidentes" y requieren un perfil de incidente en incidentdatabase.ai.
Tras haber indexado recientemente el incidente número 500 expresado en más de 2.500 informes, queremos rendir homenaje a los editores de la base de datos de incidentes de IA destacando sus historias.
Daniel Atherton, Editor y Colaborador
Voluntario en la Collab desde junio de 2022
¿Cómo te involucraste?
Estaba trabajando con Patrick Hall de BNH en un montón de trabajo de base de conocimientos, incluyendo el seguimiento y la taxonomía de los incidentes. Me recomendó coordinar mi trabajo en ese frente con la base de datos de incidentes de IA.
¿Cuál es el mayor reto de la edición?
Determinar los detalles concretos puede ser complicado, como establecer la cronología exacta de los hechos, quién desplegó exactamente la tecnología y quiénes fueron exactamente los perjudicados (o casi). Algunos informes pueden citar un ejemplo de parte perjudicada y referirse a otras partes perjudicadas sin entrar en detalles concretos. Esto puede dar lugar a una gran cantidad de investigación para establecer la imagen completa.
¿Qué incidente le parece especialmente interesante?
Los incidentes 112, 255, 256, 257, 429 y 446 de la base de datos están todos relacionados con ShotSpotter, que las fuerzas del orden y los municipios utilizan para intentar identificar y localizar disparos. Me ha interesado cartografiar las complicadas dimensiones de la información sobre esta tecnología y su despliegue.
Khoa Lam, redactor jefe
Trabaja en Collab desde mayo de 2022.
¿Cómo te involucraste?
Hace dos años, cuando conocí la base de datos de incidentes, me pareció una gran herramienta para aprender sobre los daños y fallos de los sistemas algorítmicos. Para familiarizarme con los incidentes como friki de los datos, creé una línea de tiempo interactiva que mostraba los incidentes a lo largo del tiempo. Finalmente, cuando la base de datos buscaba un editor, me puse en contacto con él y solicité el puesto, ya que quería comprender los incidentes en profundidad y contribuir a la conservación y gestión de la calidad de los datos sobre incidentes.
¿Cuál es el mayor reto de la edición?
El reto más importante para mí es determinar si algo es un incidente. Por supuesto, los editores de la base de datos disponen de una guía para operacionalizar esta cuestión, pero los incidentes "en la naturaleza" de vez en cuando se resisten a encajar en nuestra caja claramente definida. Estos casos me parecen humildes e inspiradores a la vez, ya que nos recuerdan que los incidentes relacionados con la IA, al igual que los sistemas de IA, están formados por seres humanos y reflejan nuestras perspectivas, valores y prejuicios.
¿Qué incidente le parece especialmente interesante?
Ciertos incidentes en los que se utiliza IA fuera de lugar me parecen fascinantes y angustiosos a la vez. Un ejemplo es el incidente 518, en el que un detective de Nueva York utilizó la cara de Woody Harrelson (un actor estadounidense) como sustituto de la cara de un sospechoso en una búsqueda de reconocimiento facial que acabó en detención. El detective había utilizado la cara del sospechoso, pero no había obtenido coincidencias útiles, ya que las imágenes de vigilancia que contenían su rostro estaban muy pixeladas. Al darse cuenta del parecido entre la cara del sospechoso y la de Woody Harrelson, y sin aceptar las limitaciones de la herramienta de IA, el detective procedió a utilizar la herramienta de IA, lo que condujo a la acusación falsa de una víctima inocente.
En mi opinión, este incidente pone de manifiesto la urgente necesidad de mejorar la gobernanza, la capacidad de explicación, la supervisión y la rendición de cuentas en el uso de la IA, especialmente en aplicaciones de gran repercusión pública. Este incidente me parece fascinante, ya que pone en tela de juicio los conocimientos y las estrategias de mitigación existentes en torno a la automatización y los sesgos de confirmación, que normalmente no tienen en cuenta los esfuerzos de los usuarios por eludir los límites conocidos de sus herramientas de IA.
Kate Perkins, editora y colaboradora
Voluntaria en Collab desde junio de 2021, editora desde noviembre de 2022
¿Cómo te involucraste?
Conocí la AI Incident Database (AIID) a través de un artículo de WIRED titulado "Don't End Up on This Artificial Intelligence Hall of Shame" en junio de 2021. Como trabajo en el ámbito de la IA responsable, el objetivo de la AIID de concienciar sobre los daños causados por la IA en el pasado con la esperanza de aprender de estas experiencias "para que podamos prevenir o mitigar los malos resultados" me interesó mucho. Me puse en contacto con Sean McGregor para saber más e inmediatamente empecé a enviar los informes de incidentes que encontraba. A medida que fui aprendiendo más sobre el proceso de envío, pude empezar a contribuir más al AIID como editora.
¿Cuál es el mayor reto de la edición?
En el caso de los incidentes nuevos, puede llevar mucho tiempo buscar la primera fecha del daño causado por el sistema de IA y otra información clave, como el desarrollador del sistema de IA. Cuando se introducen los datos completos en la base de datos, se reduce el trabajo que tiene que hacer un redactor para incorporar un nuevo informe. También me he encontrado con artículos que destacan múltiples daños causados por la IA, en cuyo caso podemos asignar este informe a múltiples incidentes. El campo Nota del editor en el formulario de envío es un buen lugar para añadir cualquier detalle adicional sobre el incidente o incidentes que se envían.
¿Qué incidente te parece especialmente interesante?
Cuando comparto información sobre la AIID, suelo hacer referencia al incidente 6 y al incidente 106 sobre los bots de chat Microsoft Tay y Scatter Labs Lee Luda. Ambos incidentes ponen de relieve el mismo daño a la IA que se produce al entrenar a los chatbots con datos que incluyen lenguaje y conversaciones inapropiados. Espero que hayamos aprendido colectivamente de estas experiencias y no veamos a un tercer chatbot acabar en la AIID con el mismo daño.
También están surgiendo muchos incidentes en torno a los sistemas de IA generativa a medida que vemos cómo estas tecnologías escalan y se adoptan en nuevos casos de uso. Mi esperanza es que aprendamos rápidamente de los daños asociados a los sistemas de IA generativa para que podamos aprovechar de forma responsable esta tecnología emergente.
Sin embargo, el incidente que realmente se me ha quedado grabado es el incidente 384 en el que Sebastian Galassi, un conductor de Glovo en Italia, fue despedido por un algoritmo de IA debido a su incumplimiento después de que el empleado falleciera en un accidente de tráfico mientras realizaba una entrega en nombre de Glovo. Este incidente pone de relieve los perjuicios que pueden causar en el mundo real los sistemas de IA utilizados para despedir a trabajadores. Si hubiera habido un humano en el bucle, podrían haber reconocido la razón por la que la entrega de Glovo estaba incompleta y haber manejado la situación con más compasión y empatía. En este incidente, el sistema de IA fue insensible al trágico incidente que se produjo y causó más daño a Galassi y a su familia. Una enseñanza clave que saqué de este incidente es que la IA utilizada en los sistemas de gestión del rendimiento puede beneficiarse de la supervisión humana para evitar efectos deshumanizadores.
Janet Schwartz, Editora
Trabaja en Collab desde junio de 2022.
¿Cómo se involucró?
Conocí a Sean McGregor (fundador) hace unos años a través de un amigo común y hablamos de nuestro interés común por los macrodatos. El año pasado me enteré de que Sean estaba fundando la Responsible AI Collaborative para apoyar la AIID, así que le pregunté si podía formar parte del equipo. Mi formación era informática, pero sólo tenía nociones básicas de aprendizaje automático o IA. El último año ha sido un viaje increíble en este campo y he disfrutado mucho ayudando a hacer crecer el AIID y su base de colaboradores.
¿Cuál es el mayor reto de la edición?
El mayor reto para mí ha sido trabajar con informes que son un elemento de una historia más amplia. Esto puede requerir la búsqueda de artículos relacionados para determinar las causas, la fecha original del incidente y los actores implicados. Sin embargo, estos son algunos de los informes más interesantes en los que sumergirse, ya que requieren investigación y pensamiento crítico para determinar estas respuestas.
¿Qué incidente le parece especialmente interesante?
Recientemente me han llamado la atención varios incidentes e informes de problemas porque tienen ramificaciones potencialmente graves para la verificación de la identidad. En el incidente 485, un periodista británico utilizó una versión de su voz generada por IA para acceder con éxito a su cuenta bancaria y en el incidente 523 un periodista australiano utilizó un método similar para acceder a su cuenta de Centrelink. En issue report 2962, una empresa de ciberseguridad realizó pruebas con el sistema de IA PassGAN para demostrar lo rápido que se pueden descifrar las contraseñas. (Los informes de incidentes pueden considerarse "preincidentes", o advertencias sobre daños que probablemente se materializarán en un futuro próximo).
Esto apunta a una necesidad general de reconsiderar los métodos comunes de verificación utilizados por un enorme número de organizaciones.
¿Quiere convertirse en editor de incidentes de IA? La mitad de los editores activos en la base de datos de incidentes de IA ocupan sus puestos porque han enviado un gran número de incidentes de alta calidad. Puedes seguir el mismo camino enviando con regularidad incidentes que cumplan todas las normas editoriales y, a continuación, solicitar o ser invitado a formar parte del panel. Sin la ayuda de personas como usted, es inevitable que no aprendamos las lecciones del pasado. ¡Por favor, envíe incidentes!