Pueden las organizaciones humanitarias usar la IA de forma segura?

Tristan Hale, Director de Medios digitales y Comunicación, Esfera

Uso y percepciones de la IA en organizaciones humanitarias

En una encuesta reciente de organizaciones humanitarias realizada por Esfera:

• el 51% de los encuestados dijo que su organización estaba usando la Inteligencia Artificial (IA) o explorando su uso;
• el 57% no había recibido formación ni orientación alguna sobre la IA, ni estaba al tanto de ninguna política de su organización sobre el uso de la IA; y
• tan solo el 6% dijo estar muy familiarizado con los riesgos de la IA.

El 59% de los encuestados que dijeron tener al menos algún conocimiento sobre los riesgos de la IA identificaron que los más serios eran la imprecisión de los resultados, la dependencia de la IA, y la deshumanización de la ayuda.

IA o no IA, esa es la cuestión

La IA tiene el potencial de hacer el bien en el sector humanitario, pero también tiene el potencial de causar daño a las personas vulnerables. ¿Cómo pueden las organizaciones humanitarias (o las personas responsables de la contratación en esas organizaciones) tomar buenas decisiones sobre cuándo, dónde y cómo usar la IA? ¿Cómo pueden estas organizaciones demostrar a potenciales donantes que están usando la IA de forma segura y responsable? O, enfocándolo desde el otro lado, ¿cómo pueden los donantes asegurar que los potenciales receptores de sus donaciones usarán la IA de forma responsable? ¿Cómo podemos apoyar a los profesionales humanitarios que quieran sacarle partido a la IA para hacerlo de forma segura?

Marca de Seguridad de la IA

Hay varios enfoques posibles para contestar a estas preguntas, incluyendo el fortalecimiento de capacidades, las normas y/o la orientación, y la certificación. Esfera está trabajando con Nesta (agencia de innovación para el bien común del Reino Unido), Data Friendly Space y CDAC Network, con el apoyo de FCDO y UKHIH, para estudiar la creación de una Marca de Seguridad de la IA. ¿Y si pudiera demostrar que el uso que hace su organización de una plataforma de IA en particular en un contexto específico sobrepasa un umbral de seguridad razonable?

Proceso de evaluación de tres fases

Nuestro concepto de Seguridad de la IA está fundamentado en tres componentes clave:

1. Evaluación técnica: realizar pruebas con la plataforma de IA usando métricas relativas a rendimiento, precisión, usabilidad, sesgo, utilización de recursos, transparencia, explicabilidad, latencia, velocidad, etc.
2. Evaluación de la capacidad de la organización: comprobar que la organización humanitaria que tiene intención de usar la plataforma de IA tenga la capacidad para hacerlo. Por ejemplo, en el caso de que el modelo de IA requiera datos personales o sensibles, ¿presta la organización suficiente atención a la ciberseguridad? ¿Ha recibido el personal la formación adecuada para usar la plataforma de IA?
3. Aceptabilidad social y evaluación del riesgo: un sistema que tiene un buen rendimiento en un contexto podría ser dañino en otro contexto, y parte de determinar la adecuación para un contexto específico consiste en su aceptación por parte de la comunidad que se verá afectada por las decisiones con base en los resultados de la plataforma de IA.

Como parte de nuestra investigación, hemos entrevistado a decenas de personas incluyendo auditores, proveedores de normas y personas en organizaciones humanitarias en puestos de contratación, de campo, de políticas y técnicos. Agradecemos a todas las personas que nos han ofrecido su tiempo por explicarnos lo que les gusta y lo que no funcionará con respecto a estos tres componentes.

Consulta de la red Esfera

Pedimos a los participantes de nuestro Foro mundial de puntos focales (GFPF) en Antalya que hicieran un posible diseño para la marca, y les preguntamos sobre la viabilidad de una evaluación a nivel de organización de las capacidades necesarias para usar la IA de forma segura. Esta sesión confirmó que hay un gran interés en la IA en el sector, pero que relativamente pocas organizaciones tienen la capacidad de gestionar y abordar las complejidades técnicas, los requisitos legales y las consideraciones éticas para tomar buenas decisiones sobre la IA.

Pruebas con la comunidad, Hataya

Para probar la fase tres, organizamos dos talleres en turco con personas de comunidades afectadas por el grave terremoto de febrero de 2023. Como parte de este proceso, preguntamos a los participantes qué opiniones tendrían sobre una plataforma de IA que usara imágenes de satélite para estimar los daños a sus hogares causados por el terremoto.

Un aporte interesante que dio este taller es que, en casos de insatisfacción con la toma de decisiones por parte de personas humanas, la IA podría ser bienvenida, y no temida. En palabras de una persona participante (traducidas del turco): “Creo que la IA puede evaluar daños a edificios sin estar influenciada por emociones. En los desastres de gran escala, como el terremoto de Kahramanmaraş, las personas están profundamente afectadas, lo cual podría disminuir la precisión de sus evaluaciones.” Solemos poner el listón muy alto para la IA en cuanto a precisión, ausencia de sesgos, etc., pero al mismo tiempo toleramos sesgos, afectaciones emocionales y agendas políticas cuando se trata de personas. Hay una buena razón: si una persona comete un error, podemos exigirle responsabilidades;  en cambio, si una plataforma de IA comete un error, podría ser difícil determinar quién es responsable.

Próximos pasos y llamado a la acción

Nuestra investigación ha demostrado que el concepto de marca de seguridad resulta atractivo para profesionales humanitarios, y ahora estamos iterando el diseño para asegurar que cubra la diversidad de necesidades de todo el sector. Si su organización está explorando la intersección de la IA y la participación de la comunidad, y está estudiando cómo usar la IA de forma segura y responsable, no dude en contactarnos.

---

Para información a la prensa o aclaraciones sobre la Marca de Seguridad de la IA, contacte con communications@spherestandards.org