Por qué la gobernanza importa ahora
Toda organización del Golfo que usa IA, ya sea un banco que evalúa solicitudes de financiación, un hospital que clasifica pacientes o un minorista que recomienda productos, está tomando decisiones sobre personas a través de una máquina. La mayoría de esas decisiones son útiles. Algunas serán erróneas, y unas pocas serán injustas, opacas o dañinas. La gobernanza es simplemente la disciplina de garantizar que la organización sepa qué hacen sus sistemas, pueda explicarlo y pueda corregirlo.
Esto importa más ahora por tres razones. Los sistemas de IA se usan para decisiones de peso, no solo para recomendaciones. Los reguladores de toda la región han pasado de las orientaciones a la ley, especialmente en materia de datos personales. Y la confianza pública, una vez perdida, es cara de recuperar. Bien hecha, la gobernanza no es un freno a la innovación; es lo que permite a una organización avanzar con rapidez sin romper lo que importa.
Cinco principios en lenguaje claro
Los marcos de IA responsable de todo el mundo convergen en un pequeño conjunto de ideas, y las versiones del Golfo no son la excepción.
Equidad significa que un sistema no debe tratar a las personas de forma distinta por características irrelevantes para la decisión, como la nacionalidad o el género, salvo que exista una razón legítima. Transparencia significa que las personas afectadas por una decisión deben poder saber que intervino la IA y, en términos comprensibles, por qué el resultado fue el que fue. Privacidad significa que los datos sobre las personas se recogen para un fin declarado, se guardan de forma segura y no se usan para otra cosa sin consentimiento o sin base legal. Rendición de cuentas significa que una persona o función designada es responsable de cada sistema; "lo decidió el algoritmo" nunca es una respuesta. Supervisión humana significa que, en las decisiones con consecuencias reales, una persona puede revisar, cuestionar y revocar lo que hace el sistema, y dispone del tiempo y la información para hacerlo.
Ninguno de estos principios es ajeno a los valores de la región. La equidad, la honestidad en los tratos, la protección de lo que se nos confía y la responsabilidad personal están profundamente arraigadas en la ética islámica y en las normas sociales del Golfo. La IA responsable les da una forma técnica.
La dirección regional
Los EAU han estado entre los primeros gobiernos del mundo en tratar la IA como prioridad nacional, nombrando a un ministro dedicado a la inteligencia artificial y publicando una estrategia nacional de IA con un horizonte a largo plazo. Tanto Dubái como el gobierno federal han emitido principios y directrices de ética de la IA que las organizaciones pueden usar como referencia, y el país cuenta con una ley federal de protección de datos personales.
Arabia Saudita creó una autoridad nacional de datos e inteligencia artificial, que ha publicado principios de ética de la IA y lidera una estrategia nacional de datos e IA alineada con la Visión 2030. La ley de protección de datos personales del Reino establece reglas para la recogida y el tratamiento de datos personales que toda organización que despliegue IA debe respetar.
Los detalles de estos instrumentos evolucionan, y las organizaciones deben consultar los textos oficiales vigentes y a sus asesores legales. La dirección, sin embargo, es clara y coherente: ambos países quieren que la IA se adopte ampliamente, y ambos esperan que se adopte con responsabilidad.
Dónde fallan las cosas en la práctica
El sesgo rara vez llega como una elección deliberada. Entra a través de datos de entrenamiento que reflejan decisiones, clientes o patrones de contratación del pasado. Un modelo entrenado con quién fue aprobado antes aprenderá a aprobar a personas parecidas. El remedio es examinar los datos antes de que exista el modelo, probar los resultados entre distintos grupos una vez que exista y seguir probando tras el despliegue, porque el comportamiento se desvía a medida que cambian los datos.
La supervisión suele fallar en silencio. Un revisor humano que ve trescientas recomendaciones de IA al día y dispone de treinta segundos para cada una no está supervisando; está firmando. La supervisión real exige una carga de trabajo manejable, autoridad y la capacidad de ver el razonamiento del sistema.
Los proveedores son un tercer punto débil. Comprar un producto de IA no transfiere la responsabilidad por sus resultados. Las organizaciones deben preguntar a los proveedores cómo se entrenaron los modelos, qué pruebas se hicieron y qué datos salen del país.
Una lista práctica de verificación de gobernanza
- Mantenga un inventario de todos los sistemas de IA en uso, quién es su responsable y qué decisiones afectan.
- Clasifique los sistemas por riesgo: un chatbot que responde preguntas sobre horarios de apertura no es un sistema que filtra candidatos a un empleo.
- Para los sistemas de mayor riesgo, documente las fuentes de datos, pruebe las disparidades entre grupos y registre los resultados.
- Defina quién puede revocar la decisión del sistema y asegúrese de que dispone del tiempo y la información para hacerlo.
- Informe a las personas cuando se use IA en decisiones que les afecten y ofrézcales una vía de apelación.
- Revise cada sistema al menos una vez al año y siempre que cambien los datos o el uso.
Cómo empezar
Comience por el inventario; a la mayoría de las organizaciones les sorprende lo que encuentran. Nombre un pequeño grupo multidisciplinar con personas de tecnología, área legal, operaciones y alguien que represente a las personas afectadas, con el mandato de clasificar los sistemas por niveles y fijar reglas para el nivel más alto. Escriba las reglas en unas pocas páginas, no en cien. Después aplíquelas de principio a fin a un sistema de alto riesgo, aprenda de la experiencia y extiéndalas. La buena gobernanza tiene menos que ver con los documentos que con los hábitos, y los hábitos se construyen sistema a sistema.
