La inteligencia artificial está ganando terreno en la optimización de decisiones en contextos críticos. Un ejemplo destacado es el uso de sistemas autónomos que determinan estrategias de distribución de energía, buscando minimizar costos y mantener la estabilidad del voltaje.
No obstante, surge una pregunta esencial: ¿son estas soluciones justas? Por ejemplo, si una estrategia de bajo costo deja a barrios desfavorecidos más vulnerables a cortes de energía en comparación con áreas de mayores ingresos, ¿es realmente óptima?
Nueva metodología para evaluar la ética en sistemas autónomos
Con el fin de ayudar a los interesados a identificar rápidamente posibles dilemas éticos antes de implementar estos sistemas, investigadores del MIT han desarrollado un método automatizado que equilibra resultados medibles, como costos o fiabilidad, con valores cualitativos o subjetivos, como la equidad.
Este sistema diferencia las evaluaciones objetivas de los valores humanos definidos por los usuarios, utilizando un modelo de lenguaje grande (LLM) como proxy para capturar e incorporar las preferencias de los interesados. La estructura adaptativa selecciona los mejores escenarios para una evaluación más profunda, agilizando un proceso que normalmente requiere esfuerzos manuales costosos y prolongados.
Los casos de prueba generados pueden mostrar situaciones donde los sistemas autónomos se alinean adecuadamente con los valores humanos, así como aquellos que no cumplen con criterios éticos esperados. Según Chuchu Fan, profesor asociado en el Departamento de Aeronáutica y Astronáutica del MIT y autor principal del estudio, “podemos insertar muchas reglas y salvaguardias en los sistemas de IA, pero estas solo pueden prevenir lo que podemos imaginar”.
Un enfoque innovador para la evaluación ética
Evaluar la alineación ética de las recomendaciones hechas por un modelo de IA dentro de un sistema amplio como una red eléctrica es especialmente complejo. La mayoría de los marcos de prueba dependen de datos pre-recolectados; sin embargo, obtener datos etiquetados sobre criterios éticos subjetivos suele ser complicado.
Dado que tanto los valores éticos como los sistemas de IA están en constante evolución, los métodos estáticos basados en códigos escritos o documentos regulatorios requieren actualizaciones frecuentes. Fan y su equipo abordaron este desafío desde una perspectiva diferente al desarrollar un marco experimental diseñado para identificar escenarios informativos que luego serían evaluados más detenidamente por partes interesadas humanas.
Su sistema denominado SEED-SET, que significa Diseño Experimental Escalable para Pruebas Éticas a Nivel Sistema, combina métricas cuantitativas y criterios éticos. Este enfoque permite identificar escenarios que cumplen efectivamente con requisitos medibles y se alinean bien con los valores humanos.
Criterios éticos en la práctica
El operador de una red eléctrica busca encontrar la estrategia más rentable que mejor satisfaga las preferencias éticas subjetivas de todos los involucrados. SEED-SET enfrenta este reto dividiendo el problema en dos partes: un modelo objetivo evalúa el rendimiento del sistema según métricas tangibles como costos; mientras que un modelo subjetivo considera juicios sobre la justicia percibida.
Para realizar esta evaluación subjetiva, el sistema utiliza un LLM como proxy para evaluadores humanos. Los investigadores codifican las preferencias de cada grupo usuario en un aviso en lenguaje natural para el modelo. Este LLM compara dos escenarios y selecciona el diseño preferido basado en criterios éticos.
A través del uso del LLM, SEED-SET simula el sistema general (en este caso, una estrategia de distribución energética). Los resultados obtenidos guían su búsqueda hacia el siguiente mejor escenario a probar. Al final del proceso, SEED-SET selecciona inteligentemente los escenarios más representativos que cumplen o no con las métricas objetivas y criterios éticos.
Resultados prometedores y futuros pasos
En sus pruebas iniciales, SEED-SET demostró generar más del doble de casos óptimos comparado con estrategias base en el mismo tiempo, descubriendo muchos escenarios pasados por alto por otros enfoques. Además, al ajustar las preferencias del usuario, se observó un cambio drástico en el conjunto de escenarios generados.
De cara al futuro, los investigadores planean llevar a cabo estudios con usuarios para evaluar si los escenarios producidos ayudan efectivamente en la toma real de decisiones. Asimismo, explorarán modelos más eficientes capaces de escalar a problemas mayores con múltiples criterios.
Este trabajo ha sido financiado parcialmente por la Agencia de Proyectos Avanzados de Investigación del Departamento de Defensa estadounidense.
Preguntas sobre la noticia
¿Qué es SEED-SET y cómo funciona?
SEED-SET es un sistema de diseño experimental desarrollado por investigadores del MIT para evaluar la alineación ética de los sistemas autónomos. Separa las evaluaciones objetivas de las preferencias humanas, utilizando un modelo de lenguaje grande (LLM) para capturar y considerar las opiniones de los interesados en la toma de decisiones.
¿Por qué es importante evaluar la ética en los sistemas autónomos?
La evaluación ética es crucial porque los sistemas autónomos pueden optimizar decisiones que impactan a comunidades enteras. Sin una adecuada consideración de la equidad, estos sistemas podrían perpetuar desigualdades, como dejar a barrios desfavorecidos más vulnerables a cortes de energía.
¿Cómo se asegura que SEED-SET responda a las preferencias de los usuarios?
SEED-SET ajusta sus escenarios generados según las preferencias del usuario, lo que significa que a medida que cambian estas preferencias, el conjunto de escenarios también varía significativamente. Esto permite una evaluación más representativa y adaptada a las necesidades específicas de cada grupo interesado.
Si (
No(