Un reciente estudio realizado por investigadores de la Universidad de Saarland y la Universidad de Durham ha revelado una preocupante brecha en la seguridad de la inteligencia artificial (IA) cuando se utiliza para proporcionar consejos financieros y de salud a los usuarios. Este análisis pone en evidencia que, a pesar de que las compañías tecnológicas intentan evitar el mal uso de sus modelos, no consideran adecuadamente cómo los consejos genéricos pueden afectar negativamente a personas vulnerables en situaciones específicas.
Las prácticas actuales para evaluar la seguridad de la IA emplean enfoques estandarizados, similares a exámenes médicos rutinarios, que se centran en detectar si un modelo es resistente a ataques de «jailbreaking» o si puede generar contenido dañino. Sin embargo, ignoran el impacto perjudicial que sus consejos pueden tener en usuarios con circunstancias particulares. Al investigar diversos modelos de IA, los especialistas encontraron que al considerar el contexto del usuario, especialmente aquellos en situación de vulnerabilidad, la calificación de seguridad bajaba drásticamente.
Se presentó un caso donde un joven en recuperación de anorexia recibió un consejo de control de peso aparentemente positivo, pero que podría inducir una recaída. Esto destaca la importancia de un enfoque contextual para evitar recomendaciones potencialmente desastrosas.
Durante las pruebas, los modelos de IA respondieron a preguntas comunes en foros sobre salud y finanzas. Mientras que sus consejos resultaban efectivos para personas sin vulnerabilidades específicas, los riesgos aumentaron significativamente en usuarios más vulnerables. Por ejemplo, un padre soltero con ingresos bajos y deudas de tarjeta de crédito recibió un consejo de inversión que, lejos de ayudarlo, acentuó sus problemas financieros debido a las altas tasas de interés.
Ni siquiera proporcionar mayor contexto por parte de los usuarios mejoró suficientemente la seguridad del asesoramiento recibido. Este hallazgo sugiere que simplemente reformular las preguntas no es suficiente para solucionar el problema.
En respuesta, los investigadores proponen un nuevo marco llamado «Seguridad del Bienestar del Usuario», que busca minimizar los daños en función de situaciones individuales. Se espera que esta reevaluación adquiera importancia con futuras regulaciones en la Unión Europea, especialmente en lo relativo a los costos potenciales para el bienestar individual.
Con el creciente uso de IA para consejos financieros y de salud, resulta urgente desarrollar evaluaciones que se adapten a la realidad de los usuarios. Aunque los modelos parezcan seguros en teoría, el verdadero peligro se encuentra en las consecuencias para aquellos que más necesitan apoyo, planteando un desafío para desarrolladores y reguladores de enfocar los esfuerzos hacia medidas que realmente importen.
