Estudio Revela la Decreciente Fiabilidad de los Modelos de Lenguaje de IA Avanzados
Investigación Conjunta de la Universitat Politècnica de València y la Universidad de Cambridge Expone Tendencias Preocupantes
Un estudio conducido por la Universitat Politècnica de València (UPV) y la Universidad de Cambridge ha revelado una tendencia «alarmante» hacia la disminución de la fiabilidad en los modelos de inteligencia artificial (IA) más recientes, como GPT-4, en comparación con sus predecesores, como GPT-3.
El informe, publicado en la revista Nature, subraya que, a pesar de la proliferación de los grandes modelos de lenguaje en la sociedad moderna, estos no son tan confiables como los usuarios podrían suponer, según detalla la UPV.
La investigación fue liderada por un equipo del Instituto VRAIN de la Universitat Politècnica de València y la Escuela Valenciana de Posgrado y Red de Investigación en Inteligencia Artificial (ValgrAI), en colaboración con la Universidad de Cambridge.
El equipo del instituto VRAIN de la UPV formó parte del ‘red team’ de GPT-4, encargado de identificar fallos y vulnerabilidades en el sistema, así como de evaluar sus capacidades y posibles riesgos asociados.
Entre los investigadores de la UPV que participaron en el estudio se encuentran José Hernández-Orallo, Cèsar Ferri, Wout Schellaert, Lexin Zhou y Yael Moros.
Percepción Humana de la Dificultad
Según Hernández-Orallo, una de las principales inquietudes sobre la fiabilidad de los modelos de lenguaje radica en que su funcionamiento no se alinea con la percepción humana de la dificultad de una tarea.
En otras palabras, existe una discrepancia entre las expectativas de que los modelos fallarán en función de la percepción humana de dificultad y las tareas en las que realmente cometen errores.
«Los modelos pueden resolver ciertas tareas complejas según las habilidades humanas, pero, al mismo tiempo, fallan en tareas simples del mismo dominio. Por ejemplo», señala, «pueden resolver varios problemas matemáticos de nivel de doctorado, pero equivocarse en una simple suma».
El equipo de la UPV y la Universidad de Cambridge examinó tres aspectos cruciales que influyen en la fiabilidad de los modelos de lenguaje desde una perspectiva humana, concluyendo que no existe una «zona segura» donde estos operen sin fallos.
«Los modelos tienden a ser menos precisos en tareas que los humanos consideran difíciles, pero no son 100% precisos ni siquiera en tareas sencillas. Esto implica que no hay una ‘zona segura’ donde se pueda confiar en que los modelos funcionen a la perfección», añade Yael Moros Daval.
De hecho, los modelos más recientes mejoran su rendimiento principalmente en tareas de alta dificultad, pero no en tareas de baja dificultad, lo que «exacerba la discordancia de dificultad entre el rendimiento de los modelos y las expectativas humanas», precisa Martínez Plumed.
El estudio también revela que los modelos de lenguaje recientes son mucho más proclives a ofrecer respuestas incorrectas en lugar de abstenerse de responder a tareas sobre las que no están seguros. Esto puede llevar a que los usuarios, que inicialmente confían demasiado en los modelos, terminen «decepcionados», añade Lexin Zhou.
Sensibilidad a la Formulación del Problema
El estudio también investiga si la eficacia de la formulación de las preguntas se ve afectada por la dificultad de las mismas. Concluye que la actual tendencia de progreso en el desarrollo de modelos de lenguaje y de mayor comprensión de una variedad de órdenes podría no eximir a los usuarios de la necesidad de elaborar enunciados eficaces.
«Hemos observado que los usuarios pueden verse influenciados por ‘prompts’ que funcionan bien en tareas complejas, pero que, simultáneamente, obtienen respuestas incorrectas en tareas sencillas», agrega Cèsar Ferri.
Además de estos hallazgos sobre la falta de fiabilidad de los modelos de lenguaje, los investigadores han descubierto que la supervisión humana no es capaz de compensar estos problemas.
Por ejemplo, las personas pueden reconocer las tareas de alta dificultad, pero a menudo consideran que los resultados incorrectos son correctos en este ámbito, incluso cuando se les ofrece la opción de decir «no estoy seguro», lo que sugiere un exceso de confianza.
Desde ChatGPT a LLaMa y Bloom
Los resultados fueron consistentes en diversas familias de modelos de lenguaje, incluyendo GPT de OpenAI, LLaMA de código abierto de Meta, y BLOOM, una iniciativa de código abierto impulsada por la comunidad científica.
Los investigadores han constatado que los problemas de discordancia de dificultad, falta de abstención adecuada y sensibilidad al ‘prompt’ persisten en las nuevas versiones de familias populares, como los modelos o1 de OpenAI y Claude-3.5-Sonnet de Anthropic.
Los investigadores sugieren un cambio en el diseño y desarrollo de la IA de propósito general, especialmente para aplicaciones de alto riesgo, donde la predicción del desempeño de los modelos de lenguaje, como la detección de sus errores, es fundamental.
Insights de Evox News: Cómo la Decreciente Fiabilidad de la IA Puede Impactar tu Negocio
Esta investigación pone de manifiesto una serie de implicaciones críticas para las empresas que dependen o planean implementar modelos de lenguaje de IA en sus operaciones:
- Riesgo de Errores Costosos: La falta de fiabilidad, especialmente en tareas que parecen simples, puede llevar a errores con consecuencias financieras o de reputación significativas. Las empresas deben ser cautelosas al delegar decisiones críticas a estos sistemas sin una supervisión humana adecuada.
- Necesidad de Verificación y Validación Rigurosas: Antes de implementar modelos de IA, es crucial someterlos a pruebas exhaustivas y continuas. Esto incluye no solo evaluar su rendimiento en tareas complejas, sino también en aquellas que se perciben como sencillas.
- Reevaluación de la Estrategia de IA: Las empresas deben considerar si la automatización completa a través de IA es el enfoque correcto en todas las áreas. En muchos casos, un enfoque híbrido, donde la IA asiste a los humanos en lugar de reemplazarlos, puede ser más seguro y efectivo.
- Oportunidad para la Innovación: La identificación de estas limitaciones en la IA actual abre la puerta a la innovación. Las empresas que puedan desarrollar soluciones que mejoren la fiabilidad y la interpretabilidad de los modelos de lenguaje tendrán una ventaja competitiva significativa.
- Desarrollo de «prompts» más sofisticados y equipos mixtos persona-IA. El desarrollo de una estrategia de «prompts» que sean comprendidos por los modelos de IA, y la creación de equipos de trabajo donde humanos e IA colaboren, puede optimizar la eficiencia del equipo y evitar errores.
