El Ritmo Acelerado de la Inteligencia Artificial y el Surgimiento del Aprendizaje Continuo
El avance de la inteligencia artificial (IA) en la actualidad es asombroso. En los últimos meses, ha surgido un nuevo y emocionante paradigma: modelos de razonamiento basados en el cálculo durante la inferencia, lo que abre un horizonte completamente nuevo para las capacidades de la IA.
Se percibe un crescendo en el ambiente. La Inteligencia Artificial General (IAG) parece estar en boca de todos.
«Los sistemas que comienzan a apuntar a la IAG están apareciendo», escribió recientemente Sam Altman, CEO de OpenAI. «El crecimiento económico que tenemos por delante parece asombroso, y ahora podemos imaginar un mundo donde curemos todas las enfermedades y podamos realizar plenamente nuestro potencial creativo».
O, como lo expresó Dario Amodei, CEO de Anthropic, hace un par de meses: «Lo que he visto dentro de Anthropic y fuera en los últimos meses me ha llevado a creer que estamos en camino de sistemas de IA de nivel humano que superarán a los humanos en todas las tareas dentro de 2 a 3 años».
Sin embargo, la IA actual sigue careciendo de una capacidad básica que cualquier sistema inteligente debería tener.
Muchos participantes de la industria ni siquiera reconocen que esta deficiencia existe, porque el enfoque actual para construir sistemas de IA se ha vuelto tan universal y arraigado. Pero hasta que se aborde, la verdadera IA de nivel humano seguirá siendo esquiva.
¿Cuál es esta capacidad faltante? La capacidad de seguir aprendiendo.
¿Qué queremos decir con esto?
Los sistemas de IA actuales pasan por dos fases distintas: entrenamiento e inferencia.
Primero, durante el entrenamiento, a un modelo de IA se le muestra un conjunto de datos a partir de los cuales aprende sobre el mundo. Luego, durante la inferencia, el modelo se pone en uso: genera resultados y completa tareas en función de lo que aprendió durante el entrenamiento.
Todo el aprendizaje de una IA ocurre durante la fase de entrenamiento. Una vez que se completa el entrenamiento, los pesos del modelo de IA se vuelven estáticos. Aunque la IA está expuesta a todo tipo de nuevos datos y experiencias una vez que se implementa en el mundo, no aprende de estos nuevos datos.
Para que un modelo de IA adquiera nuevos conocimientos, normalmente debe volver a entrenarse desde cero. En el caso de los modelos de IA más potentes de la actualidad, cada nueva ejecución de entrenamiento puede llevar meses y costar decenas de millones de dólares.
Tómese un momento para reflexionar sobre lo peculiar, y subóptimo, que es esto. Los sistemas de IA actuales no aprenden sobre la marcha. No pueden incorporar nueva información sobre la marcha para mejorarse continuamente o adaptarse a circunstancias cambiantes.
En este sentido, la inteligencia artificial sigue siendo bastante diferente, y menos capaz, que la inteligencia humana. La cognición humana no se divide en fases separadas de «entrenamiento» e «inferencia». Más bien, los humanos aprenden continuamente, incorporando nueva información y comprensión en tiempo real. (Se podría decir que los humanos están constante y simultáneamente haciendo tanto entrenamiento como inferencia).
¿Qué pasaría si pudiéramos eliminar la torpe y rígida distinción en la IA entre entrenamiento e inferencia, permitiendo que los sistemas de IA aprendan continuamente de la forma en que lo hacen los humanos?
Este concepto básico recibe muchos nombres diferentes en la literatura de IA: aprendizaje continuo, aprendizaje permanente, aprendizaje incremental, aprendizaje en línea.
Durante mucho tiempo ha sido un objetivo de los investigadores de IA, y durante mucho tiempo ha permanecido fuera de alcance.
Recientemente ha surgido otro término para describir la misma idea: «entrenamiento en tiempo de prueba».
Como dijo recientemente el CEO de Perplexity, Aravind Srinivas: «El cómputo en tiempo de prueba es actualmente solo inferencia con cadena de pensamiento. No hemos comenzado a hacer entrenamiento en tiempo de prueba, donde el modelo actualiza los pesos para descubrir cosas nuevas o ingerir una tonelada de nuevo contexto, sin perder generalidad e IQ bruto. Será increíble cuando eso suceda».
Aún quedan por resolver problemas fundamentales de investigación antes de que el aprendizaje continuo esté listo para su aplicación generalizada. Pero las startups y los laboratorios de investigación están logrando avances emocionantes en este frente en este momento. El advenimiento del aprendizaje continuo tendrá profundas implicaciones para el mundo de la IA.
Soluciones Parciales y Alternativas
Vale la pena señalar que existen algunas soluciones alternativas para mitigar la incapacidad actual de la IA para aprender continuamente. Tres en particular merecen mención. Si bien cada una de estas puede ayudar, ninguna resuelve completamente el problema.
La primera es el ajuste fino del modelo (fine-tuning). Una vez que un modelo de IA ha sido pre-entrenado, posteriormente se puede ajustar con una cantidad menor de datos nuevos para actualizar incrementalmente su base de conocimientos.
En principio, ajustar un modelo de forma continua podría ser una forma de permitir que un sistema de IA incorpore nuevos aprendizajes a medida que avanza.
Sin embargo, ajustar periódicamente un modelo sigue siendo fundamentalmente un enfoque basado en lotes en lugar de un enfoque continuo; no desbloquea el verdadero aprendizaje sobre la marcha.
Y si bien ajustar un modelo es menos intensivo en recursos que pre-entrenarlo desde cero, sigue siendo complejo, requiere mucho tiempo y es costoso, lo que hace que sea poco práctico hacerlo con demasiada frecuencia.
Quizás lo más importante es que el ajuste fino solo funciona bien si los nuevos datos no se desvían demasiado de los datos de entrenamiento originales. Si la distribución de datos cambia drásticamente, por ejemplo, si a un modelo se le presenta una tarea o entorno totalmente nuevo que es diferente a todo lo que ha encontrado antes, entonces el ajuste fino puede ser víctima del desafío fundamental del olvido catastrófico (que se analiza con más detalle a continuación).
La segunda solución alternativa es combinar alguna forma de recuperación con alguna forma de memoria externa: por ejemplo, la generación aumentada por recuperación (RAG) combinada con una base de datos vectorial actualizada dinámicamente.
Dichos sistemas de IA pueden almacenar nuevos aprendizajes de forma continua en una base de datos que se encuentra fuera del modelo y luego extraer información de esa base de datos cuando sea necesario. Esta puede ser otra forma para que un modelo de IA incorpore continuamente nueva información.
Pero este enfoque no escala bien. Cuantos más nuevos aprendizajes acumule un sistema de IA, más difícil será almacenar y recuperar toda esta nueva información de manera eficiente utilizando una base de datos externa. La latencia, el costo computacional, la precisión de la recuperación y la complejidad del sistema limitan la utilidad de este enfoque.
Una última forma de mitigar la incapacidad de la IA para aprender continuamente es el aprendizaje en contexto.
Los modelos de IA tienen una notable capacidad para actualizar su comportamiento y conocimiento en función de la información que se les presenta en un prompt y que se incluye dentro de su ventana de contexto actual. Los pesos del modelo no cambian; más bien, el prompt en sí mismo es la fuente de aprendizaje. Esto se conoce como aprendizaje en contexto. Es el aprendizaje en contexto lo que, por ejemplo, hace posible la práctica de la «ingeniería de prompts».
El aprendizaje en contexto es elegante y eficiente. Sin embargo, también es efímero.
Tan pronto como la información ya no está en la ventana de contexto, los nuevos aprendizajes desaparecen. Cuando un usuario diferente inicia una sesión con el mismo modelo de IA, o cuando el mismo usuario inicia una nueva sesión con el modelo al día siguiente o a la hora siguiente, todo el aprendizaje en contexto anterior desaparece. Debido a que los pesos del modelo no han cambiado, su nuevo conocimiento no persiste en el tiempo. Esto limita severamente la utilidad del aprendizaje en contexto para permitir un verdadero aprendizaje continuo.
Ventajas Competitivas Duraderas
Una razón importante por la que el aprendizaje continuo representa una posibilidad tan tentadora: podría crear ventajas competitivas duraderas para la próxima generación de aplicaciones de IA.
¿Cómo funcionaría esto?
Hoy, el GPT-4o de OpenAI es el mismo modelo para todos los que lo usan. No cambia en función de su historial con usted (aunque ChatGPT, el producto, sí incorpora algunos elementos de memoria