Un nuevo enfoque descentralizado para el entrenamiento de la IA emerge con Macrocosmos
La construcción de modelos de Inteligencia Artificial (IA) ha sido tradicionalmente un proceso reservado para un selecto grupo de grandes empresas tecnológicas, quienes controlan el acceso a los centros de datos masivos, petabytes de información y los complejos protocolos de entrenamiento. Estos modelos permanecen en gran medida opacos, lo que impide que el público comprenda, influya o modifique su funcionamiento interno. Sin embargo, una startup de IA descentralizada llamada Macrocosmos busca cambiar este paradigma.
Con el relanzamiento de Subnet 9 en la red Bittensor – visualizando un subnet como una aplicación móvil dentro de la tienda de aplicaciones Bittensor – Macrocosmos da un paso significativo hacia un futuro más democrático para la inteligencia artificial. La clave de este logro se encuentra en el acrónimo del subnet: IOTA (Incentivized Orchestrated Training Architecture), o Arquitectura de Entrenamiento Orquestrada e Incentivada. Esta estructura permite que cualquier persona con una unidad de procesamiento gráfico (GPU), sin importar su potencia, contribuya al entrenamiento de modelos de IA de vanguardia.
Basado en un innovador enfoque de «enjambre», una estrategia teórica de pre-entrenamiento para la IA, el avance de Macrocosmos soluciona desafíos cruciales relacionados con la compresión de datos y modelos, como se explica en su documento técnico publicado recientemente. En esencia, propone una nueva visión sobre cómo se construye la inteligencia y quién puede participar en este proceso.
«Estamos totalmente enfocados en construir tecnologías descentralizadas competitivas que puedan rivalizar con los laboratorios centralizados», afirmó Steffen Cruz, CTO de Macrocosmos, en una publicación en la red social X.
¿Qué es la IA Descentralizada y por qué es importante?
Para comprender el entrenamiento en enjambre, es esencial diferenciar entre la IA tradicional y la IA descentralizada. En términos sencillos, la IA descentralizada implica que el entrenamiento de un modelo de IA no se realiza en un único lugar ni bajo el control de una sola empresa. En cambio, se distribuye a través de hogares, laboratorios, campus y servidores en todo el mundo. De manera similar a cómo Bitcoin descentralizó el dinero de los bancos centrales, Bittensor y Macrocosmos aspiran a democratizar la inteligencia misma.
Esta descentralización es crucial porque la IA está permeando cada vez más aspectos de nuestras vidas. Influye en las noticias que vemos, los productos que se nos ofrecen, la forma en que compramos, interactuamos, trabajamos e incluso somos contratados. Concentrar este poder en unos pocos sistemas informáticos herméticos plantea riesgos para la privacidad, la equidad y el futuro de la innovación. Al abrir las puertas a la participación pública y al compromiso directo, la IA descentralizada ofrece una nueva forma de alineación, donde los usuarios también son co-creadores.
«Este no es solo un nuevo esfuerzo de investigación para Macrocosmos y Bittensor, sino algo más grande y personal para nosotros», añadió Cruz. «Somos científicos, investigadores y desarrolladores».
Comprendiendo el Enjambre de IA y el Pre-entrenamiento
El entrenamiento en enjambre, implementado por Macrocosmos a través de IOTA, se inspira en la naturaleza. Al igual que un enjambre de abejas, un banco de peces o una bandada de pájaros pueden lograr una navegación compleja sin control centralizado, este innovador subnet permite que miles de máquinas independientes colaboren y coordinen el entrenamiento de un único modelo masivo de IA.
En lugar de obligar a cada participante de la red a descargar y ejecutar el modelo completo – una tarea costosa e impráctica – Macrocosmos utiliza una técnica llamada paralelismo de modelos. Cada miembro del subnet, también conocido como minero, ya que sus acciones «minan» incentivos monetarios que benefician a toda la red, entrena solo una parte del modelo, generalmente unas pocas capas de la red neuronal. A medida que los datos fluyen a través de estas capas individuales, cada minero procesa su porción y pasa la salida hacia adelante. Luego, una revisión inversa ultrarrápida evalúa qué tan lejos estaba el modelo y ajusta los pagos de los mineros en consecuencia.
Este enfoque no solo es más eficiente que los métodos centralizados, sino también más inclusivo. En lugar de requerir hardware de primer nivel, la arquitectura permite que tanto los participantes con baja como con alta capacidad de cómputo contribuyan de manera significativa, rompiendo las barreras de entrada que durante mucho tiempo han mantenido a las comunidades de código abierto al margen del entrenamiento de modelos de IA.
Entrenamiento de IA Centralizado vs. Descentralizado
La siguiente comparación ilustra las diferencias entre el entrenamiento de modelos de IA tradicional y el enfoque de Macrocosmos:
En el entrenamiento centralizado, un modelo se divide en capas que están estrechamente vinculadas a través de GPU dentro de un único centro de datos. Todo está optimizado para conexiones locales de alta velocidad, pero esta configuración es costosa, exclusiva y cerrada.
En contraste, el entrenamiento descentralizado en enjambre distribuye diferentes capas del modelo a través de una red global de colaboradores o mineros. Cada uno de estos individuos maneja una parte de la carga de trabajo y comunica sus resultados a los demás. El sistema de enjambre sincroniza regularmente todas las partes en un único modelo compartido. En lugar de requerir clústeres de computación gigantes, aprovecha un amplio espectro de dispositivos conectados, desde una GPU de escritorio personal hasta configuraciones industriales más grandes.
El resultado: menores costos, mayor transparencia y un modelo de IA construido por muchos, no por unos pocos.
¿Qué hace posible esta alquimia de la IA?
Sin embargo, entrenar modelos de esta manera presenta desafíos. El ancho de banda de Internet es mucho más lento que la fibra óptica dentro de un centro de datos, y los participantes descentralizados pueden desconectarse, intentar engañar al sistema de incentivos o desconectarse sin previo aviso.
Si bien algunos de estos problemas están fuera del control de Macrocosmos, han desarrollado una solución elegante para los problemas potenciales relacionados con los incentivos y las recompensas de los mineros. El diseño de su nueva red IOTA supera tres grandes desafíos:
- Cuellos de botella de ancho de banda: Una técnica de compresión personalizada reduce la transmisión de datos hasta 128 veces, lo que ayuda a sincronizar las actualizaciones incluso con velocidades de Internet domésticas.
- Tolerancia a fallos: Una estrategia llamada Butterfly All-Reduce garantiza que las actualizaciones del modelo se promedien y verifiquen entre muchos contribuyentes independientes, por lo que ninguna deserción individual colapsa el sistema.
- Recompensas justas: Cada contribuyente se mide por su impacto real, utilizando un sistema de recompensas basado en cuánto ayuda cada persona (o computadora) a la red a alcanzar una meta calculando su contribución única. El trabajo honesto se compensa de forma transparente y proporcional.
Por qué es importante el Pre-entrenamiento de IA Descentralizado ahora
Este es más que una actualización técnica: es un cambio filosófico sísmico. Durante años, los proyectos de IA descentralizada se han basado en el entrenamiento centralizado entre bastidores. Macrocosmos finalmente está cambiando eso.
«Ha llegado el momento de que avancemos como comunidad y abordemos nuevos desafíos en el entrenamiento de modelos. Este es un imperativo para Bittensor. La competencia nos pisa los talones», añadió Cruz.
Este esfuerzo por distribuir la computación y la propiedad de la IA a todos los que lleguen a través del entrenamiento en enjambre permite una realidad futura donde la IA no es algo reservado para los corredores de poder de élite, mientras que las sobras inferenciales se gotean a regañadientes a las masas. Es algo colectivo que construimos juntos.
Macrocosmos está sacando el entrenamiento descentralizado del jardín amurallado y cerrado de Big Tech y llevándolo a la naturaleza. Si tienen éxito, el próximo modelo de IA de vanguardia podría no provenir de OpenAI, Google o Meta, sino de un enjambre de nosotros.
Insights de Evox News: Cómo la descentralización del entrenamiento de IA puede impactar tu negocio
La iniciativa de Macrocosmos para descentralizar el entrenamiento de la IA presenta oportunidades y desafíos significativos para las empresas, independientemente de su tamaño o sector.
Ventaja Competitiva a través de la Innovación: La capacidad de participar en el entrenamiento de modelos de IA, incluso con recursos informáticos limitados, democratiza el acceso a la innovación. Las empresas pueden explorar nuevas aplicaciones de la IA, adaptar modelos a sus necesidades específicas y desarrollar soluciones personalizadas que les den una ventaja competitiva.
Reducción de Costos y Mayor Eficiencia: El modelo de «enjambre» reduce la dependencia de costosas infraestructuras de computación centralizadas. Las empresas pueden disminuir sus gastos en hardware y energía, a la vez que aprovechan una red global de colaboradores para acelerar el desarrollo de la IA.
Transparencia y Confianza: La descentralización promueve la transparencia en el desarrollo de la IA, lo que puede generar mayor confianza entre los clientes y socios. Las empresas pueden demostrar su compromiso con la ética y la responsabilidad en la IA al participar en un ecosistema abierto y colaborativo.
Nuevos Modelos de Negocio: La descentralización abre la puerta a nuevos modelos de negocio basados en la colaboración y la economía de tokens. Las empresas pueden monetizar sus datos y experiencia en IA, participar en redes de entrenamiento descentralizadas y crear soluciones innovadoras para sus clientes.
* Adaptación a un Futuro Descentralizado: A medida que la IA se vuelve más ubicua, las empresas que adopten un enfoque descentralizado estarán mejor posicionadas para adaptarse a los cambios del mercado y aprovechar las nuevas oportunidades. La capacidad de colaborar, innovar y adaptarse rápidamente será clave para el éxito en la era de la IA descentralizada
