El «padrino de la IA», Yoshua Bengio, lanza una organización sin fines de lucro para priorizar la seguridad en el desarrollo de sistemas de inteligencia artificial
El científico de la computación Yoshua Bengio, conocido como el «padrino de la IA», ha lanzado una organización sin fines de lucro llamada LawZero, cuyo objetivo es desarrollar sistemas de inteligencia artificial que pongan la seguridad por encima de las prioridades comerciales.
La organización, según un comunicado publicado el martes en su sitio web, fue creada en respuesta a evidencias de que los modelos de IA más avanzados actuales están desarrollando capacidades y comportamientos peligrosos, incluyendo engaño, autopreservación y desalineación de objetivos. «El trabajo de LawZero ayudará a desbloquear el enorme potencial de la IA de manera que reduzca la probabilidad de una serie de peligros conocidos asociados con los sistemas actuales, incluyendo el sesgo algorítmico, el uso intencional indebido y la pérdida de control humano», se indica en el documento.
LawZero se estructura como una organización sin fines de lucro para «asegurarse de que está aislada de las presiones del mercado y del gobierno, que podrían comprometer la seguridad de la IA», según el mismo comunicado.
Bengio es un líder mundial en inteligencia artificial y ganó el premio A.M. Turing en 2018, considerado el Premio Nobel de la Computación, junto con otros pioneros en el aprendizaje profundo como Geoffrey Hinton y Yann LeCun. Su trabajo ha sentado las bases para que las redes neuronales profundas sean un componente crítico de la computación moderna.
¿Cuáles son las principales preocupaciones sobre la seguridad de la IA?
Mientras que la inteligencia artificial ha generado una gran excitación en las industrias —y Bengio reconoce su potencial como impulsor de innovaciones significativas— también ha llevado a crecientes preocupaciones sobre posibles desventajas. Las herramientas de IA generativas son capaces de producir texto, imágenes y video que se propagan casi instantáneamente en las redes sociales y pueden ser difíciles de distinguir de lo real.
Bengio ha instado a放慢 el desarrollo de sistemas de IA para comprenderlos y regularlos mejor. «No hay garantía de que alguien en un futuro previsible no desarrolle sistemas de IA autónomos peligrosos con comportamientos que se desvíen de los objetivos y valores humanos», escribió en un post de blog que anunciaba su firma de una carta abierta de 2023 que llamaba a frenar el desarrollo de algunas herramientas de IA.
Además de ser director científico del Mila (Instituto de Aprendizaje de Montreal), Bengio ahora suma a su currículum el cargo de presidente y director científico de LawZero.
¿Cómo podría lucir un sistema de IA más seguro?
LawZero está reuniendo un equipo de investigadores de IA de clase mundial, aunque no respondió inmediatamente a una solicitud de comentarios sobre quiénes conforman ese grupo. En conjunto, los científicos están trabajando en un sistema llamado Scientist AI, que LawZero describe como una alternativa más segura y segura en comparación con muchos de los sistemas de IA comerciales que se están desarrollando y lanzando hoy en día. Scientist AI no es agéntico, lo que significa que no tiene agencia ni actúa de manera autónoma, sino que responde a la entrada y los objetivos humanos.
«Estos sistemas de IA podrían utilizarse para supervisar a las IA agénticas, acelerar el descubrimiento científico y avanzar en el entendimiento de los riesgos de la IA y cómo evitarlos», dice LawZero. «LawZero cree que la IA debe ser cultivada como un bien público global —desarrollada y utilizada de manera segura hacia el florecimiento humano».
Insights de Evox News: ¿Cómo puede impactar esta noticia tu negocio?
El lanzamiento de LawZero y su enfoque en la seguridad de la IA tiene importantes implicaciones para las empresas. Desde una perspectiva económica, las empresas que desarrollan o utilizan sistemas de IA pueden beneficiarse de una reputación más sólida al asociarse con organizaciones que priorizan la seguridad y la ética. Además, una IA más segura puede reducir los riesgos de litigios, regulaciones costosas o daños a la marca por mal uso de la tecnología.
En términos de ventaja competitiva, las empresas que adoptan estándares de seguridad más altos en sus productos de IA pueden distinguirse en el mercado. Los consumidores y las organizaciones cada vez más valoran la transparencia y la responsabilidad, lo que puede convertirse en un factor clave de decisión.
Finalmente, desde una perspectiva de innovación, la creación de sistemas de IA más seguros abre nuevas oportunidades de mercado y de servicio. Las empresas que lideran en este espacio pueden capturar una parte del mercado que busca soluciones confiables y seguras, posicionándose como pioneras en la industria
