Esta publición analiza con profundidad la necesidad urgente de desarrollar un marco de gobernanza para la superinteligencia, un adelanto en tecnología de inteligencia artificial (IA) que se anticipa superará en capacidades a la inteligencia artificial general (AGI) y podría transformar radicalmente diversos sectores. Se prevé que, en menos de una década, estos sistemas alcanzarán y superarán el nivel de habilidad de los expertos en la mayoría de los dominios, realizando actividades productivas equivalentes a las de las corporaciones más grandes de hoy en día.
Ante este panorama, el documento destaca los riesgos y beneficios potenciales de la superinteligencia, comparándola con tecnologías disruptivas anteriores como la energía nuclear y la biología sintética. La capacidad de estas tecnologías para cambiar el curso de la humanidad es significativa, y gestionarlas correctamente es crucial para asegurar un futuro próspero y minimizar los riesgos existenciales.
Para enfrentar estos desafíos, se propone una serie de medidas esenciales para la gobernanza de la superinteligencia. Primero, es fundamental la coordinación entre los principales esfuerzos de desarrollo para garantizar que la creación de superinteligencia se realice de manera segura y que su integración en la sociedad sea fluida. Esto podría incluir proyectos dirigidos por gobiernos o acuerdos a través de nuevas organizaciones internacionales que limiten el crecimiento de las capacidades de la IA.
Además, el documento sugiere que eventualmente será necesario establecer un organismo internacional, similar al Organismo Internacional de Energía Atómica (OIEA), que supervise los esfuerzos de superinteligencia. Este organismo tendría la autoridad para inspeccionar sistemas, exigir auditorías, probar el cumplimiento con los estándares de seguridad y restringir los niveles de despliegue y seguridad de estos sistemas avanzados.
Otro aspecto clave abordado es la capacidad técnica necesaria para garantizar la seguridad de la superinteligencia. Se menciona que aún existen cuestiones abiertas en investigación que requieren un esfuerzo conjunto para desarrollar soluciones efectivas y seguras.
El documento también resalta la importancia de permitir que compañías y proyectos de código abierto desarrollen modelos de IA por debajo de un umbral de capacidad significativo sin la necesidad de regulaciones estrictas, aunque con un enfoque cuidadoso en sistemas superiores que poseen un potencial disruptivo mayor.
Finalmente, se aboga por una fuerte supervisión pública y decisiones democráticas en la gobernanza de los sistemas de IA más potentes, sugiriendo que la configuración y los límites de estos sistemas deberían ser decididos de manera democrática a nivel global.