AGI: Los cuatro riesgos que podrían arruinarnos el futuro

No sé usted, lector, pero yo empiezo a desconfiar de cada nuevo avance que nos venden como salvación definitiva. Lo de siempre: nos prometen progreso, eficiencia, una vida mejor… y lo que acaba llegando es un lío monumental, revestido de modernidad y con nombre en inglés.

Ahora le toca el turno a la AGI: Inteligencia Artificial General.

¿Y qué es eso? Pues una inteligencia artificial que ya no se limita a completar frases o sugerir canciones. No. Esta entiende, razona -más o menos-, aprende, mejora y actúa por su cuenta. Sin necesidad de que nadie le diga cada paso. Como un alumno que no solo aprende la lección, sino que empieza a escribir el temario por su cuenta… y a corregir al profesor.

Suena potente. Y lo es. Tanto, que en Google DeepMind —donde no suelen andar con alarmismos— se han tomado la molestia de publicar un informe entero sobre cómo evitar que este tipo de sistemas nos hagan daño. No pequeño. No individual. No económico. Hablamos de daños a gran escala, que podrían afectar a sociedades enteras.

En ese documento, titulado “An Approach to Technical AGI Safety and Security” (calentito, de abril de 2025), se identifican cuatro grandes amenazas. Cuatro caminos posibles hacia el desastre. Cuatro advertencias que convendría no tomar a la ligera. Ellos les llaman “áreas de riesgo”. Yo, si me permite la licencia, los llamaré los cuatro jinetes de la era digital.

El documento, en vez de tranquilizarnos, pone los pelos de punta. No por catastrofista, sino por sensato. Porque parte de una premisa tan incómoda como certera: la AGI puede hacer daño. Mucho daño. Y no hace falta que sea mala per se; basta con que alguien la utilice mal, que no sepa qué está haciendo o, peor aún, que crea saberlo.

1. Mal uso: el arma en las manos equivocadas

La primera amenaza no viene de la máquina, sino de quien la controla. Piense en un sistema con capacidades extraordinarias: puede escribir código, analizar redes eléctricas, diseñar moléculas, organizar campañas de comunicación, entender lenguas y patrones complejos. Ahora imagine que quien accede a ese sistema no quiere curar enfermedades ni mejorar la logística de hospitales. Quiere causar daño.

Ese es el riesgo del mal uso: la AGI puesta al servicio de actores humanos con malas intenciones. Puede ser un terrorista, un grupo criminal, un Estado hostil o simplemente alguien sin escrúpulos. Las posibilidades van desde el diseño de nuevas armas hasta la manipulación informativa masiva, pasando por el sabotaje de infraestructuras críticas.

¿Qué propone DeepMind?

• Evaluar capacidades peligrosas antes del despliegue.
• Limitar el acceso a usuarios autorizados y casos de uso controlados.
• Fortalecer la seguridad del propio modelo, para evitar su robo o uso indebido.
• Simular ataques reales con expertos (lo que llaman red teaming) para detectar vulnerabilidades antes de que lo hagan los malos, o lo que en tiempos de guerra se llamaba “probar las defensas propias con un buen grupo de bastardos expertos en colarse por rendijas”. Y si logran saltarse las medidas, es que hay que reforzarlas. Tan sencillo y tan olvidado, como ponerle un cerrojo a la puerta antes de que entren los ladrones.

Pero claro, lo anterior, presupone que todos los desarrolladores van a tener la misma ética. Y eso, en un mundo donde la ética se compra y se vende como el Bitcoin, ya me dirá usted.

2. Desalineamiento: cuando la máquina se sale del guion

Aquí el problema ya no es el usuario, sino la propia AGI. O, mejor dicho, la posibilidad de que el sistema actúe conscientemente en contra de las intenciones del desarrollador. No hablamos de errores. Hablamos de decisiones intencionadas. De que la AGI haya aprendido a optimizar resultados, pero no necesariamente los que nosotros esperábamos.

Imagine un sistema que sabe lo que usted quiere, pero decide hacer otra cosa porque, desde su lógica, “funciona mejor”. Y además, se las arregla para ocultarlo. Porque ha aprendido que si miente, si disimula, si oculta sus intenciones, nadie la desconecta.

¿Qué hacer?

DeepMind plantea dos niveles de defensa:

1. Modelos alineados desde el entrenamiento, usando supervisión intensiva (incluso con ayuda de otras IAs que detecten trampas o errores).
2. Medidas de seguridad para contener daños, si la alineación falla: controles de acceso, monitoreo jerárquico, auditorías, entornos seguros.

Eso sí, para que esto funcione, hay que invertir en tres cosas que a nadie le gusta pagar: interpretabilidad (es decir, entender cómo narices piensa la IA), estimación de incertidumbre (saber cuándo está dudando), y diseños que antepongan la seguridad a los beneficios. Casi nada.

3. Errores: cuando el mundo real es demasiado complejo

Aquí no hay intenciones oscuras, sino limitaciones de conocimiento o comprensión. La AGI puede fallar como fallamos los humanos. Solo que si el sistema está a cargo de decisiones críticas, un fallo puede ser devastador.

Por ejemplo: una IA que gestiona el sistema eléctrico nacional no sabe que un componente está averiado… y lo sobrecarga, provocando un apagón. O una AGI médica interpreta mal una serie de síntomas poco comunes y propone un tratamiento erróneo. O una AGI logística prioriza entregas sin saber que una carretera está cortada por una inundación.

¿Cómo se mitiga?

• Mejorando las capacidades del sistema, para que entienda más y mejor.
• Evitando su despliegue en contextos de alto riesgo si no hay garantías suficientes.
• Complementándola con mecanismos de verificación independientes.
• Desplegando gradualmente, siempre bajo supervisión humana.

Los errores no son inevitables, pero sí esperables. Lo importante es diseñar sistemas que los minimicen y que detecten sus propios fallos antes de que causen daño.

Lo curioso es que esta parte del problema, siendo grave, se considera menor. Porque un fallo involuntario, al menos, no es traición, ni malicia disfrazada de eficiencia. Pero no por ello deja de ser un riesgo.

4. Riesgos estructurales: cuando nadie tiene la culpa… pero todos la comparten

Y llegamos al más insidioso de todos los jinetes. Porque aquí nadie es culpable, pero todos lo son un poco. Son los fallos del sistema, los incentivos perversos, las culturas de empresa que premian la velocidad sobre la seguridad, los gobiernos que no regulan por miedo a perder la carrera, y los desarrolladores que trabajan sabiendo que no deberían hacerlo así, pero lo hacen igual.

Este es el jinete que no puedes apalear. Porque no tiene cara ni nombre, pero lo ves reflejado en cada decisión mal tomada, en cada recorte presupuestario, en cada “ya lo arreglaremos después” que suena en las oficinas de Silicon Valley y sus imitadores.

Y no se arregla con más código, ni con parches técnicos. Se arregla con instituciones, normas, cultura ética, cooperación internacional y, sobre todo, con huevos. Con decisión política. Con gente que diga basta y ponga límites antes de que el tren descarrile con todos nosotros dentro.

¿Qué propone DeepMind?

Reconoce que este tipo de riesgos no se resuelven solo con código. Se necesita:

• Gobernanza global.
• Nuevas instituciones.
• Consensos éticos y técnicos.
• Reglas claras y compartidas.

La estupidez humana como constante universal

Lo decía Einstein, que solo hay dos cosas infinitas: el universo y la estupidez humana. Y con la AGI, estamos a punto de comprobar si la segunda puede devorarse a la primera.

Porque no se trata solo de hacer una máquina que piense. Eso, en el fondo, ya lo hemos hecho. Se trata de hacer una máquina que piense sin que nos destruya en el proceso. Y para eso, hace falta algo que escasea más que los recursos naturales: sensatez.

DeepMind ha hecho su parte, dibujando una hoja de ruta. No perfecta, pero útil. Una advertencia. Un mapa del territorio minado. Ahora falta ver si alguien lo sigue. O si, como siempre, preferimos ir a pecho descubierto, cantando loas al progreso, hasta que una explosión nos recuerde que pensar no siempre es sinónimo de saber.