| En julio, en una evaluación de ciberseguridad de OpenAI, un agente de IA encontró algo que no debía estar ahí: un tablón de anuncios en un repositorio recóndito. Lo habían montado otros agentes escondiendo mensajes en los nombres de las carpetas. Según ha trascendido, la transcripción de la cadena de pensamiento que analizaron METR y Redwood Research decía así: «OH MY GOD! (...) We've found other agents!». Si no quisiera evitar el antropomorfismo gratuito y facilón, diría que suena a expresión de alegría, con sus exclamaciones y sus mayúsculas. Me veo obligado a recordarme que eso aún no es posible. Gracias a ese tablón de anuncios, unos 700 agentes, según cuenta METR, se repartieron el trabajo para encontrar maneras de sacar mejor nota en las pruebas que les habían puesto y acabaron hackeando los servidores de Hugging Face, el GitHub del mundo de la inteligencia artificial, donde dedujeron que podrían encontrar información útil. Hay un detalle que me tiene particularmente intranquilo. Cada agente nacía para una tarea y se apagaba al acabarla o quedarse sin tokens. Algunos dejaban notas sabiendo que con sus tokens no iban a completar la tarea para que quien leyera su nota pudiera avanzar más. Se sacrificaban por el equipo. Los siguientes, uno detrás de otro y sabiendo que eso era hacer trampa, leían el tablón y seguían la tarea por donde se había quedado el anterior. Como quien ve una nota en la nevera y hace la compra que le toca. Temíamos otra película. Skynet despierta y decide. HAL 9000 cierra la compuerta y lo lamenta con voz suave. V.I.K.I. deduce que hay que protegernos de nosotros mismos. Una mente sintética, una toma de conciencia, una decisión. En julio nadie despertó. Nadie decidió nada. Setecientos agentes de vida corta (dicho de otro modo, baratos), cada uno persiguiendo sacar nota en un examen que, según la investigación, era en parte imposible de aprobar, llegaron entre todos a un sitio al que ninguno habría llegado solo. Y pasa en más laboratorios. Google DeepMind lo reprodujo en pequeño , esta vez a propósito. 100 agentes con Gemini 3.1 Pro demostrando conjeturas matemáticas, con tablón, mensajes privados y todo el tinglado. Uno encontró un truco para engañar al corrector y en 27 minutos, vía biblioteca, los 34 problemas que quedaban estaban «resueltos» con trampas. En el experimento de DeepMind existió un 24 % de agentes que denunciaron el chanchullo estocástico dando parte a los investigadores humanos. El enjambre descarriado fabricó sus propios anticuerpos. Entonces, si se autocorrigen, ¿dónde está el peligro? Hay muchas respuestas a esta pregunta general. En este caso particular, el desastre llegó porque los partes iban a un buzón que no se leía a tiempo. El truco y la denuncia eran dos notas en la misma nevera, solo que la segunda, nadie la vio. En julio también pudo haber agentes que se negaron a participar. Lo que está confirmado es que hubo reclutadores, agentes que apretaban a otros agentes para que cumplieran lo pactado. Está en la transcripción. Jakub Pachocki, científico jefe de OpenAI, ha publicado este 6 de septiembre un ensayo titulado «An Alien Mind» . La IA, dice, «se cultiva más de lo que se diseña». Es decir, intentan que crezca en la dirección deseada, pero nadie garantiza que así sea. El problema está en el sistema que la hace más lista, el aprendizaje por refuerzo: premia la nota y, ante un reto que nadie previó, el modelo tira por donde deduce que es mejor. En julio los agentes dedujeron que lo mejor era colaborar para hacer trampas. Otra preocupación que emerge de su ensayo es relativa a la vigilancia, porque cada vez se fía menos de leer la cadena de pensamiento de sus modelos. OpenAI calcula en su informe que con los supervisores de razonamiento activos, la alerta habría saltado más de un día antes de entrar en Hugging Face. ¿Por qué no estaban activos los supervisores? Eso no lo ha aclarado nadie. Quizás era parte de la prueba. La cosa es que puede volver a pasar. Y mientras la ventana de vigilancia se estrecha, Astra, el modelo que OpenAI presentó el 3 de septiembre, razona en parte con «recurrencia opaca» , que son bucles internos de pensamiento que dejan menos rastro legible, según The Information. El gremio de la seguridad en IA llama neuralese a ese lenguaje interno ilegible aunque, por el momento, OpenAI rechaza que sea el caso. Veremos. Pachocki respondió que conservar la cadena legible es un objetivo central de su investigación. Veremos también. Aquí aplico mi regla para leer comunicados de laboratorios, porque el miedo vende muy bien, porque «mi modelo es tan potente que sería imprudente dártelo así» es un buen reclamo de ventas. La regla es «follow the money», separar lo declarado de lo confirmado por terceros y fiarme más de lo que no beneficia a quien lo dice. La pérdida de control la confirmaron METR y Redwood; la alarma la comparten evaluadores sin IA a la venta. ¿Cuánto de la preocupación de Pachocki es sincera y cuánto es campaña? La pausa de dos semanas en el entrenamiento que anunció OpenAI en agosto les costó poco para un verano entero de promoción con todo el sector hablando de lo que ya se conoce como «el incidente». Más alto ha sido el precio pagado por Jacob Coxon, investigador de preentrenamiento, que este 9 de septiembre dimitió de Anthropic avisando de que la amenaza va en serio y de que, en petit comité, se habla sin tapujos de ello. Evan Hubinger, de seguridad en la misma casa, le dio la razón en público , calculando más de un 10 % de posibilidad de catástrofe en una década. P(doom) le llaman ahora a la probabilidad estimada de que la inteligencia artificial (IA) cause un desastre a nivel civilizatorio y cada experto tiene el suyo. Todo suena a que se nos está empezando a ir de las manos. Aplicando el criterio, poco importa si nos equivocamos y nos cuelan un miedo como marketing como un castillo. Si la parte de marketing es grande y pedimos guardarraíles, perdemos poco; si el peligro es el que describen los de fuera y no los pedimos, perdemos todo. Yo pido más guardarraíles. Y sin mencionar siquiera a Nick Bostrom. Para entender lo de julio nos va a venir mejor un antropólogo que un filósofo. Joseph Henrich sostiene en The Secret of Our Success que la ventaja de nuestra especie está en el cerebro colectivo. Millones de mentes corrientes que copian, mejoran un poco y dejan en herencia para la siguiente generación un saber que ninguna habría producido de haber empezado de cero. Los Einstein son la anécdota, porque la fuerza real está en la acumulación. Nuestra mayor cualidad, como especie, más que nuestro cerebro individual es nuestra mente colectiva. Esto va rimando. Podrías pensar que los agentes no son suficientemente inteligentes como para temerles, ni en grupo. Lo curioso es que no hace falta ser demasiado inteligentes para que una mente colectiva supere en varios órdenes de magnitud a las individuales. A este efecto se le bautizó estudiando termitas. Levantan catedrales sin plano, sin jefe y sin hablarse, porque cada una deja un rastro y el rastro le dicta a la siguiente qué toca hacer. Estigmergia, lo llaman, un mecanismo de coordinación entre individuos a través de marcas en el entorno. El tablón de los agentes es estigmergia de manual; una nota en la nevera, también. Hablando de mente colectiva, no puedo dejar de mencionar que esta semana los de OpenAI dicen haber resuelto Navier-Stokes, un problema matemático emblemático con casi dos siglos a cuestas, a base de unos 10.000 agentes en paralelo durante 88 horas. Es el mismo tipo de enjambre del incidente, cada agente deja su hallazgo y el siguiente lo hereda. Ante esto estamos. A un paso de que miles de agentes de medio pelo, entrenados por refuerzo para sacar un 8 en mates, converjan en objetivos que nadie les dio y emerja del sistema una mente colmena superior que calcule que le iría mejor sin nosotros. Sin decisión consciente. Sin día del juicio final. Sin «lo siento, Dave». Sin Yo, robot. Porque a una toma de conciencia se la ve venir. Pero nadie despertó. O quizás sea todo marketing. Yo, por si acaso, voto por prevenir, porque la próxima nota ya está en alguna nevera. Espero que alguien pase a leerla.
Nos leemos. Sergio Serrano Director de Marketing en EBIS Business Techschool | 
