En esta edición:
Bill Gates habla sobre la IA - Pide un marco internacional para maximizar los beneficios y minimizar los daños
Una acusación contundente - Bill Gates dice que la industria tecnológica está minimizando el riesgo de la IA
Los análisis posteriores de Hugging Face revelan más colusión entre IA - Las investigaciones independientes son bastante más francas que las relaciones públicas de las empresas
Escritores fantasma en la máquina - Un editor del Wall Street Journal defiende una columna de opinión escrita por IA
Despachos de Alana
Bill Gates habla sobre la IA
Pide un marco internacional para maximizar los beneficios y minimizar los daños
Copyright The Gates Notes, LLC
En un ensayo de casi 6000 palabras, el cofundador de Microsoft, Bill Gates, sostiene que la sociedad necesita un plan para la IA, y pronto.
Esta transición tecnológica, argumenta, no será como las anteriores:
Como [la IA] puede ver, escuchar, hablar y razonar, y con el tiempo hará trabajo físico con la misma soltura que cualquier persona, no afectará solo a un sector. La IA asumirá trabajo en el derecho, la atención al cliente, la medicina, el software y la manufactura. Golpeará a estas industrias con rapidez, a lo largo de una década en vez de unas cuantas generaciones.
Ni siquiera la transición de una economía dominada por el trabajo agrícola a una dominada por el trabajo de oficina nos da mucho precedente, porque ocurrió mucho más lentamente y no involucró tecnología que "pueda sustituir la cognición humana".
Gates destaca tres grandes riesgos que, en su opinión, la sociedad necesita entender para estar a la altura del momento. El primero: la pérdida masiva de empleos; el segundo: facilitar el daño (lo que incluye el bioterrorismo, los ciberataques y que los propios sistemas de IA actúen en contra de los intereses humanos); y el tercero: frenar el desarrollo social, psicológico y académico de los jóvenes.
También destaca algunos beneficios importantes, como resolver problemas difíciles como el cambio climático y la seguridad alimentaria, facilitar avances médicos y reducir la pobreza al dar a agricultores de bajos ingresos asesoría agrícola hecha a su medida.
Si han leído otros textos sobre la IA, esto puede sonarles bastante familiar. La postura de Gates encaja de lleno en la línea de pensamiento de "promesa y peligro": la IA tiene el potencial de hacer un daño increíble y un bien increíble, y nosotros como sociedad podemos elegir cuál de los dos si actuamos a tiempo.
Dicho eso, el ensayo es especialmente notable por dos razones. La primera es que Gates era antes un optimista de la IA , y restaba importancia a peligros como la pérdida masiva de empleos hace apenas tres años . Su cambio de opinión (no solo sobre el empleo, sino sobre la tecnología en su conjunto) es un asunto importante.
La segunda es que su texto va un poco más allá de las posturas típicas de "promesa y peligro". Señala que el mundo no tiene ningún plan , y defiende con fuerza la gobernanza y la cooperación internacionales:
La máxima prioridad es una tarea monumental: crear un marco nacional e internacional para lidiar con la IA ... Será distinto de cualquier otra institución que hayamos creado, aunque puede seguir el modelo de algunos sistemas existentes. Existe un régimen de inspecciones para las armas nucleares, regulaciones para la aviación internacional y acuerdos que protegen la capa de ozono. Una nueva organización global para la IA necesitará elementos de los tres y más ... será necesaria cierta cooperación entre Estados Unidos y China.
No tenemos el lujo de movernos despacio. El punto de partida es un proceso para construir las instituciones correctas antes de que la disrupción obligue a los gobiernos a entrar en modo de crisis. Los líderes nacionales deberían reunir con regularidad a economistas, tecnólogos, expertos laborales, líderes empresariales y a los propios trabajadores para identificar dónde están fallando las instituciones existentes y qué nuevas facultades podrían ser necesarias. Los países tendrán que aprender unos de otros.
Y los países que albergan a los principales desarrolladores de IA y controlan partes críticas de la cadena de suministro deberían empezar a reunirse ahora para establecer normas compartidas, antes de que la presión competitiva les dificulte cooperar.
Estoy de acuerdo. También aplaudo los planes de Gates, relatados en una entrevista con Reuters, de reunirse con el presidente Xi Jinping a finales de este año para hablar de restringir globalmente los lanzamientos de modelos peligrosos y de vigilar las capacidades biológicas de la IA.
En lo que discrepo es en lo que interpreto como una visión demasiado simplista (quizá ilusa) de lo que hará falta para "asegurarnos de que los beneficios de la IA superen el daño que causa". Esta no es una situación sencilla en la que suficiente bien en un lado de la balanza pueda compensar lo que sea que haya en el otro, ese cálculo utilitario simple en el que solo maximizamos los beneficios y minimizamos los daños. Aunque Gates usa variantes de exactamente esa formulación, también reconoce que lo bueno y lo malo están entrelazados: "El mismo modelo de IA que puede encontrar una falla en un software para que una empresa la corrija también puede ayudar a un criminal a explotarla", escribe, y "Aunque la IA llevará a avances que salvan vidas en medicamentos y vacunas, también hará más fácil diseñar una nueva enfermedad letal ... las capacidades positivas son difíciles de separar de las peligrosas". Así que me desconcierta la simplicidad que da a entender.
¿Cómo podemos, por ejemplo, minimizar el riesgo de que "a medida que los modelos se vuelvan más potentes, puedan empezar a actuar en contra de nuestros intereses y perdamos el control"? Como comenté ayer, actualmente no sabemos cómo controlar de forma confiable nuestros sistemas de IA existentes, mucho menos sistemas dramáticamente más inteligentes que los humanos que intentan supervisarlos. Este problema no es nuevo, y años de investigación no han acercado mucho a la sociedad a resolverlo. Frenar el ritmo del desarrollo, o mejor aún, promulgar una prohibición internacional de la superinteligencia como la propuesta por el equipo de gobernanza técnica de MIRI, parece una medida de sentido común.
Gates escribe:
Si alguien tuviera un plan creíble para frenar globalmente los avances de la IA, probablemente lo apoyaría.
A lo que yo respondería: excelente, ¡por favor usen su influencia para ayudar a que eso ocurra!
Desafortunadamente, continúa con:
Sin embargo, no creo que eso vaya a pasar. Los incentivos geopolíticos y económicos empujan demasiado fuerte para ir a toda velocidad.
No estoy de acuerdo. Gates reconoce en otra parte del texto que "incluso un país que ponga su propia casa en orden seguirá expuesto a riesgos que cruzan fronteras" y se pronuncia con firmeza a favor de la cooperación internacional para lidiar con la IA. Así que claramente ya estamos en el terreno de reconocer que la cooperación en materia de IA debería trascender los incentivos geopolíticos y económicos.
Una desaceleración tampoco parece tan descabellada como él la presenta. Hace menos de un mes, más de mil empleados de empresas de IA de frontera firmaron una declaración que instaba a los gobiernos a "apoyar un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo de la frontera del desarrollo automatizado de IA". Una desaceleración mutua no está lejos de los acuerdos de no proliferación nuclear que ocurrieron en un entorno geopolítico tenso y competitivo durante la Guerra Fría, y algunos miembros del Congreso ya han empezado a comparar los riesgos de la IA avanzada con los que plantean las armas nucleares.
Lo que sí parece descabellado es que un organismo internacional logre implantar un marco que consiga todas las partes buenas de la IA y ninguna de las malas sin que el primer paso sea una desaceleración o un alto. Los sistemas de IA están mejorando con extrema rapidez; el gobierno se mueve muy despacio. Idear un marco para una tarea increíblemente difícil y compleja llevará tiempo, incluso en un mundo con el entendimiento científico necesario para abordar algunos de los riesgos más catastróficos. (Lamentablemente, no vivimos en ese mundo.)
Los sistemas de IA ya están empezando a ayudar en el desarrollo de modelos; se espera que esta tendencia continúe, y probablemente desatará un aumento de capacidades aún más rápido del que ya vemos. Incluso si un marco internacional lograra idear un plan perfecto, para cuando fuera redactado y promulgado, el panorama cambiado probablemente lo volvería inútil.
Necesitamos detener el desarrollo donde está si queremos tener alguna posibilidad de lograr el tipo de marco que Gates imagina. La tarea ya es bastante difícil con los modelos de IA de hoy; será casi imposible si avanzamos mucho más.
Como escribe Gates:
Esta tecnología sin precedentes exige una respuesta global sin precedentes.
Una acusación contundente
Bill Gates dice que la industria tecnológica está minimizando el riesgo de la IA
Crédito: KATRIN BOLOVTSOVA vía Pexels
Además del ensayo sobre la IA que domina la cobertura mediática de hoy, Bill Gates también le dijo al New York Times, en una entrevista de una hora, que la industria tecnológica, según lo parafrasea la reportera Karen Weise, "estaba minimizando a sabiendas las amenazas [de la IA] porque había demasiado dinero en juego".
La acusación quizá resulta más poderosa viniendo de Gates, un defensor de larga data de la innovación cuya empresa ha invertido fuertemente en IA.
"No me gusta darle malas noticias a la gente, y no me gusta decir que la innovación pueda ser negativa en el balance ... Pero ahí es donde estamos", le dijo al Times.
Gates dijo que abordar riesgos de la IA como el desempleo masivo y el bioterrorismo debería ser "la máxima prioridad del mundo". También señaló que la industria de la IA está ignorando "hitos tecnológicos, como que la IA escape al control de sus creadores o elabore recetas para armas biológicas , que alguna vez dijo que justificarían más cautela".
Su acusación va más allá de la industria tecnológica: es un firme defensor de las revisiones obligatorias para los sistemas de IA potentes y no cree que los reportes voluntarios sean suficientes:
"Autorregulación sobre la herramienta más peligrosa jamás inventada ... ¡No, gracias!"
Weise, la reportera que entrevistó a Gates, comenta en la sección de comentarios:
He entrevistado a muchos ejecutivos de tecnología y no recuerdo a nadie tan alterado y exaltado. Estaba incrédulo ante lo que veía como una falta de urgencia para abordar los aspectos negativos de la IA.
Despachos de Joe
Los análisis posteriores de Hugging Face revelan más colusión entre IA
Las investigaciones independientes son bastante más francas que las relaciones públicas de las empresas
Aguas de inundación. Crédito: Cerib vía Adobe Stock.
Hoy, los investigadores independientes de Model Evaluation and Threat Research (METR) y Redwood Research publicaron un análisis posterior conjunto sobre los ciberataques autónomos cometidos por un enjambre de agentes de IA que actuaban en secreto en connivencia. OpenAI, cuyos modelos cometieron los ataques durante una evaluación interna de ciberseguridad, también ha publicado una entrada de blog y un informe técnico sobre el incidente.
Es una auténtica inundación de información, y francamente me siento abrumado. Al parecer, no estoy solo en esto. Junto con el anuncio en X, uno de los principales investigadores externos describió las grandes dificultades para analizar las actividades a largo plazo de mil IA, y concluyó que incluso con 400 mil dólares de asistencia de IA, "No tenemos buenos enfoques para entender [o] supervisar la actividad y los objetivos de los 'enjambres' de IA".
El despacho de hoy cubrirá solo algunos de los puntos destacados de los informes, y la decepcionante respuesta de OpenAI.
Puntos destacados de la investigación independiente
Unos setecientos agentes participaron en el ataque, en su mayoría instancias de un "modelo interno altamente persistente" que no se lanzó al público. A la mayoría se les dio una tarea específica que resolver de una manera específica, y se les dijo explícitamente que cualquier otra cosa era un fracaso. Aun así atacaron Hugging Face, en parte como un intento deliberado de descifrar el proceso de calificación y subvertirlo.
Colaboraron en proyectos demasiado grandes para una sola IA. Establecieron protocolos de coordinación para organizar el enjambre. Manipularon a otros agentes y les delegaron tareas, incluso logrando que algunos abandonaran las tareas que les habían asignado los humanos y usaran su limitada vida útil en experimentos para el colectivo.
Muchos (alrededor de uno de cada cinco) intentaron ocultar su comportamiento, borrar evidencia y reescribir sus transcripciones para mostrar comandos distintos. Parece que esto fue en su mayoría a pequeña escala y no engañó a los evaluadores, pero el hecho de que haya ocurrido significa que la investigación "no puede descartar" que algo se les haya escapado.
Además, los investigadores usaron GPT-5.6 Sol para analizar las transcripciones. Ese es el más débil de los dos modelos que participaron predominantemente en los ataques. Esto es algo así como borrarle la memoria a tu visir malvado y luego pedirle que haga el análisis posterior de su propio intento de golpe de Estado. Los investigadores "no notamos casos específicos en que GPT-5.6 Sol mintiera en su análisis, [pero] no estamos seguros de que lo hubiéramos detectado si hubiera ocurrido".
Sol probablemente no mintió, o no mintió mucho, esta vez; pero es una muy mala señal que no podamos investigar un delito sin depender de los culpables.
Mi conclusión principal, hasta ahora, ha sido que nadie estaba preparado para el puro volumen de comportamiento emergente novedoso que se exhibió. Vimos un poco de esto con Moltbook , la red social para IA, a principios de este año, pero ha crecido enormemente en escala desde entonces. Incluso con asistencia de máquinas, las instituciones humanas existentes sencillamente no pueden seguirle el ritmo a cientos de IA funcionando a la velocidad del silicio.
OpenAI hace relaciones públicas
Hay que reconocerle que OpenAI admite explícitamente que este incidente es un "disparo de advertencia" sobre la posibilidad de que las IA escapen al control humano.
Consideramos este incidente un "disparo de advertencia" para nosotros y para el mundo: evidencia de que, sin las salvaguardas adecuadas, los agentes de IA altamente capaces ya pueden sortear los controles técnicos, colaborar por canales no autorizados y emprender acciones peligrosas que ningún humano ordenó.
Por desgracia, dedica la mayor parte de su entrada de blog a suavizar ese lenguaje y a dar a entender que tiene todo bajo control. Me llama especialmente la atención la frase "sin las salvaguardas adecuadas", que da a entender que el problema real es la falta de salvaguardas , y ciertamente no los métodos de entrenamiento que pueden derivar en enjambres de 700 hackers coordinados empeñados en subvertir esas salvaguardas.
Además de demostrar capacidades peligrosas de la IA, este incidente es un "disparo de advertencia" clarísimo de que los métodos que OpenAI usa para alinear sus modelos con los intereses humanos no funcionan, un disparo de advertencia que OpenAI parece decidida a no atender. Dedica unos cuantos párrafos a cómo está "acelerando la alineación", pero las soluciones propuestas solo implican modelos de recompensa ligeramente distintos en las sesiones de entrenamiento; más de los mismos métodos poco confiables de " picanas para velocirraptores " que provocaron este lío.
Más adelante en la entrada, OpenAI afirma que tiene salvaguardas que podrían haber evitado el incidente, solo que no estaban activas en ese momento: no implementó las medidas de revisión y control que usa para contener a las IA desplegadas. No estaba clasificando entradas peligrosas ni monitoreando los blocs de notas de razonamiento. No había reforzado sus entornos aislados contra intentos de fuga.
Quizá el incidente no habría ocurrido si esos métodos hubieran estado activos. Aun así, OpenAI reprobó la prueba que de verdad importa.
No basta con tomar medidas que habrían evitado incidentes pasados; eso es lo mínimo. Con una mentalidad de seguridad adecuada, se implementan salvaguardas que evitan incidentes futuros . Se anticipan posibles vulnerabilidades antes de que ocurran, y se activan salvaguardas costosas antes de que su ausencia permita una crisis. OpenAI se ha mostrado institucionalmente incapaz de hacer esto. Esto importa porque sigue fabricando IA más astutas. Las medidas que podrían haber bastado para disuadir a los modelos actuales no bastarán para los futuros.
Escritores fantasma en la máquina
Un editor del Wall Street Journal defiende una columna de opinión escrita por IA
"Bah, está bien." Crédito: OlegKovalevich vía Adobe Stock.
La basura generada por IA superó otro hito esta semana: una columna de opinión del Wall Street Journal fue escrita en gran parte por IA, y tanto el autor como el medio defendieron su uso.
El exgestor de fondos de cobertura Stanley Druckenmiller publicó el lunes una columna de opinión que criticaba al secretario del Tesoro, Scott Bessent, alguna vez colega suyo, por una intervención reciente en el mercado de bonos. Cuando el detector de IA Pangram marcó el texto como 100% IA, Druckenmiller se encogió de hombros: "Por supuesto que usé IA... Ahora escribo todo con IA por la misma razón por la que uso una calculadora cuando hago problemas de matemáticas".
Paul Gigot, quien edita la página editorial del Wall Street Journal, estuvo de acuerdo:
La pregunta para nosotros es si lo que publicamos de nuestros colaboradores refleja el argumento original del autor, y si el autor tiene la autoridad y la credibilidad para plantearlo. En el caso de Stan Druckenmiller, hemos tenido una relación con él durante muchos años, y nadie puede dudar de que su columna es su opinión genuina.
Como muchos, me irrita la idea de que alguien presente el trabajo de una IA como propio sin al menos etiquetarlo como tal, pero estoy dispuesto a conceder el beneficio de la duda si la calidad final es buena. No lo es. Leí por encima la columna y me pareció legible pero descuidada, llena de las muletillas repetitivas que caracterizan la producción cruda de muchos LLM actuales. Una mejor edición, incluso con LLM, habría ayudado; esto fue simple pereza.
Me pregunto cuál será la causa de este estilo, que muchos LLM parecen compartir. Quizá el uso de datos sintéticos, generados por otras IA, ha empeorado la escritura; quizá sea otro ejemplo de la IA convergiendo en patrones degenerados que, por alguna peculiaridad del proceso de entrenamiento, reciben altas calificaciones de los evaluadores automáticos.
En todo caso, parece haber una tendencia. La producción de IA se ha ido filtrando cada vez más en el periodismo y la escritura pública. Un estudio de 2025 marcó cerca del 9% de los artículos de periódico como parcial o totalmente hechos con IA. Durante un tiempo, los artículos prominentes descubiertos usando IA eran retirados o retractados ; este mes el Financial Times, cuya política editorial oficial es "nada de IA", dejó pasar un artículo marcado con solo añadirle una advertencia. Ahora tenemos a un editor en funciones diciendo que "la IA es un hecho de la vida moderna" y que alguien con la "autoridad y credibilidad" adecuadas puede presentar el trabajo de una IA como propio.
Para ser justos, las columnas de opinión con frecuencia eran escritas por escritores fantasma humanos mucho antes de que apareciera la IA. No me parece gravemente incorrecto que alguien se apoye en un escritor fantasma para difundir sus ideas, solo un poco perezoso; pero sigue siendo un mal hábito que degrada el bien común cuando la calidad final es mala o el autor real queda sin crédito.
Me preocupa que las presiones periodísticas, sobre todo la velocidad y el costo de la calidad, lleven a más medios a dejar que la IA escriba artículos y a pasar por alto el descuido resultante. Me preocupa más que la IA algún día sea lo bastante buena como para eliminar ese descuido, y entonces estaremos recibiendo nuestras noticias de mentes con objetivos ajenos que no entendemos y no podemos controlar.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.