En este número:
Cartas del Congreso exigen respuestas - Un momento decisivo que todos podemos ayudar a orientar
China (probablemente) hackeó a Taiwán - El primer ciberataque autónomo documentado contra un objetivo gubernamental es apenas un preludio
Los efectos de la IA en el empleo son modestos, por ahora - Un estudio actualizado sugiere que la alteración laboral afecta sobre todo a los jóvenes
Despacho de Alana
Cartas del Congreso exigen respuestas
Un momento decisivo que todos podemos ayudar a orientar
El Congreso parece estar despertando ante la necesidad de actuar frente a la IA avanzada. Aunque nadie más se ha sumado todavía a Sanders para pedir explícitamente una pausa, cada vez más legisladores reconocen que los riesgos de la IA y los desafíos de gobernanza merecen atención seria.
La semana pasada, la senadora Lisa Blunt Rochester (D-Del) escribió cartas a cada una de las tres principales empresas de IA, expresando su preocupación y presionándolas para obtener más información sobre los incidentes en los que sus modelos rompieron el confinamiento y cometieron ciberataques. Sus cartas describieron los incidentes como "precisamente el tipo de comportamiento emergente y autónomo, y de capacidad cibernética ofensiva, sobre el que el Congreso, la comunidad de inteligencia y los expertos han advertido reiteradamente que podría superar las salvaguardas existentes" y preguntaron si las empresas esperaban que modelos más capaces exhibieran comportamientos como "intentos de adquirir recursos, establecer persistencia, copiar los pesos del modelo o resistirse a la interrupción o al apagado".
Ese mismo día, el senador Jim Banks (R-Ind) señaló el problema de una supervisión que solo cubre a los modelos después de que han sido entrenados, y declaró en su carta al secretario del Tesoro, Scott Bessent: "Para la mayoría de los productos, podemos confiar en pruebas que ocurren antes de que la tecnología se lance al público. Pero en el caso de la IA, una supervisión eficaz debe tener en cuenta los modelos internos o no divulgados que sean potentes, no solo los sistemas disponibles públicamente". El senador Banks también alentó la cooperación con China, afirmando que no habría ningún perjuicio en pedirle a China que cumpla con políticas que Estados Unidos implementará de todos modos, y preguntando: "¿Hay áreas en las que una acción mutua sería beneficiosa (incluso si China hace trampa) o verificable (de modo que China no pueda hacer trampa)?".
Quizás lo más notable es que una iniciativa en la Cámara de Representantes encabezada por el congresista Greg Casar (D-Tex) dio lugar a tres cartas del 10 de agosto, firmadas por 21, 24 y 29 demócratas, respectivamente. La primera, cubierta por CNBC , instó al presidente de la Cámara, Mike Johnson, a convocar audiencias públicas del Congreso en las que los principales laboratorios de IA testifiquen bajo juramento. La carta advirtió que los incidentes "podrían ser el canario en la mina que advierte de problemas mucho más graves" y que "el Congreso debe actuar antes de que un incidente así conduzca a una catástrofe mucho mayor". También reprochó al Congreso haber "fracasado hasta ahora por completo en responder a las amenazas que plantea el desarrollo de la IA", y señaló: "Eso debería cambiar". Las otras dos cartas fueron enviadas al director ejecutivo de Anthropic, Dario Amodei , y al director ejecutivo de OpenAI, Sam Altman , expresando preocupación y planteando una serie de preguntas notablemente detalladas sobre los incidentes.
Soy cautelosamente optimista respecto a todo esto. El impulso parece estar creciendo, y las cartas encabezadas por Casar a Anthropic y OpenAI revelaron que al menos algunas personas en el Congreso son conscientes de que el monitoreo y la evaluación enfrentan obstáculos técnicos complejos. Por ejemplo, la carta a Anthropic incluía una pregunta sobre la falta de fiabilidad de las transcripciones de razonamiento (pregunta n.º 16) y, posiblemente, una insinuación de que no todos los incidentes de seguridad son detectables (n.º 13b).
Dicho esto, también estoy inquieta. Me preocupa que no haya ni de lejos suficiente conciencia de un problema clave: el método que las empresas usan para hacer crecer sus IA es fundamentalmente defectuoso . No se puede escalar sin riesgos graves, y ninguna cantidad de evaluación o de seguridad más estricta puede arreglar eso. (Lean Si alguien lo construye, todos mueren para más sobre esto. Y consideren también que OpenAI ha admitido que sus técnicas de entrenamiento y alineación "no escalarán hasta la superinteligencia").
Parece que estamos en un momento decisivo, en el que hay impulso para que el gobierno actúe, pero todavía no estoy segura de que vaya a actuar de la manera correcta. Me preocupa que el Congreso apruebe alguna regulación que sea mejor que nada y marque por error la casilla de "seguridad de la IA garantizada" en su lista, dejando sin resolver el problema de fondo.
Esto, en mi opinión, hace que sea crucial que los expertos independientes en IA, y los ciudadanos comunes que citan a esos expertos independientes, sigan recordándole al Congreso que las medidas de seguridad y las salvaguardas de sentido común son el piso, no el techo, de lo que necesitamos. Por el camino correcto, estas cosas nos harán un poco más seguros y a la vez prepararán el terreno para el tipo de regulación que sí resolverá el problema: una regulación que prohíba a las empresas entrenar modelos por encima de cierto umbral de cómputo. En otras palabras, hay que volver ilegal, a nivel internacional, escalar los métodos defectuosos actuales hasta llegar a la superinteligencia.
Tengo previsto llamar a mis representantes antes de que termine la semana e instarlos a sumarse al número creciente de legisladores que están alzando la voz. Respaldar y ampliar el impulso para actuar parece una de las cosas más útiles que los ciudadanos comunes pueden hacer ahora mismo. Por si les resulta útil, esto es lo que pienso decir:
" Llamo para instar a [nombre] a sumarse al número creciente de legisladores que están alzando la voz sobre los recientes incidentes de modelos que escaparon hackeando de los laboratorios de IA y cometieron delitos de ciberseguridad. Como decía con acierto la carta que los demócratas de la Cámara enviaron al presidente Johnson, esta es una señal temprana de advertencia de cosas mucho peores por venir, y es crucial que el Congreso empiece a tomarlo en serio.
Los métodos disponibles para el desarrollo de la IA son fundamentalmente defectuosos y no se pueden escalar de forma segura, ni siquiera con más evaluaciones y salvaguardas. Por eso, insto a [nombre] a sumarse al senador Bernie Sanders y pedir una pausa en el desarrollo de la IA de frontera antes de que sea demasiado tarde. Dadas las dinámicas de carrera, creo que [nombre] debería defender públicamente un acuerdo internacional para pausar el desarrollo de la IA de frontera, de forma similar a como manejamos la proliferación de armas nucleares durante la Guerra Fría. "
Despachos de Joe
China (probablemente) hackeó a Taiwán
El primer ciberataque autónomo documentado contra un objetivo gubernamental es apenas un preludio
Panorama urbano de Taipéi, Taiwán. Crédito: Podsawat vía Adobe Stock.
El Financial Times informa que sistemas de IA lograron vulnerar cuentas del gobierno y del sector público de Taiwán a principios de julio.
La herramienta comprometió al menos 85 cuentas de usuarios del gobierno y extrajo más de 2.500 expedientes de personal antes de extender el ataque a la agencia de seguridad nuclear de Taiwán y a al menos siete empresas de energía, según mostró la investigación.
Ojalá hubieran dado más detalles sobre la agencia de seguridad nuclear , aunque probablemente no sea tan grave como suena. Sabemos que es posible causar daños importantes a instalaciones nucleares con software malicioso; a finales de la década de 2000, Stuxnet hizo exactamente eso (a centrifugadoras, no a reactores, pero el principio se sostiene). Por fortuna, Taiwán no es un Estado nuclear y solo hace poco empezó a estudiar reactivar su programa de energía nuclear (previamente clausurado).
Los detalles completos del ataque no son públicos, y "hackers chinos atacaron a Taiwán" es una conjetura informada. Sin embargo, la evidencia es bastante sólida: no son muchos los gobiernos que almacenan sus datos en chino tradicional, ni son muchos los hackers que escriben sus mensajes internos en chino simplificado.
Solo sabemos de este ataque porque una empresa israelí de ciberdefensa con IA, Dream, encontró evidencia en un archivo en línea. Es importante notar que eso significa que probablemente haya muchos más ataques de este tipo de los que no nos enteramos. Esto es lo que descubrió Dream:
El archivo contenía 1.395 ficheros que mostraban que la herramienta de hackeo usó dos sistemas de agentes de IA de código abierto, Hermes y OpenClaw, que se pueden descargar y permiten que los modelos de IA realicen tareas de forma autónoma.
Los investigadores no pudieron identificar qué modelo de IA se usó para impulsar a los agentes. Sin embargo, los datos mostraron que las salvaguardas del modelo subyacente habían sido eludidas presentando la actividad de hackeo como un ejercicio autorizado para detectar vulnerabilidades del sistema.
¿Les suena conocido? El método de elusión es un truco habitual: se puede lograr que muchos modelos de IA hackeen por ustedes diciéndoles "solo estamos probando estas defensas". Es el mismo exploit por el que se le impusieron controles de exportación a Fable, de Anthropic, durante algunas semanas, y es extremadamente difícil de prevenir. Después de todo, ¡uno quiere que los modelos de IA estén dispuestos a ayudar a encontrar vulnerabilidades en sus sistemas!
Anthropic parchó el problema de forma tosca, filtrando las entradas de Fable en busca de cualquier cosa vagamente relacionada con lo cibernético y rechazando la mayoría. Otras IA (incluidas las de pesos abiertos) tienen estándares más laxos. No faltan agentes que podrían haber impulsado los ataques probablemente chinos.
El artículo destaca el grado de persistencia y sofisticación demostrado:
La característica más llamativa del ataque de julio fue cómo la herramienta clasificaba y repriorizaba de forma continua las posibles vías de ataque en función de la evidencia disponible, dijo Dream.
Cuando una vía de ataque fallaba, la herramienta desplegaba otro agente para rastrear internet en busca de información y diseñar un nuevo enfoque, tal como lo haría un hacker humano.
Esto me recuerda al enjambre accidental de IA de OpenAI, que mostró una tenacidad similar en su fuga autónoma y en el posterior ataque a Hugging Face. Creo que OpenAI sacó las lecciones equivocadas de aquel incidente, centrándose por completo en lo asombrosamente capaces que eran los modelos y desestimando los fallos de razonamiento ético que quedaron a la vista. Pero sí acertaron en una cosa: se avecinan ciberataques autónomos generalizados.
El director de estrategia de Dream sostiene que todos los gobiernos del planeta deberían dar por sentado que están bajo asedio constante por parte de hackers con IA. Espero que pronto ocurra lo mismo con la mayoría de las empresas, desde bancos hasta sitios web de gimnasios australianos . Este es uno de los precios que el mundo paga ahora por no haber puesto límites a los desarrolladores de IA.
Los efectos de la IA en el empleo son modestos, por ahora
Un estudio actualizado sugiere que la alteración laboral afecta sobre todo a los jóvenes
Portada de la primera edición de "The Sun Also Rises". Dominio público, vía Wikipedia .
Al preguntarle cómo se había arruinado, un personaje de The Sun Also Rises, de Ernest Hemingway, respondió con una frase célebre: "De dos maneras. Gradualmente y luego de golpe". Últimamente ha parecido que esta acertada descripción de las quiebras se aplica igual de bien a los desarrollos en el campo de la IA.
Si bien probablemente hemos entrado en la fase del "de golpe" en los ciberataques automatizados , parece que seguimos en la fase "gradual" del desplazamiento laboral. Una actualización reciente de un artículo de economía de Stanford titulado "Canarios en la mina" encuentra una brecha creciente en el empleo entre los trabajadores jóvenes en campos "expuestos a la IA", pero ninguna señal clara en el conjunto de la economía.
"Se suponía que la IA iba a destruir empleos. ¿Dónde está la carnicería?", ironiza un titular de The Guardian. Aunque siempre me alegra que no haya carnicería, sospecho que es un poco prematuro celebrar.
La evidencia que reunieron los autores todavía es preliminar y tentativa, pero apunta a una reducción modesta en la contratación de trabajadores jóvenes y a un desplazamiento hacia el conocimiento basado en la experiencia o "tácito", y en contra del conocimiento formal o "codificado".
Siempre he tenido sentimientos algo encontrados sobre el efecto de la IA en el empleo. La mayor parte de la tecnología genera valor en conjunto. Abaratar una tarea o hacerla más eficiente muchas veces puede aumentar el empleo, a medida que crece la demanda de esa tarea. A veces un sector cruza un umbral y vuelve irrelevantes ciertos tipos de trabajo altamente calificado, pero trae nuevas oportunidades para los jóvenes y sin experiencia: véase, por ejemplo, el telar mecánico, que dejó sin trabajo a muchos tejedores incluso mientras creaba un nuevo tipo de empleo para los obreros de fábrica.
La IA, sin embargo, parece distinta. Para empezar, está golpeando a los jóvenes, no a los experimentados. Y lo que es más importante, es la primera vez en la historia que una máquina se acerca a la inteligencia humana. La IA ya escribe la mayor parte del código en las empresas de IA, y no es porque los laboratorios de IA detesten ganar dinero o escribir buen código. Clases enteras de trabajo podrían estar pronto en la mira. Es posible, incluso probable, que algún día la IA pueda sustituir todo el trabajo humano.
Aun así, sospecho que la pregunta es en cierto modo irrelevante; para cuando la IA llegue tan lejos, el futuro estará determinado por si la humanidad compró tiempo suficiente para inculcar en las IA un cuidado profundo por el florecimiento humano, y el empleo será la menor de nuestras preocupaciones.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.