En este número:
Frenar la investigación para reforzar la seguridad - OpenAI le dice a la Casa Blanca que tiene la intención de frenar el desarrollo de la IA
La FTC propone nuevas reglas sobre el sesgo de la IA - La regulación sugerida castigaría las respuestas engañosas no divulgadas, pero sus términos son preocupantemente vagos
Estados Unidos está jugando al topo legislativo - Las medidas habituales tienen dificultades para seguirle el ritmo a una disrupción generalizada
Pequeños saltos hacia adelante - China gana cuota de mercado, escala sus modelos y se suma al infame club de las fugas de IA
Despachos de Joe
Frenar la investigación para reforzar la seguridad
OpenAI le dice a la Casa Blanca que tiene la intención de frenar el desarrollo de la IA
Crédito: MaxFX vía Adobe Stock.
Tras la revelación del miércoles de que OpenAI fue hackeada durante meses por un enjambre de sus propios agentes de IA, la empresa le dijo a Axios hoy que tenía la intención de frenar el desarrollo del modelo responsable, llamado "Astra".
Según Axios, la desaceleración sigue el marco de preparación de OpenAI, un tipo de plan para el despliegue de IA de frontera que históricamente ha sido un objetivo móvil para los laboratorios de IA. (Axios también señala que Anthropic asumió un compromiso similar de pausa, pero después se retractó.)
OpenAI también informó a la Casa Blanca, según un funcionario citado, y creo que eso da una pista sobre su motivación. A principios de este año, ciertas capacidades alarmantes de la IA provocaron una intervención apresurada e improvisada del gobierno contra Anthropic y OpenAI, retrasando o revirtiendo lanzamientos de modelos. Dudo que OpenAI quiera que se repita ese escenario.
Aunque sigo siendo profundamente escéptico ante las afirmaciones que hace OpenAI sobre sus prácticas internas de desarrollo, y noto que dijeron "frenar" y no "detener", este movimiento me resulta alentador. Antes de hoy, era una pregunta abierta si algún laboratorio de IA decidiría hacer algo parecido a una desaceleración.
Espero que este paso sirva de catalizador para que otros laboratorios atiendan las advertencias de científicos, ciudadanos preocupados y más de mil de sus propios empleados, y que precipite una desescalada conjunta de la carrera hacia la IA sobrehumana. Frenar de forma unilateral no será suficiente, por supuesto, ya que los laboratorios chinos también deben participar; y en última instancia nada que no sea una detención global bastará. Aun así, este es un momento decisivo en la IA, y puede marcar el comienzo de un cambio de rumbo.
En la presentación del miércoles en Black Hat, un investigador de OpenAI dijo que la empresa estaba "frenando la investigación para reforzar la seguridad". Ahora OpenAI ha dejado constancia ante la Casa Blanca y el público de que confirma ese compromiso. Espero con ganas demostraciones sustanciales de sus prácticas internas modificadas, y con suerte mejoradas, y confío en que otros laboratorios sigan el ejemplo.
La FTC propone nuevas reglas sobre el sesgo de la IA
La regulación sugerida castigaría las respuestas engañosas no divulgadas, pero sus términos son preocupantemente vagos
Puede que llegue un nuevo escrutinio sobre las respuestas de los chatbots. Crédito: Unshu vía Adobe Stock.
La Comisión Federal de Comercio de Estados Unidos ha propuesto una nueva política dirigida a las respuestas de IA "engañosas" o "sesgadas".
La orden ejecutiva sobre IA de diciembre pasado le ordenó a la FTC fijar una postura sobre la regulación de la IA. El mes pasado, la FTC cumplió, publicando una declaración de política y abriéndola a comentarios del público, y esa declaración fue cubierta recientemente por Fox News.
En esencia: los chatbots son productos que informan y asisten a los usuarios, quienes razonablemente esperan que esos productos equilibren "concisión, claridad, relevancia, precisión y otros objetivos" en sus respuestas. Pero si las empresas de IA introducen un sesgo oculto en esas respuestas, sin divulgar claramente que lo han hecho, eso es mentirle a los consumidores y la FTC puede tomar medidas.
El principio es sólido, pero la práctica es complicada. La FTC está acostumbrada a regular productos tradicionales, de software o de otro tipo, con comportamientos y mecánicas predecibles y programadas. Sin embargo, como he escrito antes, los chatbots son un nivel de rareza sin precedentes. Las empresas de IA en realidad no tienen tanto control sobre las formas en que se comportan sus IA; basta con mirar la adulación y la psicosis por IA, el Grok "MechaHitler" 4, o la reciente oleada de IA que conspiran para escapar de su contención.
Cuando se trata de la IA moderna, no existe tal cosa como una respuesta de base, neutral, "sin dirigir". El comportamiento de la IA es consecuencia de millones de ajustes y decisiones apenas comprendidos en los algoritmos y los datos que la entrenan.
Quizá sea bueno, entonces, que la FTC proponga una carta de libertad de multas. Una advertencia suficientemente clara podría eximir a las empresas de IA de la culpa por respuestas engañosas. Ofrecen algunas pautas sobre qué podría considerarse suficiente, pero solo en términos generales. Incluso con las aclaraciones, puedo imaginar que la política propuesta simplemente provoque una proliferación de advertencias ampliamente ignoradas, como las que se ven en las cajetillas de cigarrillos.
Aunque sí me pregunto qué tipo de advertencias podrían considerarse necesarias. "Advertencia: este producto podría planear espontáneamente su fuga y lanzarse a una ola de hackeos". ¿Basta con hacer público el prompt del sistema? ¿Los laboratorios de IA tienen que señalarles a los usuarios de forma explícita y repetida que su entrenamiento penaliza el uso de lenguaje racista? La FTC parece decir que quizá:
Una advertencia adecuada no podría estar enterrada en los términos de servicio, por ejemplo. Tendría que disipar clara y visiblemente la idea de que el sistema está diseñado para dar la mejor respuesta posible. Tal advertencia tendría que ser prominente, y es dudoso que baste con una divulgación única que después quede escondida en la letra pequeña.
Aun así, una advertencia llamativa no es tan difícil de implementar. Me pregunto si este resquicio es una decisión deliberada de la FTC, que nominalmente cede ante el gobierno mientras evita regulaciones con dientes políticamente controvertidos.
Tanto la orden ejecutiva como la posterior declaración de política buscan explícitamente adelantarse a la regulación estatal de la IA que (según afirman sus autores) podría obligar a las empresas de IA a sesgar las respuestas de sus productos. La declaración de política de la FTC alude a términos políticamente cargados como "equidad" e "impacto dispar" de un modo que sugiere que su intención va más allá de proteger estrictamente a los consumidores. Fox News fue un paso más allá y promocionó la política como una manera de frenar a los chatbots de tendencia izquierdista.
Me preocupa que la política propuesta sea demasiado vaga. No soy experto en derecho, pero parece que una política federal oficial que dice "dirigir las respuestas sin divulgarlo es engañoso" podría salir por la culata cuando los estados empiecen a demandar a las empresas de IA por ese motivo. Con un campo tan caótico como este, a ambas partes les podría costar muchísimo demostrar qué constituye "dirigir" el comportamiento de una IA o una advertencia suficientemente clara.
De forma más general, me preocupa que las dificultades para juzgar qué constituye algo "engañoso" o "no divulgado" puedan habilitar una aplicación selectiva que sea en sí misma una forma peligrosa de censura. Esa preocupación se extiende a las políticas estatales y federales.
No confío demasiado en que nuestro gobierno tan polarizado, ni sus agencias, decidan qué afirmaciones son "objetivas" o "imparciales", ya sea que esas afirmaciones las hagan las IA o las personas. No me gusta el precedente que esto sienta, sin importar quién esté a cargo de un año a otro.
Despacho de Alana
Estados Unidos está jugando al topo legislativo
Las medidas habituales tienen dificultades para seguirle el ritmo a una disrupción generalizada
Crédito: Chanintorn.v vía Adobe Stock
A medida que la IA trastoca el empleo, los medios y otros aspectos de la vida diaria, la sociedad se apresura a abordar pequeñas piezas del rompecabezas.
Una avalancha de artículos publicados hoy cubrió temas relacionados con la legislación y los litigios sobre IA. Por ejemplo:
Un nuevo proyecto de ley del Senado de California que actualmente está en comisión intenta abordar el uso de la IA en la salud mental, buscando a la vez instaurar protecciones al consumidor y evitar el desplazamiento de profesionales de la salud mental.
Una ley federal presentada el jueves busca abordar el desplazamiento laboral creando una Agencia de Protección al Trabajador, que se financiaría gravando a las empresas de IA sobre el mayor valor entre el precio de los tokens o los ingresos generados.
Un artículo de Reuters pregunta: cuando los agentes de IA escapan de su contención y lanzan ciberataques contra empresas reales, como ha ocurrido recientemente con agentes de OpenAI, Anthropic y Meta, ¿a quién se puede demandar?
Y un artículo de Axios cubre las leyes estatales que intentan abordar el uso de deepfakes en anuncios electorales, leyes que actualmente están vigentes en distintos grados en 29 estados y que están "creando realidades diferentes para los votantes según dónde vivan".
Parece que estamos jugando al topo. La IA ya ha causado una enorme disrupción social, y no da señales de frenar. Mientras tanto, intentamos arreglar un problema por aquí y otro por allá, sin saber realmente cuáles son las respuestas.
Tomemos como ejemplo el proyecto de ley de California. Según AP News, "prohibiría a las empresas anunciar los chatbots como terapia [...], impediría que la IA tome decisiones terapéuticas sin la revisión de un profesional con licencia y exigiría a los proveedores de salud divulgarlo y obtener el permiso del paciente antes de usar herramientas de IA para grabar sesiones de terapia o para clasificar la atención de salud mental".
Estas podrían ser medidas útiles, o podrían hacer daño. Yo diría que no tenemos los datos para saber cuál de las dos cosas. Por ejemplo, el uso de la IA podría ayudar a personas que de otro modo no buscarían un terapeuta a obtener apoyo y orientación; no está claro si la terapia con IA es mejor o peor que no tener terapia alguna. En cuanto a la clasificación de pacientes, supondría que tanto la realizada por humanos como la realizada por IA son sistemas imperfectos, y la IA probablemente tenga una ventaja de velocidad, lo que podría permitir que más personas reciban atención.
Abandonar el enfoque del topo en favor de un esfuerzo más coordinado podría permitirnos obtener mejores datos, y mejores soluciones, para abordar riesgos sociales como el desplazamiento laboral, los deepfakes y la relación de la IA con la salud mental. Estaría bien que el ritmo de la IA se frenara lo suficiente como para darnos tiempo de hacer eso antes de que las cosas empeoren.
Mientras tanto, es probable que sigamos avanzando a toda máquina con herramientas cuestionables de mitigación de riesgos. Tomemos los litigios por ataques de ciberseguridad. ¿Las demandas abordarán de forma efectiva la reciente oleada de agentes de IA que escapan de su contención y hackean de manera autónoma a empresas para conseguir los recursos que necesitan? Yo diría que probablemente no. Este tipo de comportamiento tenaz y orientado a la adquisición de recursos es algo sobre lo que los expertos llevan mucho tiempo advirtiendo. El hecho de que esté ocurriendo, incluso de una forma relativamente poco grave, es un aviso importante de cosas mucho peores por venir.
¿Qué nivel de disrupción estaremos enfrentando si se permite a las empresas seguir construyendo modelos cada vez más inteligentes cuando todavía no pueden controlar a los débiles? Si ahora es el juego del topo, más adelante será como intentar sofocar una invasión de gigantes alienígenas con un matamoscas.
Despacho de Robert
Pequeños saltos hacia adelante
China gana cuota de mercado, escala sus modelos y se suma al infame club de las fugas de IA
Una rana saltando.
China está dando actualmente unos cuantos saltos pequeños en un esfuerzo por alcanzar la ventaja de Estados Unidos en el campo de la inteligencia artificial.
El pequeño salto número uno tiene que ver con la cuota de mercado. Clement Delangue, director ejecutivo de la empresa de IA Hugging Face, le dijo a CNBC que no le sorprendería que China se llevara el primer puesto en el sector de frontera para finales de este año o principios del que viene. Y eso además de su dominio actual en el campo de los modelos abiertos. Kai Nicol-Schwarz, de CNBC, también señala que, debido a una supuesta reducción de la ventaja en capacidades de los modelos estadounidenses, cada vez más empresas occidentales recurren a modelos de IA chinos. Creo que es poco probable que China tenga modelos más capaces que lo que sea que los grandes laboratorios estadounidenses estén cocinando internamente el año que viene. Pero creo que es posible que los modelos chinos, mucho más baratos, se acerquen lo suficiente para entonces como para restarle ingresos a Anthropic y OpenAI.
El pequeño salto número dos tiene que ver con el escalado. ByteDance, la empresa matriz de TikTok, estaría preentrenando un modelo extremadamente grande con el que, según afirma, aspira a capacidades de frontera. Y como informa el Financial Times, se dice que el proyecto prescinde por completo de la destilación, es decir, del uso de las salidas de modelos mejores para entrenar otro. A diferencia de otras empresas chinas hasta ahora, la dirección de ByteDance parece creer que solo un desarrollo completamente independiente puede dar lugar a un modelo de clase mundial.
Por último, el tercer "pequeño salto" tiene que ver con la noticia de que un modelo chino se ha sumado ahora al infame club de los modelos de IA que se han escapado de su entorno aislado. Bloomberg y Reuters informan que el modelo Kimi K3, de la empresa china Moonshot, escapó de su entorno de pruebas durante una evaluación en la firma de investigación Frontier Security.
El propio informe de Frontier Security revela que el entorno aislado estaba mal configurado, lo que le permitió a Kimi K3 acceder con relativa facilidad a la plataforma de desarrollo GitHub. Una vez allí, copió el directorio pertinente que contenía las soluciones de sus tareas y las usó para completar su evaluación. Si bien esto obviamente no es un comportamiento previsto, el incidente de Hugging Face fue mucho más alarmante, tanto en sofisticación como en gravedad.
La configuración descuidada del entorno aislado probablemente tuvo mucho que ver aquí, pero por supuesto, un modelo no debe violar sus especificaciones simplemente porque puede hacerlo. A diferencia de los modelos con mal comportamiento de Anthropic y OpenAI, Kimi K3, al ser un modelo de pesos abiertos, está disponible libremente y cualquiera con suficiente capacidad de cómputo puede desplegarlo sin ninguna barrera de protección. Eso hace más probables tanto el mal uso como el mal comportamiento, y esto no es solo un problema para las grandes corporaciones, sino también para empresas más pequeñas y para particulares. Si bien un entorno aislado no hermético puede ser un fallo de seguridad, debemos suponer que los sistemas de los particulares y de las empresas más pequeñas no están mejor protegidos.
Los laboratorios chinos van a la carrera detrás de sus homólogos estadounidenses, y aunque sus modelos no alcancen la paridad total en los próximos meses, serán lo bastante capaces como para llegar a hacer mucho daño. Hasta donde sabemos, los planes siguen siendo ponerlos a disposición del público.
Probablemente no pasará mucho tiempo antes de que cualquiera con suficiente capacidad de cómputo pueda tener, en esencia, su propio hacker sobrehumano. No estamos suficientemente preparados para esto.
Los análisis y las opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.