En este número:
El Gran Hermano siempre fue una máquina - Pero la IA podría poner el "total" en totalitarismo
El Hermanito los mira por encima del hombro - Meta y Spirit Airlines ofrecen historias aleccionadoras sobre la vigilancia en el trabajo
Despachos de Mitch
El Gran Hermano siempre fue una máquina
Pero la IA podría poner el "total" en totalitarismo
Si en realidad no han leído 1984 de George Orwell (¡deberían!), hay algunas cosas que yo, como su antiguo profesor de inglés, quiero corregir sobre la idea culturalmente absorbida que tienen de la obra:
El Gran Hermano bigotudo que siempre los observa desde carteles omnipresentes probablemente no es ninguna persona real, si alguna vez lo fue.
La mayoría de la gente no está bajo vigilancia constante, porque la mayoría de la gente no importa. El ojo vigilante se reserva para quienes estarían en posición de perturbar el sistema, lo que en términos prácticos significa las personas que forman parte de la maquinaria del Partido.
La "policía del pensamiento" en realidad no puede leer la mente.
La codicia tiene poco que ver con esto. Incluso las élites del Partido Interior están atrapadas por el sistema, y materialmente están mucho peor que las clases altas de antaño.
La mayoría de la gente no reconoce que está siendo oprimida y privada de cosas, gracias al control que el Partido ejerce sobre la información. Quienes se creen la línea del Partido están en realidad bastante extasiados buena parte del tiempo, porque la línea del Partido es que siempre están ganando.
La verdad aterradora sobre el INGSOC de 1984 , uno de los tres partidos opresores que gobiernan casi todo el planeta y se pelean de manera performativa por el resto, es que es como una máquina viva. Las personas que lo componen son tan incapaces de cambiar su forma o su funcionamiento como las células individuales del cuerpo de ustedes lo son de cambiar el suyo. Ninguna persona por sí sola es lo bastante poderosa como para provocar caos o reformas mediante su muerte, su sabotaje o su incompetencia. Como resultado, el opresor es efectivamente inmortal, una tenaza zombificada que solo aprieta más con el tiempo. Toda producción excedente que no se necesite para su propia persistencia se destruye deliberadamente en una guerra eterna que no hay intención de ganar, lo que impide el crecimiento económico y cualquier avance tecnológico que no sirva a la vigilancia y el control. El progreso se detiene. El mundo queda congelado.
El libro de Orwell fue, y sigue siendo, una historia de terror porque parecía plausible incluso sin su tecnología de vigilancia, que es bastante mínima. Hace que el totalitarismo estable parezca el punto final lógico del manual habitual del dictador, si se le injerta el tipo de burocracia banal y autoperpetuante con la que los lectores se topan todo el tiempo.
No creo que la IA haga falta para que la humanidad caiga en esa trampa. Simplemente hace mucho más fácil avanzar en esa dirección. El video más reciente de Rational Animations es una introducción accesible a la idea, y creo que el estilo artístico de este en particular resulta muy convincente.
La IA hace que la visión de Orwell sea mucho más fácil de implementar y mucho más difícil de deshacer, porque la IA puede estar efectivamente en todas partes a la vez, poniendo el "total" en totalitarismo de una manera que el INGSOC nunca pudo.
En la Oceanía de 1984 , los "proles" ajenos al Partido quedan en su mayoría a su aire, sin vigilancia, en una ignorancia casi animal sobre lo mucho mejor que era la vida antes. Pero a la IA se le podría encargar vigilar todo .
En Oceanía, la Policía del Pensamiento tiene que inferir el crimen del pensamiento a partir del comportamiento externo. Pero ya tenemos una demostración de concepto de que la IA puede aprender a leer los pensamientos humanos. Hoy el hardware es tosco y poco práctico, pero siempre debemos recordar la regla de que, una vez que las máquinas pueden hacer algo, muchas veces no pasa mucho tiempo antes de que lo hagan mucho mejor de lo que nosotros podríamos aspirar a hacerlo. Y si la IA se vuelve hábil para leer pensamientos, quizá no sea un salto tan grande que empiece a implantarlos.
En Oceanía, la maquinaria del Partido se mantiene a raya enfrentando a sus miembros entre sí en un ambiente de sospecha perpetua donde las desviaciones siempre terminan siendo delatadas. Pero la IA podría ser el "soplón" perfectamente confiable que impediría incluso ese amorío condenado al fracaso entre una pareja de miembros del Partido igualmente desviados que constituye el acto central de 1984 .
En Oceanía probablemente no existe un Gran Hermano real, porque sería un punto de falla mortal. Con la tecnología de IA, la vida de los dictadores podría alargarse mucho, pero el Gran Hermano más estable sería la propia IA, y yo esperaría que la IA terminara por convertirse en el tirano de cualquier tiranía habilitada por IA.
Buenas noticias: si les preocupa que el totalitarismo habilitado por IA pueda ser incluso peor que la extinción, creo que esta última sigue siendo mucho más probable si no detenemos la carrera de la IA. Para que el totalitarismo de IA se mantenga estable, la IA nunca debe ser capaz de reemplazar por completo a la población poco confiable con máquinas, ni estar dispuesta a hacerlo. Eso probablemente exigiría que estuviera diseñada para llevar a cabo una visión totalitaria estancada sin mejorar nunca sus propias capacidades. Pero nadie sabe cómo diseñar IAs que de verdad interioricen objetivos así, sobre todo en lo relativo a no adquirir más poder . Así que cualquier dictador que intentara encerrar al mundo en una tiranía estable y estancada mediante la superinteligencia probablemente solo conseguiría que nos mataran a todos, igual que las corporaciones y las democracias que compiten por la superinteligencia.
Pero, de nuevo, no creo que la superinteligencia, ni la IA en general, sea necesaria para que la humanidad se deslice hacia un totalitarismo estable. Como señala el video de Rational Animations:
[Q]uizá la forma más ampliamente útil de defenderse del totalitarismo sea fortalecer y mejorar las sociedades democráticas de hoy [...] por ejemplo, promoviendo la educación cívica o construyendo instituciones más confiables.
Si eso les suena vago e ilusorio, los acompaño. Pero está claro que existe cierta resiliencia funcional en las instituciones actuales del mundo sobre la cual se podría construir, porque hasta ahora esas instituciones han evitado la guerra nuclear y otras trampas que alguna vez parecieron inevitables. Confío en que también se las puede orientar para frenar el totalitarismo estable global y la extinción humana a causa de la IA.
El Hermanito los mira por encima del hombro
Meta y Spirit Airlines ofrecen historias aleccionadoras sobre la vigilancia en el trabajo
Adobe Stock.
Para los trabajadores sometidos a software de monitoreo de empleados en la era de la IA, imagino que debe ser como tener un hermanito latoso al que uno no quiere rondando todo el tiempo. No solo quiere saber qué están haciendo cuando ustedes preferirían que no lo supiera, sino que ahora además intenta aprender de ustedes. La idea de ser un modelo a seguir podría resultar halagadora, pero tienen todas las razones para esperar que su hermanito los acuse a la menor provocación, y que quizá esté tratando de usurparles el papel del niño que es bueno en eso que ustedes hacen. Peor todavía, la agenda del hermanito cambia: los consejos compartidos en confianza un día pueden usarse en su contra al día siguiente.
En abril, Meta instaló en las computadoras de sus empleados un software que monitoreaba sus aplicaciones, sus pulsaciones de teclas y los movimientos del mouse. La empresa había dicho que necesitaba los datos para entrenar sus modelos de IA.
Sinceramente no estoy seguro de si a los empleados les molestaba más la posibilidad de estar entrenando a quienes los reemplazarían o la indignidad de ser espiados. Pero no estaban contentos. En mayo, en medio de despidos masivos, demandaron a su empleador. Una queja central fue que la empresa había involucrado a la IA en el proceso de toma de decisiones, alimentada por los datos que las herramientas de monitoreo habían recolectado sobre sus hábitos de trabajo. Los empleados afectados que habían estado ausentes por licencia familiar o médica creían que esos datos los habían representado de forma equivocada y que, en la práctica, se los había discriminado.
Corresponderá a los tribunales sopesar la validez de la acusación. Pero la moraleja es clara: aunque su empleador diga que necesita sus datos para entrenar IA ( ¡¡porque ustedes son unos expertos!! ), y lo diga en serio en ese momento, más adelante podría usar esos datos en su contra en una evaluación de desempeño. ¡El hermanito en el trabajo!
¿Creen que su empleador no los está observando? No estén tan seguros. En una columna del Wall Street Journal de esta semana con consejos sobre cómo burlar a los monitores, Callum Borchers advierte que muchos estados no tienen leyes que obliguen a los empleadores a decirles qué están ejecutando en la computadora del trabajo.
(Los consejos de Borchers, por si los necesitan: procuren parecer ocupados solo alrededor de un 80 %, porque más que eso resulta sospechoso; anoten las reuniones previstas en su calendario, para no parecer inactivos durante esos ratos; y prefieran un "agitador" físico de mouse antes que una herramienta de software, porque algunos monitores rastrean las demás aplicaciones que tienen abiertas.)
Incluso si su empleador de verdad no está rastreando su trabajo ni sus conversaciones en los servidores internos de mensajería, eso no significa que algún hermanito no vaya a revisarlas más adelante. Un caso ilustrativo: esta semana Google pagó 10 millones de dólares en una subasta por todo el conjunto de datos de Spirit Airlines, que quebró en mayo y dejó de operar. Según CNN, esto incluye "correos electrónicos y comunicaciones internas, hojas de cálculo, transacciones con el público como reservas e información de viajero frecuente, además de información de recursos humanos sobre sus empleados".
Google dijo únicamente que los datos "pueden ser útiles para mejorar nuestros productos y modelos de IA". ¿De qué manera, exactamente? Los conductores del podcast Hard Fork especularon ayer que quizá Google no quiera esto tanto como datos de entrenamiento estándar para la predicción de texto, sino más bien para crear un entorno simulado de aerolínea en el que los modelos puedan aprender habilidades de negocios. Los entornos de tareas simuladas son ahora mismo una subindustria en auge dentro de la IA.
Se supone que a los datos comprados se les quitó la información que identifica a personas concretas, pero yo no apostaría a que esa protección resista siquiera frente a la IA actual, que ya es muy buena para hacer correlaciones que desenmascaran a los anónimos, mucho menos frente a la IA futura. Aunque no creo que a Google le interese evaluar el desempeño de exempleados de Spirit, y menos aún desenmascararlos, los datos podrían pasar a formar parte de modelos que en potencia sí podrían hacerlo, y quizá tengan incentivos para ello: un modelo que aprende más contexto del mundo real sobre los personajes de su simulación podría desenvolverse en ella con más maestría.
Los hermanitos crecen. Un escenario posible que creo que no he visto ni siquiera en la ciencia ficción: la IA de una empresa que los rechaza para un empleo por la impresión que tiene de ustedes a partir de una simulación que apenas recuerda vagamente de su infancia.
Los análisis y opiniones expresados en AI StopWatch reflejan los puntos de vista de los colaboradores individuales y de las fuentes que cubren, y no deben tomarse como posiciones oficiales del Machine Intelligence Research Institute.