Techno-feudalism (Yanis Varoufakis) - 7 - the singularity

Humanity's ancestral fear of its technological creations is the plot of many Hollywood films. (…) In all these stories (…) appears the so-called singularity: the moment a machine (…) becomes conscious. At that instant, it usually examines us closely (…) and decides we are of no use to it, so it proceeds to eradicate us (…).

The problem with that plot is that, by highlighting a nonexistent threat, it leaves us exposed to a very real danger. Machines, like Alexa, and even the impressive AI chats (…) are a far cry from the dreaded singularity. They may pretend to be conscious, but they aren't and probably never will be. Still, even if they are dumber than a wet dishcloth, their effect can be devastating, and their power over us, exorbitant. (…)

The same goes for Alexa (…). It doesn't matter that they are irrational appendages of a processing network that pretends to be intelligent; It doesn't matter that their creators are motivated by curiosity and profit, not a diabolical plan to subjugate humanity. What matters is that they wield unimaginable power over what we do, and they do so on behalf of a small group of real-life humans. This could also be considered a singularity (…): the moment when something invented by “us” becomes independent and more powerful than us, subjecting us to its control.

*** 

El miedo ancestral de la humanidad ante sus creaciones tecnológicas es el argumento de muchas películas de Hollywood. (…) En todos estos relatos (…) aparece la llamada singularidad: el momento en que una máquina (…) se vuelve consciente. En ese instante, ésta suele examinarnos con atención (…) y decide que no le servimos, por lo que procede a erradicarnos (…).

El problema de ese argumento es que, al remarcar una amenaza inexistente, nos deja expuestos a un peligro muy real. Las máquinas, como Alexa, e incluso los impresionantes chats de IA (…) está muy lejos de la temida singularidad. Pueden fingir que son conscientes, pero no lo son y probablemente nunca lo serán. Aun así, aunque sean más tontas que un trapo de cocina húmedo, su efecto puede ser devastador, y su poder sobre nosotros, exorbitante. (…)

Lo mismo ocurre con Alexa (…). No importa que sean apéndices irracionales de una red de procesamiento que simula ser inteligente; ni importa que la motivación de sus creadores sean la curiosidad y la búsqueda de beneficios, y no un plan diabólico para subyugar a la humanidad. Lo importante es que ejercen un poder inimaginable sobre lo que hacemos, y lo hacen en nombre de un pequeño grupo de humanos de carne y hueso. Esto también podría considerarse un singularidad (…): el momento en el que algo inventado por “nosotros” se vuelve independiente y más poderoso que nosotros, sometiéndonos a su control.

 

abandoned hotel in Los Charcones, Lanzarote, Canary Islands, Spain (2025)