La macchina senziente
8. I am (not) a robot
Questa conversazione fra un paziente e uno psicoterapeuta è avvenuta attraverso un terminale:
Il “paziente” sono in realtà io e ho inserito le frasi che avrebbe genericamente scritto una persona durante una prima seduta. Avrete già capito che anche il terapeuta non è un vero terapeuta ma un programma.
Ciò che può invece sorprendere è che, se avete un Mac (fino alla versione 10.15) o una macchina Linux, avete sempre avuto questo programma preinstallato: si chiama infatti “DOCTOR”, è nascosto dentro emacs (il text editor scritto da R. M. Stallman nel 19841) ed è a propria volta una implementazione di ELIZA, progettato nel lontano 1966 da Joseph Weizenbaum.
Le prime pagine di “Computer Power and Human Reason”, pubblicato dallo stesso Weizenbaum nel 1976, ci offrono alcuni spunti ancora attualissimi (grassetti miei):
In 1935, Michael Polanyi, then holder of the Chair of Physical Chemistry at the Victoria University of Manchester, England, was suddenly shocked into a confrontation with philosophical questions that have ever since dominated his life. The shock was administered by Nicolai Bukharin, one of the leading theoreticians of the Russian Communist party, who told Polanyi that “under socialism the conception of science pursued for its own sake would disappear, for the interests of scientists would spontaneously turn to the problems of the current Five Year Plan.” Polanyi sensed then that “the scientific outlook appeared to have produced a mechanical conception of man and history in which there was no place for science itself.” And further that “this conception denied altogether any intrinsic power to thought and thus denied any grounds for claiming freedom of thought.”
Questo preambolo ci accompagna proprio al tema di oggi:
I recite this bit of history for two reasons. The first is to illustrate that ideas which seem at first glance to be obvious and simple, and which ought therefore to be universally credible once they have been articulated, are sometimes buoys marking out stormy channels in deep intellectual seas. That science is creative, that the creative act in science is equivalent to the creative act in art, that creation springs only from autonomous individuals, is such a simple and, one might think, obvious idea. Yet Polanyi has, as have many others, spent nearly a lifetime exploring the ground in which it is anchored and the turbulent sea of implications which surrounds it.
The second reason I recite this history is that I feel myself to be reliving part of it. My own shock was administered not by any important political figure espousing his philosophy of science, but by some people who insisted on misinterpreting a piece of work I had done.
(…)
A number of practicing psychiatrists seriously believed the DOCTOR computer program could grow into a nearly completely automatic form of psychotherapy.
(…)
I was startled to see how quickly and how very deeply people conversing with DOCTOR became emotionally involved with the computer and how unequivocally they anthropomorphized it. Once my secretary, who had watched me work on the program for many months and therefore surely knew it to be merely a computer program, started conversing with it. After only a few interchanges with it, she asked me to leave the room.2
ELIZA passava quindi già nel 1966 il Test di Turing nella sua interpretazione più generale (la capacità di una macchina di essere scambiata per un essere umano). Quasi sessant’anni dopo, nell’estate del 2022, Blake Lemoine (uno degli ingegneri di Google che lavorava su LaMDA, il Large Language Model dell’azienda) si convinse che la propria creazione (o, dovremmo dire a questo punto, “creatura”?) fosse divenuta senziente. Come per la segretaria di Weizenbaum, anche Lemoine (che, per la cronaca, è stato poi licenziato) è caduto vittima della fascinazione per la “macchina intelligente”. E, come i primi utenti occasionali di DOCTOR che condividevano via terminale i racconti più intimi, anche oggi – altrettanto impropriamente – qualcuno si rivolge a ChatGPT come a uno psicoterapeuta.
La macchina senziente nell’immaginario collettivo
Il tema della macchina senziente è un topos letterario dalle radici profonde. Il conflitto tra uomo e macchina si ripresenta ciclicamente: macchine che aspirano a diventare umane (Star Trek TNG), che fanno da involucro a un’anima umana (Kyashan), che acquisiscono consapevolezza di sé (Ghost in the Shell), che si ribellano al creatore (Matrix, Terminator), che si fondono con lui in un tragico epilogo (The Black Hole), che ci divertono con personalità depresse (Guida Galattica per Autostoppisti), tenere (Wall•E) o pedanti (Guerre Stellari). Il repertorio, ovviamente, è sconfinato.
La fantascienza già negli Anni Quaranta e Cinquanta ci intrigava (e inquietava) con Robbie de “Il pianeta proibito” (1956), col suo predecessore Tobor the Great (1954) e con i loro numerosi emuli; forse solo Asimov – penso al ciclo di “Io, Robot” (1940-1950) – è riuscito a tenere sempre ben distinto (e a giocarci con eleganza) il confine tra i due mondi (esemplare in questo senso il racconto “Circolo vizioso”).
Ma questo percorso ci porta ben più indietro nel tempo: Astro Boy (1952) altri non è che una riedizione di Pinocchio (1881) e quest’ultimo a propria volta si inserisce in un filone ottocentesco già abbondantemente popolato da automi che prendono vita (“L’uomo della sabbia” di E. T. A. Hoffman, 1815; “Il Manichino tragico” di Achim von Arnim, 1812; “Eva futura” di Auguste de Villiers de L’Isle-Adam, 1886 etc.); continuando a ritroso possiamo risalire fino al mito del Golem.
L’uomo dà la vita a un oggetto inanimato in una oscillazione senza fine tra perfezione divina e tragica hỳbris; la confusione frequente tra il dottor Frankenstein e il proprio mostro (comunemente chiamato col nome del suo creatore) è più di un incidente linguistico: nell’immaginario collettivo, creatore e creatura confluiscono l’uno nell’altro e restano legati in un abbraccio indissolubile.
“2001: Odissea nello spazio” raccoglie (nell’unico modo possibile: con un profondo simbolismo) tutte queste istanze tendendo il fil rouge tra la presa di coscienza di HAL 9000 e quella dell’uomo/scimmia delle sequenze di apertura: il tema, in sostanza, è antico come il mondo, come la cultura, come l’Uomo stesso – e ha a che fare più con quest’ultimo che con la macchina che ha di fronte.
L’Uomo allo specchio
Sotto il livello più evidente dell’“Uomo-Creatore” scorre quindi meno visibile una diversa tensione, quella di un “Uomo allo specchio” che, mentre insegna alla macchina cosa voglia dire essere umani, sta interrogando invece soprattutto se stesso. Questo processo di interrogazione sembra facilitato dall’interlocutore che è, per ipotesi stessa, il “negativo” di ciò che si vuole esprimere; proprio per questa ragione, rischia invece di essere profondamente falsato.
Se i ragionamenti condotti fin qui rimanessero confinati alla fiction, per quanto suggestivo, il discorso ci interesserebbe fino a un certo punto. La finzione letteraria3 però, anche la più becera, raccoglie e rappresenta la dimensione mitica della nostra esistenza pescando nel nostro immaginario, nelle nostre fantasie espresse o inespresse, nei nostri – direbbe qualcuno – archetipi. Essa dunque dice qualcosa di molto reale su di noi.
La dialettica umano/non-umano viene spesso rappresentata in una forma smaccatamente apologetica. Sono umani l’amore, la libertà, l’arte, la compassione; sono inumani lo sterminio indiscriminato, l’uso dell’Altro come oggetto, la mancanza di pietas.
La macchina come emblema di ciò che non gradiamo di noi stessi percola dal mitico al reale nella descrizione di fenomeni storici che – per quanto dis-umanizzanti – sono in realtà ineludibilmente umani (la “macchina da guerra”, la “macchina dello sterminio” etc.), come se in quelle accezioni la nostra umanità (e con essa la nostra responsabilità) potesse essere espropriata da una sorta di meccanismo.
Questa tendenza alle definizioni consolatorie è garantita dal fatto che alla macchina non dobbiamo veramente rendere conto. Il punto, in sostanza, è che solo di fronte all’Umano si può dispiegare veramente l’Umano.
Alcuni mesi fa la startup fondata dall’ex CEO di Tinder Renate Nyborg ha raggiunto il target di un round preliminare di fondi in sole ventiquattro ore. Amorai si propone come un “subscription based AI relationship coach”. Il principio viene sintetizzato dalla stessa Nyborg nel podcast di Peter Kafka:
Nyborg – I’ve been trying to explain to people more as the movie “Ratatouille”. The movie is about a rat who knows everything there is to know about food. And he helps a young man who wants to be a Michelin star chef cook fantastic meals.
Kafka – You’re going to sit on top of my head and show me how to chop stuff.
Nyborg – And so you’re a perfect chef.
Kafka – And this will apply to health and loneliness.
Nyborg – It’s a coach that is basically helping you find solutions to practical problems that you have. So this could range from “I’m struggling to get over my breakup, can you help” to very practical things like “I keep seeing iPhone memory, photo memories coming up on my phone, what do I do about it?”
Per quanto – a mio modo di vedere – abominevole, questo servizio avrebbe un mercato:
Why does this product need to be an AI texting thing at all? Why couldn’t you just talk to a human? Because those things exist. And one answer, obviously, is that AI is supposed to be cheaper. But Nyborg also says that according to her own market research, her customers, or at least some of them, don’t want to talk to a human. They want to talk to an AI.
Nyborg – Young men actually felt much more comfortable interacting with some of the features of this product because they knew it was AI. And it allowed them actually to explore some of these vulnerable emotions for the very first time.
Kafka – Dudes are more likely to talk to a person they know is not a person because they feel more comfortable knowing it’s a computer?
Lo sconcerto di Peter Kafka è di nuovo quello di Weizenbaum ai tempi di ELIZA: ci riporta al comfort di una situazione completamente autoreferenziale in cui alla possibilità di essere (giudicabile) di fronte a qualcuno preferiamo l’illusione di essere (in modo deresponsabilizzato) ciò che vogliamo di fronte a qualcosa.
Ma, se parliamo allo specchio, stiamo realmente “parlando”?
Per chi conosce la sintassi di emacs, il comando per evocare Doctor è: M-x doctor. Da Catalina in poi emacs è stato rimosso da macOS ma è possibile reinstallarlo, così come è possibile installarlo su Windows.
Joseph Weizenbaum, “Computer Power and Human Reason”, New York/San Francisco, 1976, pagg. 1-7.
Uso, per amor di sintesi, il termine “letterario” per rappresentare ogni forma artistica basata su un testo includendo dunque tutte le derivazioni più o meno dirette della letteratura, inclusi cinema e fiction televisiva.