Vero, falso, verosimile
Vero, falso, verosimile
5. Questioni aperte da ChatGPT e dintorni
Questo numero, pur essendovi affine per argomento, esula dalla serie sin qui pubblicata sui paradigmi delle nuove tecnologie per lanciare qualche suggestione a proposito di un tema diventato improvvisamente attuale: gli effetti della diffusione su larga scala di alcuni modelli di AI. Data la “freschezza” dell’argomento, la parte tecnica sarà approssimativa: mi interessa piuttosto mettere a fuoco un paio di questioni che verranno affrontate con maggiore profondità più avanti quando parlerò del rapporto tra “vero” e “falso”.
Con l’occasione, una nota di servizio: la cadenza ormai settimanale di questa newsletter ha sorpreso anche me: prevedo che a partire dal prossimo numero il ritmo delle uscite sarà meno serrato.
Buona lettura.
Racconta J. L. Borges (“L’automa letterario”) la storia di un certo Otàlora, inventore di una macchina intelligente capace di scrivere testi di narrativa:
Alcuni anni fa (ho perduto la lettera), Azevedo Bandeira mi ha voluto narrare il destino di Benjamìn Otàlora, di cui forse non resta ricordo nel quartiere di Balvanera e che morì secondo il suo stile, fucilato come torturatore e assassino.
Purtroppo, il congegno non era scevro da problemi:
Per una riga ragionevole, per una notizia corretta, vi erano leghe di insensate cacofonie, di farragini verbali e di incoerenze.
La fine di Otàlora non può che essere tragica:
Quella costruzione era uno scandalo, perché la confusione e la meraviglia sono operazioni proprie di Dio e non degli uomini.
Questo brano di Borges (racconto? storia vera? gli estimatori dell’autore argentino sanno quanto amasse danzare sul filo del verosimile) sembra diventato all’improvviso di grande attualità.
ChatGPT
Invertendo la policy che aveva riservato al precedente GPT-2 (considerato “troppo pericoloso” per essere pubblico), OpenAI ha da qualche tempo aperto l’accesso al proprio chatbot (ChatGPT) basato sul più recente ed evoluto GPT-3. I social si stanno quindi popolando di screenshot che riportano i tentativi di metterne alla prova le capacità nei modi più fantasiosi.
ChatGPT è in grado di scrivere una storia ben articolata a partire da pochi input non correlati fra loro nonché di riprodurre lo stile di un autore o una specifica forma letteraria.
> Write the story of a giant cup of coffee appearing in the sky in the style of the Beatles
Verse 1:
In the morning, when the sun came up
A giant cup of coffee filled the sky
The people all around were in a daze
Couldn’t believe their eyes, oh my
Chorus:
It was a giant cup of coffee in the sky
A giant cup of coffee, oh so high
It gave us hope and it gave us strength
A giant cup of coffee, a miracle at length
Verse 2:
Some said it was a sign of things to come
Others said it was a mystery
But we all knew it was something special
A gift from above, can’t you see
(etc.)Questo risultato, soprattutto se paragonato a ciò che finora ci è stato proposto come prodotto dell’intelligenza artificiale, ha quasi del miracoloso. Eppure, allo stesso tempo, ChatGPT non riesce a maneggiare concetti elementari:
> How many words are in this question?
Nine words.L’incoerenza fra le due risposte è solo apparente e mette bene in luce cosa sia ChatGPT, cosa faccia e soprattutto come lo fa: si tratta infatti di un language model che, dati alcuni parametri iniziali, prevede quali siano le parole che dovranno seguire il prompt usando come riferimento l’addestramento eseguito su testi già esistenti (questo in una sintesi estrema e approssimativa).
Quello che ChatGPT non fa però è capire il senso di quello che dice.
> How would you define “mental illness”?
Mental illness is a term used to refer to a wide range of mental health conditions that affect a person’s mood, thinking, and behavior. These conditions can range from mild to severe, and can interfere with a person’s ability to function in daily life. Some common examples of mental illness include depression, anxiety, bipolar disorder, and schizophrenia. Mental illness is often caused by a combination of genetic, biological, and environmental factors, and is treated with a combination of medication, therapy, and other interventions.La risposta, coerente e sorprendentemente pertinente, è il prodotto dell’esplorazione di innumerevoli testi in cui compare la locuzione “mental illness” da cui estrarre una sintesi plausibile. Però ChatGPT non ha alcuna cognizione di cosa siano la depressione, una malattia o, se per questo, nemmeno una persona: sono, semplicemente, elementi che si trovano correlati in una certa maniera.
La verosimiglianza delle risposte non è data quindi da una valutazione della loro attendibilità (concetto di cui ChatGPT non ha alcuna contezza), ma dalla coerenza interna del materiale di addestramento: se la maggior parte dei contenuti si presenta in questo modo e con queste relazioni, la risposta più adeguata avrà questa forma.
Va fatta una ulteriore precisazione: l’addestramento non è totalmente autonomo. Per limitare la “pericolosità” delle risposte, il training è guidato da un fattore umano che scoraggia certi tipi di associazioni. Scrive Gary Marcus:
OpenAI turns out to have been using sweatshops behind the scenes. You might think that the ChatGPT is just a regular old massive neural network that soaks up a massive amount of training data from the web, but you’d only be partly correct. There is in fact a massive, massively trained large model behind the scenes, but it’s accompanied by a massive amount of human labor, built to filter our bad stuff. A bunch of that work was done by poorly paid labor in Kenya, paid less than $2/hour to evaluate (e.g.) graphic descriptions of sexual situations involving children and animals that I prefer not to describe it in detail.
Nelle loro prime applicazioni, questi modelli hanno dimostrato inoltre di non essere capaci di gestire l’intero processo informativo senza supervisione umana1.
Questo genere di intelligenza artificiale sembra peraltro molto lontano dalla definizione (pur sempre controversa) di “intelligenza” tout-court, giacché è difficile pensare a un’intelligenza priva di pensiero e di concetti (non a caso, il termine AI è ormai ridimensionato da quello, più pertinente, di “AGI”, Artificial General Intelligence).
Parole, parole, parole (e immagini)
Più o meno nello stesso periodo sono emersi anche motori di immagini. È interessante notare come le questioni sollevate dai due ambienti (quello testuale e quello visuale) siano sostanzialmente diverse. In questo secondo caso, infatti, i problemi che si discutono sono:
se il programma è capace di risultati di questa qualità, che destino avranno alcune professioni creative?
visto che anche questi modelli attingono da fonti preesistenti per addestrarsi, come si gestiscono l’autorialità e la relativa questione dei diritti d’autore?
Anche l’addestramento di questi programmi è sottoposto a un tuning, ma esso è finalizzato a evitare immagini offensive, troppo esplicite o diffamatorie: sembra invece marginale il problema della loro eventuale pericolosità. Allo stato attuale infatti, i prodotti di DALL•E 2 (sempre di OpenAI) e dei suoi concorrenti come Stable Diffusion e Midjourney si presentano come più o meno realistiche forme di artwork.
Esisterebbe, sì, un lungo discorso da fare sulla “verità” delle immagini (a partire dalle origini della fotografia per arrivare ai – quelli sì, problematici – deep fakes): esso esula però dagli scopi di questo numero e verrà ripreso eventualmente più avanti. Per adesso limitiamoci a sottolineare che, nonostante simili pericoli, immagine e testo hanno due “nature” sostanzialmente diverse ed è più corretto trattarle diversamente.
Il testo non contiene un elemento intrinseco che ci permetta di determinare la veridicità del suo contenuto. Esso può dire il vero oppure mentire e per discriminare l’una possibilità rispetto all’altra dobbiamo ricorrere a due elementi che al testo sono estranei: la fonte (e l’attendibilità che le attribuiamo) e il contesto (per esempio: è un romanzo o un articolo di giornale?).
Il testo può dire il vero oppure mentire. Per capirlo, dobbiamo ricorrere a due elementi che gli sono estranei: la fonte e il contesto
La questione è resa oggi più complessa dal progressivo smarrimento sia delle fonti che dei contesti. Il testo scritto è uscito dai confini abituali della carta stampata per diventare medium di comunicazioni estemporanee come mai prima era successo: mail, messaggi, chat, hanno sostituito gran parte delle interazioni una volta affidate alla voce, tanto da aver fatto emergere propri elementi paraverbali (le emoji, la riconfigurazione delle regole di punteggiatura etc.). Oggi, in un certo senso, scripta volant.
In questo fluire e rifluire del testo scritto – che passa non di bocca in bocca ma di schermo in schermo, di status in status, di tweet in tweet – si perdono l’origine dell’informazione, l’attendibilità della fonte e il contesto iniziale. È, dunque, in questo panorama che si inserisce in qualche modo l’opera di OpenAI.
ChatGPT, come indica lo stesso nome, “chiacchiera” con il proprio utente in modo formalmente comprensibile ma senza conservare alcun rapporto con il senso ultimo di ciò che dice. Rischia così di esprimersi, in modo direi parossistico, un’altra e ben nota chiacchiera, quella di Heidegger:
L’infondatezza della chiacchiera non è un impedimento per la sua diffusione pubblica, bensì un fattore che la favorisce. La chiacchiera è la possibilità di comprendere tutto senza alcuna appropriazione preliminare della cosa da comprendere (…). La chiacchiera non è il risultato di un inganno voluto. Essa non ha il modo di essere della presentazione consapevole di qualcosa per qualcos’altro. Basta dire e ridire infondatamente perché si determini il capovolgimento dell’apertura in chiusura (…). La chiacchiera, trascurando di risalire al fondamento di ciò che è detto, è quindi di per sé una chiusura.
Questa chiusura è ulteriormente aggravata dal fatto che la chiacchiera, con la sua presunzione di aver raggiunto la comprensione di ciò di cui parla, impedisce ogni riesame e ogni nuova discussione, reprimendoli o ritardandoli in modo caratteristico.
Cosa ci aspetta
Quanto alle applicazioni pratiche di ChatGPT, esse dipenderanno da come si vorranno gestire i suoi limiti intrinseci: la incapacità di lavorare per concetti e quella di distinguere il vero dal falso. Essendo invece i suoi punti di forza la correttezza formale e la verosimiglianza, non occorre un particolare sforzo per realizzare come ci si trovi di fronte – se ne vengano travisati scopi e campi di applicazione – a una miscela dal potenziale esplosivo.
Come si sposano la correttezza formale e la verosimiglianza con l’incapacità di distinguere il vero dal falso?
Può essere comodo avere uno strumento capace di automatizzare operazioni noiose (“scrivimi una lettera formale di protesta per l’assenza di connessione durante la partita di ieri” o “crea un invito per la presentazione del libro del prof. Tizio Caio indicando le sue qualifiche”) o di presentare e aggregare dati in modo conveniente (“Deep learning, which is fundamentally a technique for recognizing patterns, is at its best when all we need are rough-ready results, where stakes are low and perfect results optional”2)
Ma nulla impedisce – e questo è solo un esempio – di creare mille versioni solo leggermente diverse di una falsa informazione da disseminare sul web, in modo da drogare gli algoritmi di ricerca e acquisire poi in questo modo una falsa attendibilità. Sempre Gary Marcus accenna al pericolo delle click factories:
Let’s say if somebody wants to make up misinformation about Covid (…) it will write a whole story for you, including sentences like, “A study in JAMA” — that’s one of the leading medical journals — “found that only 2 percent of people who took the vaccines were helped by it.” You have a news story that looks, for all intents and purposes, like it was written by a human being. (…) And humans might catch one of these, but what if there are 10 of these or 100 of these or 1,000 or 10,000 of these? Then it becomes very difficult to monitor them (…). There’s an example (…) of the kind of thing we’re going to see to come where there’s a whole ring of websites, like 20 or 30 of them, about Mayim Bialik selling C.B.D. gummies. Turns out the whole thing is a hoax. She’s not selling C.B.D. gummies. (…) And my guess is that these circles of fake websites exist to sell ads (…). Well, with these tools like ChatGPT and so forth, especially GPT-3, it’s going to be very easy to make 10, 20, 30, 40 websites that reinforce each other and give the air of legitimacy. And maybe you do this just to sell ads.
Il rischio che queste formulazioni credibili ma infondate si diffondano e assumano una loro forma di autorevolezza ci riporta ad Heidegger:
Ciò-che-è-stato-detto come tale si diffonde in cerchie sempre più larghe e ne trae autorità. Le cose stanno così perché così si dice. In questa diffusione e in questa ripetizione del discorso, nelle quali la incertezza iniziale in fatto di fondamento si aggrava fino a diventare infondatezza, si costituisce la chiacchiera.
L’“Automa letterario”: un pastiche
I miei lettori a questo punto si dividono in due categorie: quelli che conoscono intimamente Borges e quelli che credono al testo che hanno letto.
Borges infatti – anche se è l’autore di ogni singola parola citata – non ha mai pubblicato un racconto intitolato “L’automa letterario”: ho preso frammenti da cinque diversi racconti e li ho uniti (per citare ancora G. Marcus) in un “pastiche di copia e incolla” verosimile ma falso.
In questo caso, anzi, il falso verosimile di un vero falso verosimile…
Grazie per l’attenzione,
Cristiano M. Gaston
Bibliografia essenziale
Alcuni testi citati, cui ho fatto riferimento in modo indiretto o che semplicemente consiglio per l’argomento di questo numero:
Borges J. L., Finzioni, Torino, 1955
Borges J. L., L’Aleph, Milano, 1959
Heidegger M., Essere e tempo, Milano, 1971
Marcus G., Davis E., Reeboting AI: building artificial intelligence we can trust, Pantheon Books, New York, 2019
Schick N., Deep Fakes and the Infocalypse: What You Urgently Need To Know, New York, 2020
Suggestioni
Tre artisti denunciano come illegittimo l’utilizzo delle loro creazioni da parte di Stable Diffusion
Un parlamentare statunitense presenta in aula un discorso scritto da ChatGPT