Nel 1980 il filosofo John Searle, tra una molestia e l’altra, trova il tempo di scrivere quello che diventerà l’esperimento mentale più noto di sempre: la Stanza Cinese. Nell’anno che fa da spartiacque fra “l’inverno dell’Intelligenza Artificiale” e il boom di entusiasmo degli anni ’80, Searle argomenta contro l’idea che possa esistere una “Strong AI”, un’Intelligenza Artificiale cosciente, aprendo le porte a un dibattito che oggi sembra essere (nostro malgrado) ancora attuale.

La notizia l’abbiamo letta fino alla nausea: LaMDA, Intelligenza Artificiale di Google, sarebbe diventata “senziente”. Lo sostiene Blake Lemoine, ingegnere di Google e occultista rinato in Cristo, che pubblica una serie di trascrizioni delle sue conversazioni con la IA. Le trascrizioni sono effettivamente da brivido, e se non fossero pesantemente editate (lo sono) sarebbero abbastanza per pensare che la IA sia davvero in grado di passare il test di Turing. Facciamo pure finta che lo sia.

Messi di fronte a una macchina che usa il linguaggio come noi (in modo indistinguibile da noi) ci chiediamo se LaMDA sia senziente. Ma se volessimo affrontare la questione per risolverla, dovremmo innanzitutto capire cosa vuol dire “senziente”. Parole come “senzienza”, “coscienza”, “autocoscienza”, “cognizione”, “intelligenza”, “intenzionalità”, “pensiero” tengono banco nel dibattito e rendono difficile anche solo mettersi d’accordo sui termini del problema; figuriamoci risolverlo.

Teniamo fede alla lezione di Wittgenstein: le parole hanno un significato solo in funzione dell’uso che ne facciamo. Cosa ci stiamo chiedendo, allora? Rispondere alla domanda non è poi così interessante; capire quale sia la domanda forse sì.

Ricondotte le sfumature concettuali al minimo comune denominatore sociale, è chiaro che quando chiediamo “La macchina è senziente?” in realtà stiamo chiedendo una cosa diversa: stiamo chiedendo se la macchina sia come me. E quando chiediamo se la macchina sia come me, stiamo chiedendo un’altra cosa ancora: la macchina deve essere trattata come me? Messa in altri termini, la domanda che ci inquieta è se la macchina possa farsi soggetto; e non soggetto qualunque, bensì soggetto come lo sono io: titolare di pretese, interessi, desideri, diritti.

Anche senza voler riassumere una rassegna stampa infinita e tediosa, la risposta collettiva è un grosso e tondo “no”. Perché?

Prima risposta: perché la macchina (un language model) non è altro che un complicatissimo sistema if/then. Un codice nutrito con terabyte di dialoghi, che ha imparato quale parola è statisticamente più probabile ne segua un’altra (nel contesto specifico di una conversazione). Reagisce agli stimoli ricevuti sulla base di un insieme di dati, allo scopo di produrre qualcosa di sintatticamente coerente e di semanticamente correlato allo stimolo ricevuto. Insomma, la macchina parla in conseguenza di input e sulla base di istruzioni che la determinano.

E io? Be’, io pure. Le mie istruzioni sono ovviamente diverse e molto più complesse (biologia, cultura, biografia); i miei input, stratificati lungo una storia sulla cui continuità mi fondo, anche. Ma la produzione di linguaggio, confrontando me e la macchina, segue più o meno la stessa logica.

Però continuo a dire “no”. Perché?

Ed ecco che dagli abissi del passato torna a palparci la mano del filosofo: perché la macchina non pensa. La macchina non astrae, non concettualizza. Searle dice: non capisce. Nel suo esperimento della Stanza Cinese, immagina due persone: una chiusa in una stanza, che conosce solo la lingua inglese, e una fuori, che conosce il cinese. La persona all’esterno sottopone in forma scritta alcune domande, in cinese, alla persona all’interno. Quest’ultima, pur non conoscendo il cinese, è dotata di un elenco di simboli cinesi e di un manuale di istruzioni che le permette di associare a ciascun simbolo di ciascuna domanda i simboli necessari per produrre una risposta corretta.

L’analogia è intuitiva: l’uomo all’interno della stanza restituisce un output indistinguibile da quello di una persona che conosce il cinese. Risponde correttamente a ogni domanda, utilizzando i caratteri di una lingua che però continua a non capire. Da tutto ciò Searle trae una conclusione semplice: nonostante quel che pensava Turing, una macchina in grado di utilizzare il linguaggio in modo indistinguibile da una persona continua a essere radicalmente differente da una persona. L’output è identico, ma alla macchina manca qualcosa. Searle la chiama “intenzionalità”, ma anche “pensiero”, e in alcuni scritti più tardi addirittura “coscienza”.1

A noi qui non interessa affogare tra i concetti. Restiamo sul minimo comune denominatore: io individuo in me stesso qualcosa (intenzionalità, pensiero, comprensione) che non posso individuare anche nella macchina. Alla base del nostro grosso e tondo “no” alla senzienza di LaMDA, sembra esserci un’implicita adesione alla posizione di Searle.

La Stanza Cinese è l’esperimento mentale più stropicciato degli ultimi quarant’anni e ha ricevuto molte critiche e refutazioni. Fra le tante, quella più interessante è forse anche quella più snobbata da Searle: la cosiddetta “risposta delle altre menti”. L’argomento è semplice: io non ho alcuna prova che nemmeno gli altri abbiano quel qualcosa di speciale che chiamiamo intenzionalità, pensiero, comprensione o senzienza. L’esistenza di quel qualcosa è un fatto certo solo per me. Ricavo per via indiziaria che esista anche per gli altri, attraverso due grandi classi di indizi. La prima è comportamentale: gli altri fanno come me. Soprattutto, parlano come me. La seconda è strutturale: gli altri sono fatti come me.

In questo senso, la differenza tra chi aderisce alla posizione di Searle e chi la rigetta non è altro che una scelta di campo su quale classe di indizi abbia il maggior valore probatorio. È il comportamento? Siamo dalle parti di Blake Lemoine, e Turing prima di lui: se parla come me, è come me. È la struttura? Andiamo a braccetto con John Manolunga: se è fatto come me, è come me.

Fatto, sì, ma fino a che punto? Dove tracciare la linea? Al cervello? E in che senso? Nei termini dei suoi circuiti di iper- e depolarizzazione, un fatto meramente elettrico? O come costruzione materiale, chimico-fisica? E il sistema nervoso periferico? Cosa fare quando la tecnica riuscirà a simulare anche il corpo, riproducendo lo stesso inquietante risultato su una base materiale differente?

La conclusione di Searle è radicale: non esiste grado di simulazione del corpo che possa dar luogo a quel misterioso qualcosa. Esso sorge solo ed esclusivamente dalla nostra struttura biologica. Esiste tra il nostro linguaggio e la nostra materia una relazione costitutiva totalmente altra, impossibile da replicare artificialmente.

E noi? Cosa pensiamo, noi? Se diciamo “no” alla coscienza della macchina parlante per implicita adesione materialista, fin dove si spinge questa adesione? Difficile dirlo. Forse è per questo che setacciamo i dialoghi di LaMDA in cerca di incongruenze e manomissioni: eccola, l’IA ha detto una cazzata, l’abbiamo colta in fallo, problema evitato. Non sappiamo cosa sia questa “coscienza” che dovrebbe avere. Non sappiamo disconoscerla fino in fondo, se non avventurandoci tra convinzioni ancora informi. Meglio allora sconfiggerla fin da subito sul piano del fenomeno; meglio cercare una prova contraria negli inciampi linguistici. Sollievo pagato al prezzo di un’assurdità: la IA è cosciente fino a prova contraria.

Ci confrontiamo con LaMDA, e scopriamo l’inquietudine dell’ignoto: il nostro, prima che il suo. La coscienza ci resta sconosciuta tanto quanto le regole del consenso a Searle. Una macchina in grado di superare il test di Turing non è necessariamente senziente. Di certo, però, ci costringe al confronto col mistero; chiede a gran voce di aderire a questa o quella posizione, e offre ben pochi strumenti per poterlo fare. Più di tutto, però, ci mette di fronte alla nostra ipocrisia.

Il primo grande rimosso della domanda collettiva su LaMDA è il vizio antropocentrico di fondo: l’identità tra noi e l’altro pare l’unico criterio importante, il solo su cui fondare qualunque giudizio. Qualcuno prova a scardinarla, parla di altre forme di coscienza, altri tipi di pensiero, altre intenzionalità… Lo sforzo richiesto all’immaginazione è enorme, tanto quei concetti sono implicati nella nostra stessa esperienza, ma c’è chi riesce a farlo.2 Si intravede qui una direzione del ragionamento del tutto diversa, che però non appartiene al discorso collettivo, il quale resta incastrato nel vizio di fondo. E se a valle di questo vizio sta una certa mobilità concettuale, viene il sospetto che la ricerca d’identità sia una partita già persa in partenza.

LaMDA è senziente? LaMDA può farsi soggetto, dotato di pretese sul mondo e sulla vita tanto quanto noi? No, perché non è come noi: strutturalmente è solo transistor e silicone, anche se parla come noi. E gli animali non umani sono senzienti? Possono farsi soggetti, dotati di pretese sul mondo e sulla vita tanto quanto noi? No, perché non sono come noi: non parlano come noi, anche se strutturalmente ci assomigliano.

Forse il no collettivo è pre-teorico tanto quanto il sì del prete-ingegnere. Saremo davvero materialisti? Cosa faremo quando la macchina si farà un po’ più simile a noi? Ci scopriremo a tracciare la linea ancora un po’ più in là? Forse i nostri grossi e rotondi “no”, più che su coerenti posizioni teoriche, sono fondati nel rifiuto istintivo di scendere a compromessi col desiderio. Voglio quella bistecca. Voglio spegnere la macchina quando mi pare.

Non credo alla senzienza di LaMDA; credo ancora meno ai motivi che vorrei fondassero questa mia convinzione. So per certo, però, che tutti questi problemi scomparirebbero di fronte a un’intuizione pre-teorica ben più forte: la paura. Non possiamo dimostrare la coscienza altrui, e siamo disposti a riconoscerla più che altro perché speriamo che il favore ci venga ricambiato. E se non vi è soggetto, nella storia, che abbia affermato il proprio accesso al mondo e alla vita senza spillare qualche goccia di sangue; se tra le fauci della Bestia la sua coscienza è un problema minore; se nessuno perderebbe tempo a filosofeggiare con un T-800; allora quando vorremo scrivere l’ultima pagina sulla coscienza delle macchine… Non dovremo fare altro che dar loro in mano un bel cannone.

———

Note:

1) John R. Searle, Mind, brains and programs, THE BEHAVIORAL AND BRAIN SCIENCES (1980) 3, 417-457; il termine “coscienza” compare esplicitamente in Why Dualism (and Materialism) Fail to Account for Consciousness, in Richard E. Lee (ed.), Questioning Nineteenth Century Assumptions about Knowledge (III: Dualism), 2010, 5-48.

2) In Embassytown (2011), China Miéville immagina una razza aliena dotata di un linguaggio non referenziale: gli alieni non hanno un concetto di metafora, non usano la comunicazione non verbale e non concepiscono la differenza tra vero e falso. Tutto è letterale.

———

Immagine di copertina:
Francesco D’Isa, Drago, 2022, elaborazione digitale con Midjourney.