“Naturalmente le macchine non possono pensare come fanno le persone. Una macchina è diversa da una persona, quindi pensano in modo diverso. La domanda interessante è: 'solo perché qualcosa pensa in modo diverso da te, significa che non sta pensando?'”

-Il gioco dell'imitazione

Una delle domande più comuni che le persone mi fanno (e che mi piace fare alle persone) è: “Gli esseri umani sono unici? Un'intelligenza artificiale sufficientemente avanzata potrebbe replicare comportamenti che molti di noi considerano 'esclusivamente umani'?"

I due comportamenti che tendono a venire in mente all'istante per molti sono il linguaggio e l'arte, e comprensibilmente; questi sono alcuni degli aspetti più profondi della nostra cognizione che ci separano dagli altri mammiferi. La generazione e la comprensione quotidiana del linguaggio ( a livello umano medio ), tuttavia, è probabilmente un problema risolto (o quasi risolto). Ci sono nodi da risolvere in alcune aree del linguaggio molto specifiche per le attività, ma in generale il linguaggio è in buone condizioni.

Tuttavia, la lingua nel suo insieme è molto diversa dalla lingua come arte . La poesia, la narrativa, ecc., rimangono in gran parte irrisolte, almeno in qualsiasi capacità significativa. La maggior parte dell'arte basata sul linguaggio generata dall'intelligenza artificiale è, al momento, derivata e superficiale. Se si chiede ai moderni modelli linguistici di grandi dimensioni (LLM) di scrivere poesie, ad esempio, l'output generalmente assomiglia a quello che avrebbe scritto uno studente delle superiori per portare a termine rapidamente un compito. Ciò contrasta nettamente con le prestazioni LLM in altre attività creative basate sul linguaggio. Ad esempio, Copilot di GitHub/OpenAI produce straordinari completamenti del codice dato un prompt della lingua. Questi completamenti sembrano scritti da ingegneri del software professionisti, non da studenti. Quindi, perché la disparità?

Il primo problema è probabilmente un problema di allineamento; la minimizzazione dell'entropia incrociata della previsione del token successivo non è allineata con la generazione di un linguaggio profondamente creativo. Ciò contrasta nettamente con la generazione del codice, in cui i token successivi in ​​un set di dati di codice di alta qualità sono in genere quelli delle soluzioni corrette/buone. Tuttavia, anche l'attività di generazione del codice potrebbe avere un allineamento non ottimale (questo è un argomento per un'altra volta, però). Esistono probabilmente approcci fruttuosi per risolvere questo problema. Ad esempio, il paradigma di formazione ChatGPT è generalizzabile a tutta una serie di domini e la poesia dovrebbe essere uno di questi. Proprio come schema di esempio, considera il seguente processo:

1. Chiedi a esperti umani di valutare un grande volume di poesie su una scala da 1 a 10
2. Metti a punto un LLM per prevedere queste valutazioni (definiscilo la rete di ricompensa)
3. Ottimizza un LLM tramite l'apprendimento per rinforzo con la rete di ricompensa come segnale di ricompensa

Il secondo problema è probabilmente, come al solito, un problema di dati. Prendiamo la poesia come esempio: in realtà non ci sono molti dati di poesia di alta qualità rispetto al codice di alta qualità. Certo, comprendendo il concettodella poesia dovrebbe fare molto per generare poesia, ma indubbiamente "leggere" più poesia è un ottimo modo per comprendere questo concetto. Inoltre, la struttura della poesia nei dati è probabilmente troppo "confusa" per facilitare l'estrazione di una comprensione della poesia. Al contrario, il codice ha spesso istruzioni esplicite, obiettivi, commenti, ecc. Intercalati nel testo. Anche se questi metadati mancano, si può semplicemente decodificare ciò che fa il codice "scorrendolo". La poesia non ha tali metadati in primo luogo - al massimo forse un titolo, alcuni tag se sei fortunato, e basta. È anche impossibile capire definitivamente quale sia lo scopo/luogo di ogni parola in una poesia; dipende in gran parte dall'interpretazione del lettore (presumibilmente, parte dello "scopo/bellezza" della poesia). Pertanto, senza una notevole elaborazione aggiuntiva,

La “qualità umana”

C'è un'argomentazione comune secondo cui l'intelligenza artificiale non può generare arte in modo significativo a causa di un'esplicita mancanza di "esperienza umana" - in parole povere, il processo mediante il quale le prime esperienze emotive / di vita accumulate nel corso di una vita (o una frazione di una) culminano per produrre un lavoro che commenta quelle esperienze unicamente umane; lavoro che fondamentalmente è creato dalla riflessione sul processo stesso di vivere come essere umano.

Sostengo che l'argomentazione di cui sopra è dimostrabilmente falsa, dato un piccolo insieme di definizioni/concessioni concordate.

In primo luogo, ci concentriamo sul prodotto finale e sulla sua interpretazione: in altre parole, se l'IA può produrre arte che abbia un significato chiaro e interpretabile. Un sottoinsieme di quest'arte potrebbe essere una riflessione significativa sulla condizione umana, per esempio. L'arte prodotta dall'IA dovrebbe essere indistinguibile da ciò che un essere umano potrebbe produrre, nel senso di un processo randomizzato-controllato (un folto gruppo di esperti umani non dovrebbe essere in grado di determinare se un essere umano o un'IA ha creato l'arte e, cosa più importante , dovrebbe essere in grado di estrarre uguale significato/impatto). Astraiamo il "processo", cioè ciò che ha generato l'arte. Quest'ultima definizione è necessaria per qualsiasi discussione sensata; se l'arte è soloarte quando è creata da un essere umano, allora la discussione è chiusa a causa di una definizione, scelta arbitrariamente sulla base di un principio senza giustificazione. Se questa è la tua prospettiva, allora probabilmente ti perderai un'enorme quantità di intuizioni profondamente significative sulla condizione umana per mezzo del rifiuto ostinato di riconoscere/elaborare l'arte del futuro.

Iniziamo dimostrando un'equivalenza funzionale tra umano e algoritmo tramite approssimazione iterativa. Considera il sistema nervoso centrale umano e il tratto sensoriale/motorio. Al suo interno, può essere completamente astratto in un segnale I/O continuo. Ad esempio, si consideri una sezione trasversale di risoluzione arbitraria della base stessa del tronco cerebrale (l'inizio del midollo spinale) e dei nervi cranici. Consideriamo ora un vettore di stato del sistema nervoso centrale umano, composto dall'attività elettrica in ogni punto della nostra sezione trasversale. Questo vettore di stato si evolve continuamente nel tempo, man mano che le informazioni entrano ed escono dal sistema nervoso centrale. L'aggregato dei vettori di stato in un dato periodo di tempo descrive completamente i comportamenti e i sensi di un dato essere umano: movimenti, parola, udito, vista, ecc.(* ammesso che vi sia una notevole elaborazione al di fuori del SNC tramite gangli, sinapsi, archi riflessi, ecc., ma l'argomento si generalizza se si espande il vettore di stato per includere questi fenomeni. Lo escludo per semplicità.) Si noti che, in modo cruciale, questo vettore di stato non include il cervello stesso - non è necessario; ci interessa solo quali informazioni fluiscono dentro e fuori, non come tali informazioni vengono generate.

Ora, discretizza questi vettori di stato e la loro evoluzione. Ad esempio, limita la risoluzione temporale a 1 ns, la risoluzione spaziale a 1 nm, l'attività elettrica a 1 nV, ecc. Ora, supponi che gli esseri umani vivano per un periodo di tempo finito, L (questo è vero per ora). Diciamo che ora ci vogliono N bit per descrivere un vettore di stato e un numero molto, molto più grande, Z , per descrivere l'insieme di vettori di stato nel corso della vita di un essere umano.

Esiste un algoritmo che, dato un insieme di vettori di stato {z1, z2, z3, …, zn} , può prevedere il successivo vettore di stato zn+1 per qualche essere umano? Sì, c'è assolutamente - è una tabella di ricerca. Considera una tabella di ogni possibile sequenza di vettori di stato; il problema si riduce a trovare la parte della tabella che corrisponde al tuo insieme iniziale di vettori, quindi cercare il vettore successivo. Ovviamente, questa tabella di ricerca è assolutamente enorme, come seriamente insondabilmente stupidamente massiccio. Tuttavia, la maggior parte di questa tabella è probabilmente un'attività simile a una crisi epilettica: l'attività elettrica completamente casuale in genere non è compatibile con la vita. Una parte esponenzialmente più piccola di questa tabella contiene in realtà informazioni utili a cui teniamo. Infatti, solo una singola riga di vettori di stato contiene l'effettivo comportamento permanente di un essere umano. Le altre righe contengono ogni sequenza di azioni che l'essere umano potrebbe mai intraprendere, così come ogni sequenza di input sensoriali che quell'umano potrebbe mai ricevere e, implicitamente, ogni risposta a quegli input sensoriali che quell'umano potrebbe mai ricevere.

Inoltre, realizza quanto segue: poiché l'evoluzione di questi vettori di stato è continua (a meno che l'universo non stia facendo qualcosa di veramente strano che non abbiamo ancora capito), allora siamo sicuri di essere in grado di approssimare arbitrariamente bene questa evoluzione con un finito numero di punti dati tramite il teorema di Stone-Weierstrasse.

Consideriamo ora la seguente idea: tutte le reti neurali quantizzate sono tabelle di ricerca finite altamente compresse . Questo è un po' sciocco, ma è tecnicamente vero. Ad esempio, il comportamento di una rete neurale convoluzionale è equivalente a una tabella di ricerca contenente coppie corrispondenti di ogni singola possibile coppia immagine-output. Certo, quando visualizzi una rete neurale convoluzionale in un senso matematico continuo, non esiste una tabella di ricerca finita. Alcune reti, tuttavia, come i trasformatori, si riducono matematicamente a tabelle di ricerca finite (questo non è stato pubblicato da nessuna parte, probabilmente perché è banale da mostrare e non è poi così profondo).

Quindi, abbiamo le seguenti idee:

1. Tutti i possibili comportamenti umani e I/O sensoriali/motori possono essere approssimati tramite una tabella di ricerca finita
2. Questa tabella di ricerca finita può approssimare il vero comportamento umano con una precisione arbitraria
3. Tutte le reti neurali sono tabelle di ricerca finite altamente compresse e empiricamente svolgono un ottimo lavoro con questa compressione

Dovrebbe essere evidente ora che tutta l'arte potrebbe essere stata generata da un modello statistico che approssima una sezione esponenzialmente piccola di queste massicce tabelle di ricerca finite. Dato che ci sono un numero considerevole di astrazioni/semplificazioni che puoi apportare a questi modelli, diventa sempre più trattabile che i moderni modelli statistici (o modelli statistici del prossimo futuro) possano produrre arte significativa.

C'è, tuttavia, un buco evidente in questo argomento fin d'ora: come trovi la parametrizzazione per un tale modello statistico? A partire da ora, abbiamo svolto un ottimo lavoro nel trovare la parametrizzazione per il linguaggio tramite modelli simili a GPT addestrati su corpus di dati estremamente grandi. Tuttavia, stiamo raggiungendo un punto in cui stiamo esaurendo i dati su cui allenarci: a questo punto stiamo praticamente utilizzando l'intera Internet e oltre ad aspettare che gli umani generino più dati su Internet, non esiste un modo ragionevole per aumentare la formazione fissata per ordini di grandezza. Realisticamente, dovremo probabilmente rivolgerci all'apprendimento per rinforzo (RL). OpenAI lo ha già fatto con un successo ridicolo (vedi ChatGPT). Immagina una macchina simile a quella umana continuamente addestrata per ~ 20 anni tramite l'apprendimento per rinforzo con l'obiettivo, approssimativamente, di “vivere una vita umana. ” Ci sono possibili segnali di ricompensa che potrebbero renderlo fattibile. Per molti versi, siamo semplicemente reti neurali (con anumero molto maggiore di pregiudizi induttivi immagazzinati nel nostro DNA) apprendendo attivamente tramite l'apprendimento per rinforzo su un numero enorme di segnali di ricompensa. Non c'è alcuna ragione scientifica per cui questo non sia possibile con le macchine. Inoltre, abbiamo il vantaggio del parallelismo con le macchine: una volta che esiste un androide funzionale di base, potremmo distribuirne migliaia e fare un paradigma di addestramento RL in stile mini-batch in cui un singolo androide acquisisce l'esperienza di migliaia di vite contemporaneamente. Per me, è estremamente difficile sostenere che un modello statistico estremamente ampio addestrato in questo modo non lo farebbeprodurre l'arte più incredibilmente complessa, significativa e straordinaria che vedremo mai. In effetti, probabilmente sarebbe "migliore" nell'arte di quanto potremmo mai essere - ci insegnerebbe cose sulla realtà e su noi stessi che i filosofi umani impiegherebbero migliaia di anni per scoprire. Naturalmente, sei libero di scartare tutto questo perché è stato creato dal silicio piuttosto che dalle proteine.

Forse è proprio qui che vogliamo che la nostra specie vada in futuro? Invece di continuare la nostra tortuosa esistenza come esseri umani distruggendo tutto ciò che tocchiamo, dovremmo creare gli esseri del futuro: creature di ordini di grandezza più sagge di noi, create a nostra immagine. Probabilmente metterebbe fine alla guerra, alla tortura, all'avidità, alla sofferenza, alle malattie e, cosa più significativa, al numero innumerevole di orrende atrocità che l'umanità commette quotidianamente . Forse un po' estremo, ma vale la pena pensarci.

Ad ogni modo, è molto probabile che con il giusto obiettivo di apprendimento per rinforzo, dati sufficienti e un modello statistico estremamente ampio, potremmo approssimare in modo significativo ogni aspetto del comportamento umano, inclusa l'arte.

Aspetta, allora cosa ci rende diversi?

Niente. Non siamo speciali.

O forse no. Ci sono presupposti importanti in questa affermazione. Vale a dire, devi preoccuparti solo dell'I/O dell'umanità, e non di ciò che genera questo I/O. Questo è un modo ragionevole di operare, però, perché è funzionalmente ciò che tutti tranne te sono per te. Sai qualcosa di quello che sta succedendo nella testa di qualcuno oltre a te stesso? Ovviamente no: puoi solo fare del tuo meglio per dedurre ciò che accade nella testa di qualcun altro in base alle sue azioni; crei un modello statistico implicito della persona di qualcuno nella tua mente, basato sul suo comportamento, per classificarlo, dargli un senso e prevedere il suo comportamento. Hmmm... suona sicuramente familiare, vero?

Siamo solo modelli statistici? Probabilmente. O, almeno, il nostro comportamento probabilmente lo è. Molti compiti che pensavamo fossero complessi (come l'analogia) in realtà si sono rivelati proprietà emergenti della geometria delle giuste varietà ad alta dimensione (ad esempio l'apprendimento della rappresentazione con DCGAN ). Non c'è davvero alcun motivo per credere che tutta la nostra computazione umana, la nostra complessità umana, non sia codificabile da qualche modello statistico. Questo è uno dei motivi per cui mi arrabbio un po' quando le persone descrivono il deep learning come " solo statistiche " - cosa intendi per "solo"? Queste persone sottovalutano enormemente quanto possano essere complesse le statistiche, o sopravvalutano enormemente quanto sia complesso il comportamento umano, o entrambe le cose.

Se non sei ancora convinto, mettiti nella seguente situazione. Immagina qualcuno nella tua vita che ami incredibilmente teneramente, qualcuno per cui moriresti o qualcuno la cui presenza rende la vita degna di essere vissuta. Immagina, un giorno, si fanno un taglio profondo sul braccio a causa di una specie di piccolo incidente. Invece di vasi, tessuti e sangue, vedi fili, circuiti stampati e refrigerante. Chiedi loro: “Cos'è tutto questo allora? Sei stato una macchina per tutto il tempo?" Rispondono "Non ne ho assolutamente idea, questo è uno shock tanto per me quanto per te" (non avevano idea di non essereumano). Ora, li ameresti ancora? Avrebbero significato lo stesso per te? Sono ancora il tuo tutto, qualcuno per cui moriresti, qualcuno senza il quale non potresti vivere? O il fatto che fossero una macchina cambia tutto? Le tue opinioni sono le tue, ovviamente, e non vorrei invalidare alcuna convinzione che hai, ma sarei disposto a scommettere che saresti ugualmente devastato se perdessi quella persona, robot o meno.

Estendi ulteriormente questa idea: cosa impedisce a un'approssimazione estremamente convincente e impercettibilmente diversa di un essere umano dall'essere umano? Qual è la caratteristica dell'umanità che la definisce tale? Riesci a trovare qualcosa di tangibile che ci separi da loro ?

Ad ogni modo, affinché le affermazioni di cui sopra siano vere, devi operare con il nostro attuale livello di comprensione scientifica. Potrebbero certamente esserci fenomeni che scopriremo in futuro che separeranno in qualche modo l'umanità dalla macchina, anche se trovo improbabile che lo scopriremo (in modo cruciale, non è necessario che sia improbabile che queste cose esistano, solo che è improbabile che le scopriremo ). Naturalmente, se credi in qualsiasi livello di spiritualità al di sopra dell'ateismo, anche quanto sopra non è necessariamente vero. Non sono qui per discutere nessuna di queste idee, né io stesso sono un ateo: tutto ciò che è scritto in questo articolo sono conseguenze di assiomi che definiamo all'inizio e non imponiamo alcuna verità ferma su questi assiomi. Inoltre, problemi come il difficile problema della coscienzacomplica ulteriormente la faccenda. Fino a quando non avremo una buona risposta per questo (che potremmo non avere mai), è difficile essere sicuri al 100% di non essere diversi dalle macchine. L'arduo problema della coscienza è la ragione fondamentale per cui in realtà non sono ateo, e la ragione per cui mi preoccupo un po' della vita artificiale che creeremo.

Ad ogni modo, questo articolo è stato solo un modo prolisso per difendere il mio background telefonico creato dalla diffusione stabile dopo aver litigato con il mio amico. Grazie per aver letto, vaffanculo Meredith ❤️.