Immersi nel suono in 3D

Gli ingegneri progettano nuovi paesaggi acustici, sempre più realistici e perfino navigabili. E gli scienziati indagano su come il nostro cervello costruisce lo spazio sonoro. Con molte sorprese, e nuove idee per l'arte, la didattica e le tecnologie a supporto dei non vedenti.

-

Immersi nel suono in 3D

Gli ingegneri progettano nuovi paesaggi acustici, sempre più realistici e perfino navigabili. E gli scienziati indagano su come il nostro cervello costruisce lo spazio sonoro. Con molte sorprese, e nuove idee per l'arte, la didattica e le tecnologie a supporto dei non vedenti.

Alcuni recenti interventi su Josway ci portano a riflettere su come il nostro cervello costruisce l’idea di spazio, e in particolare quella di spazio sonoro. In un suo recente concerto ispirato ai ragni e alle onde gravitazionali, l’artista argentino Tomás Saraceno ha chiesto agli ascoltatori di usare un buon paio di cuffie per godere a pieno della tridimensionalità dell’audio. Questa particolarità mi ha riportato alla mente una vecchia vicenda, che può servire da spunto per esplorare il tema in modo più ampio. 

Sperimentato dai Pink Floyd

Georg_Neumann_Ku_100_Dummy_Head
Microfono Neumann Ku100 “Dummy Head”, che simula la fisionomia umana per registrare il suono in 3D. Una tecnica detta “binaural rendering” (Foto E.J. Posselius).

La vicenda riguardava uno strumento di registrazione chiamato holofono, sviluppato dal produttore discografico italiano Umberto Maggi, ex musicista dei nomadi, e dall’ingegnere elettronico argentino Hugo Zuccarelli. Questo strumento era in grado di registrare i suoni in modo da poterli riascoltare in cuffia restituendo fedelmente la percezione di tridimensionalità. L’efficacia della tecnica, secondo gli inventori, si poteva misurare in base al fatto che – sempre in cuffia – l’ascoltatore era in grado di collocare tali suoni nello spazio, esattamente come se si fosse trovato con la sua testa al posto del microfono nel momento della registrazione. Togliendo le cuffie o usando tecniche meno sofisticate, come il Dolby Surround System, l’effetto di tridimensionalità si sarebbe perso, e il cervello avrebbe collocato la sorgente sonora all’interno della testa. L’idea, suggestiva, ebbe un certo successo per alcune produzioni di nicchia come l’album The Final Cut (1982) dei Pink Floyd. Ma non conquistò mai il mercato di massa.

Indizi percettivi

Tornando a oggi, le sonorità del concerto di Tomás Saraceno ricordano da vicino quelle dello strumento di Maggi e Zuccarelli e di altre tecniche di registrazione “binaurale”, che letteralmente vuol dire “a due orecchie”. Ma, più che gli aspetti tecnici, quello che interessa è il principio: come funziona, a livello cerebrale, il nostro apparato uditivo, e come facciamo a collocare un suono nello spazio? «In generale, quello che ci dà la percezione di tridimensionalità del suono sono alcuni indizi (cues) che il cervello è in grado di decifrare», risponde Monica Gori, responsabile del gruppo di ricerca U-VIP (Unit for Visually Impaired People) dell’Istituto Italiano di Tecnologia (IIT) di Genova. «Gli indizi sono: il ritardo con cui il suono arriva all’orecchio più lontano, le differenze di intensità tra le due orecchie e la struttura del padiglione articolare. I primi due servono per soprattutto per posizionare la sorgente sul piano orizzontale, mentre il terzo è importante per stabilire l’altezza lungo l’asse verticale. Poi ci sono anche altri fattori, come la struttura della testa e perfino del resto del corpo, dato che entrambi interferiscono su come il suono arriva alle nostre orecchie». Per questo, se tramite una registrazione o un ambiente virtuale ci giunge un suono che non è coerente con queste caratteristiche, la collocazione spaziale va in tilt: «In questi casi, il cervello colloca il suono all’interno della testa», spiega Davide Esposito, giovane bionico dello stesso gruppo di ricerca.

Davanti o dietro?

Per il nostro cervello, le difficoltà principali sono due: 1) distinguere tra ciò che si trova di fronte e ciò che si trova dietro e 2) localizzare la sorgente sonora sull’asse verticale. Entrambe queste componenti, infatti, dipendono dalla nostra fisionomia, e il cervello impara a distinguerle in base all’esperienza, un po’ come farebbero i moderni algoritmi di intelligenza artificiale. Come avvenga esattamente il processo di apprendimento non è ancora del tutto chiaro, ma secondo Gori è molto influenzato dalla visione, che è la modalità principale con cui percepiamo lo spazio che ci circonda. «I vedenti si basano soprattutto sulle informazioni visive, e sono più bravi a individuare un suono che si origina davanti a loro pittosto che uno che proviene da dietro», chiarisce Gori. «Per un non vedente, invece, sia il fronte sia il retro sono difficili da capire».

Home_Page_Picture1-6cca83da
Il laboratorio del gruppo del gruppo di ricerca U-VIP (Unit for Visually Impaired People) dell’Istituto Italiano di Tecnologia (IIT) di Genova.

Lo spazio acustico e quello visivo, dunque, sono di per sé distinti, anche se noi tendiamo a integrarli in un unico spazio percettivo. Questo vale, però, solo per gli adulti. «Il nostro gruppo di ricerca è stato il primo a dimostrare che il bambino fino agli 8-10 anni di età non integra le informazioni multisensoriali, ma le tiene separate», spiega Gori. Per questo con i bambini funziona l’”effetto ventriloquo”: se li mettiamo davanti a un pupazzo simulando una conversazione, i bambini ci cascano, e pensano che sia davvero il pupazzo a parlare. Questo accade perché nel bambino c’è una forte attrazione visiva. Nell’adulto, invece, le due componenti sono integrate, quindi gli adulti sono più bravi a identificare la vera sorgente del suono. «Sono convinta che, durante lo sviluppo, la visione abbia un ruolo preponderante», continua Gori. «Quindi, secondo me, lo spazio acustico tridimensionale che percepiamo è molto legato alla conoscenza visiva che abbiamo dell’ambiente. Lo spazio acustico di un non vedente è molto diverso».

Come affacciarsi a una finestra

Monica Gori
Monica Gori, responsabile del gruppo di ricerca U-VIP dell’IIT di Genova.

Un mito da sfatare riguarda il fatto che i non vedenti siano più bravi di noi a collocare suoni nello spazio. «In realtà non è così», spiega Gori: «i non vedenti sono svantaggiati in molti casi perché non possono servirsi della visione, e percepiscono un mondo tridimensionale diverso dal nostro. Spesso commettono errori. Se devono localizzare un suono singolo, ci riescono; ma di fronte a situazioni complesse, come tre persone che parlano intorno a un tavolo, sono molto confusi. Per questo, nel nostro laboratorio abbiamo realizzato un muro di casse che producono suoni spazializzati: per una persona non vedente questa spazialità è molto importante, è come affacciarsi alla finestra».

La matematica è un gioco

Queste ricerche trovano applicazione nell’ideazione di nuovi strumenti educativi per i più piccoli. «Le applichiamo ai bambini delle elementari, per creare nuovi dispositivi per l’apprendimento», dice Gori. «Con il progetto #WeDraw, abbiamo sviluppato tecnologie tridimensionali che integrano suoni e informazioni visive per insegnare la matematica (gli angoli, le frazioni, il piano cartesiano). E poi lavoriamo tantissimo con la disabilità visiva, soprattutto nei primi anni di vita. Abbiamo appena lanciato un progetto per insegnare ai bambini non vedenti a raggiungere e a manipolare gli oggetti (di solito lo fanno molto più tardi). E abbiamo sviluppato braccialetti sonori come ABBI che permettono loro di ascoltarsi l’un l’altro. Così riescono a capire dove sono, e perfino a giocare».

plenacoustic
Una moderna barra per la registrazione di suoni, costituita dalla combinazione di quattro moduli base. Questa tecnica “plenacustica” permette di costruire uno spazio sonoro interattivo (Musical Acoustics Lab / Politecnico di Milano).

Ambienti navigabili

Tornando al suono 3D, la nuova frontiera della ricerca si è spinta ben oltre il vecchio ascolto binaurale. Ora si punta addirittua a ricreare uno spazio sonoro non più limitato a una posizione fissa, ma al variare della posizione virtuale dell’ascoltatore. Augusto Sarti, docente del Politecnico di Milano che da anni sviluppa sistemi di questo tipo, spiega: «Per rendere interattiva (navigabile) una registrazione 3D non basta ricostruire il campo acustico in un punto specifico, ma occorre ricostruirlo in tutti i punti di interesse nello spazio. Questo, in linea di principio, può essere ottenuto facendo uso di tante schiere sferiche disposte nello spazio, ma in tal modo i tempi di calcolo crescerebbero in modo incontrollato. Esiste però una metodologia chiamata “cattura plenacustica”, sviluppata dal Politecnico di Milano, che consente la registrazione di un intero campo acustico facendo uso di schiere più estese di microfoni (v. figura sopra). Sono schiere di 16 microfoni MEMS, lunghe 50 cm ciascuna, e combinabili a piacere come blocchi di Lego, fino a formare schiere di 128, 256, o addirittura 1.024 microfoni. Il principio è simile a quello delle camere Lytro (che sono costituite da schiere di micro-fotocamere con microlenti), ma qui implementato in molto molto più efficiente. Le camere plenacustiche consentono la navigazione interattiva del campo acustico – cioè muovendosi liberamente nella scena – e consentono persino di avvertire la presenza di ostacoli come oggetti o muri». 

 

Link e approfondimenti

• Monica Gori all’IIT di Genova, un suo TEDx e il progetto MySpace.
• Un articolo sulle tecniche binaurali.
• Il sito di Hugo Zuccarelli.
• Il progetto europeo WeDraw.
• Il progetto ABBI – Audio Bracelet for Blind Interactions.
• Una galleria di quadri e opere “multisensoriali” (3D a rilievo per non vedenti) di Monica Gori.
• Gli olofoni di Michelangelo Lupone.
• Il Musical Acoustics Lab del Politecnico di Milano, all’interno del Museo del Violino di Cremona. 

 

Andrea Parlangeli
Andrea Parlangeli è fisico (PhD) e giornalista, caporedattore del mensile Focus. Appassionato di scienza, tecnologia e innovazione, nel 2019 ha conseguito un Executive MBA presso il MIP/Politecnico di Milano. Ha scritto diversi libri, tra cui Uno spirito puro. Ennio De Giorgi, genio della matematica (Milella 2015, Springer 2019) e Viaggio all’interno di un buco nero (StreetLib, 2019). È stato curatore di La nascita imperfetta delle cose (Rizzoli 2016) di Guido Tonelli, sulla scoperta del Bosone di Higgs, e La musica nascosta dell’universo (Einaudi 2018) di Adalberto Giazotto, sulla scoperta delle onde gravitazionali.

Il video

Le vibrazioni di una ragnatela trasformate in suoni, progetto di sonificazione realizzato al MIT di Cambridge, Usa (Ian Hattwick, Isabelle Su, Christine Southworth, Evan Ziporyn, Tomás Saraceno e Markus Buehler).

Primo piano

In evidenza

Il viaggio di Josway

Dal Pantheon di Roma al cuore delle stelle più estreme, cronaca dei primi dieci giorni di cammino di un sito appena nato.

Categorie più popolari

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Recent comments