Audiodescrizione Multisensoriale: la sonificazione del colore per tradurre il linguaggio dell’opera d’arte

This doctoral thesis aims to contribute to the development of an innovative line of research in the field of museum audio description, with the objective of making the artistic experience multimodal and accessible. Audio description (AD), understood as the verbal description of any cultural product for the benefit of an audience with visual impairments, emerges as a pivotal tool to ensure access to cultural content. While there is already a rich body of literature on AD in the context of artworks, abstract painting poses specific challenges: since the plastic level does not allow recognition of real-world figures, objective verbal description proves particularly complex. To address this limitation, the investigation focused on alternative communicative strategies, in particular the use of sonification for the intersemiotic translation of chromatic elements. Through a multidisciplinary approach, encompassing translation studies, computer science, linguistics, art, cognitive psychology, and neuroscientific and anatomical perspectives, emotional mediation and sonification strategies were explored, drawing on studies that highlight the systematic coherence between music and color, such as the Sound Color Code (SCC) and the Information Sound Space (ISS). This approach is based on the hypothesis of emotional mediation (Palmer et al., 2013, 2016; Lindborg & Friberg, 2015), according to which associations between music and color are not arbitrary but systematic, with emotions evoked by music acting as primary mediators, and on the principle of rhythm, conceived as a property shared by both sound and painting, as well as on physical characteristics common to sound waves and electromagnetic radiation. The experimentation led to the development of the platform: Emotional Mediation through Color Sonification, created in collaboration with the Music Informatics Laboratory (LIM) at the University of Milan. The platform was used to propose a test on a sample of sighted volunteers in Italy and Hong Kong, to collect data on the correlations between sound stimuli, colors, and emotions, paving the way for future reception studies involving blind and visually impaired participants. 15 Building on a reflection on the historical, sociological, and normative evolution of the concept of disability, the thesis highlights its changing nature across history, including the evolution in terminology. The analysis reconstructs the transition from the medical model, focused on correcting disability as deficit, to the social model, which attributes responsibility for barriers to society, and finally to the biopsychosocial perspective, which integrates biological, psychological, and social factors into a unified framework. In parallel, the work outlines the international and European legislative path that established the right of access to culture for people with disabilities, with particular attention to accessibility regulations in the United Kingdom, United States, Spain, Italy, and Hong Kong. The research also provides an anatomical and neuroscientific overview of the visual system, starting from the eye as the primary organ to the main types of low vision and causes of visual loss. Studies conducted since the late 1990s have demonstrated the brain’s ability to reorganize under conditions of sensory deprivation, enhancing touch and hearing in blind individuals, a characteristic known as cerebral ‘plasticity’. This new paradigm has fostered the development of Sensory Substitution Devices (SSD), technologies designed to enhance alternative senses rather than physically replace or ‘repair’ visual functions, for example through retinal prostheses, gene therapies, or stem cell transplants. These tools testify the growing interest in accessibility and the need to transcend disciplinary and methodological boundaries. The thesis then investigates the central role of accessibility in contemporary museums, analysing their transformation from elitist, object- centred institutions, conceived according to an ocular-centric model, into inclusive and participatory spaces oriented toward people. This paradigmatic shift, linked to principles of equal opportunity and social movements, has made it necessary to develop accessibility strategies both at the physical level and in terms of content. The research emphasizes that accessibility should not be conceived as a corrective measure, but as an integral part of cultural design, in line with the principles of New Museology 16 and Universal Design. In this context, translation assumes a fundamental role; not only as linguistic transfer, but as a cognitive and semiotic process involving multiple levels of meaning. The exhibition itself is interpreted as a text, in which works and artefacts communicate messages and the audience becomes an active participant. For this reason, audio description is situated within the academic field of Translation Studies and, in particular, Audiovisual Translation (AVT), underscoring its value as a practice of social inclusion. AD configures as an essential tool to make artistic and cultural experiences accessible, adapting to the specificities of the context and the needs of recipients. Semiotic analysis of the artwork is presented as an essential step in any translational process, with particular attention to abstract painting, where forms, colors, and spatial relations acquire autonomous value and require specific interpretative codes. The research also provides an in-depth overview of the state of the art in museum AD, highlighting multisensoriality as a key strategy to enrich the audience’s experience and foster accessibility, describing the contributions of various research groups and international projects that have experimented with multisensory approaches. The hybrid nature of museum AD texts is outlined, characterized by a balance between description and narration, and analyzed through studies on process, product, and audience reception. Special attention is devoted to the figure of the translator, now required to possess skills that go beyond linguistic competence, extending to the management of multimedia and accessible content. In this context, the figures of the universal access translator (Neves, 2018) and the professional audio describer (Perego, 2022) are introduced. In any case, as a sighted recipient of an iconic message and producer of an intersemiotic translation, the translator interprets the artwork drawing on prior knowledge and experience, collected documentation, and semiotic analysis. The thesis also presents several experiments conducted with the support of Large Language Models (LLMs), assessing their potential as tools to aid in the creation and revision of audio descriptions. Among these, the 17 ArtVoice project, presented at the Media 4 All Conference in Hong Kong, explored how a customized artificial intelligence can be integrated into dedicated platforms to generate and evaluate audio descriptions in accordance with museum guidelines. The overall results showed that AI, when properly guided, can provide expressive and creative solutions, while reaffirming the necessity of human supervision. The integration of theory, practice, and technology thus represents a significant step toward new modalities of museum accessibility, capable of making the artistic experience more inclusive and engaging. The research then focuses on the translation of color through alternative sensory modalities. The systematization of existing studies enabled comparison of different approaches, highlighting strengths and limitations. Various strategies for transmitting chromatic information were analysed: linguistic, such as synesthetic metaphor, and auditory, with particular attention to sonification, which has never been systematically investigated in the context of AD. These were complemented by tactile, thermal, and olfactory experiments, demonstrating how color translation can draw on multiple sensory channels. A multimodal approach emerges as necessary to reflect the tendency of contemporary art to communicate on multiple levels and to foster inclusive interaction with audiences. The research is further enriched by external contributions, such as interviews with experts and observation of international multisensory projects, which confirm the importance of describing colors and integrating analogies and sound associations to convey complex meanings. The outcome is a proposal for a participatory and experimental methodology, grounded in the direct involvement of people with visual disabilities. Finally, the thesis presents the empirical investigation conducted through the web platform Emotional Mediation through Color Sonification: A Preliminary Study, designed to explore associations between sounds, colors, and emotions in an international sample. The main objective was to assess the extent to which individuals of different ages, educational backgrounds, and cultures tend to link specific sound stimuli to 18 chromatic tones and emotional dimensions, outlining a system of correspondences potentially integrable into audio description protocols. The study involved 150 participants and analyzed chromatic preferences, sound-color relations, and emotional evaluations according to the variables of Valence, Arousal, and Dominance (VAD). The intercultural comparison between Italy and Hong Kong revealed substantial consistency in choices, with marginal differences attributable more to individual interpretations than to cultural factors. Statistical analysis confirmed the presence of significant correspondences between sound and color, mediated by emotions, for example, the association of pink and white noise with cool tones (blue, gray, white), and percussion instruments with dark colors (brown, black, red). The cross-analysis of chromatic data with VAD dimensions enabled profiling of each instrument, showing how some evoked states of calm and tranquility, while others were perceived as stimulating and dominant. From these observations emerges the proposal of a framework for color sonification, based on emotional parameters and conceived as a sensory support capable of enriching audio description and enhancing museum accessibility for people with visual impairments.

La presente tesi di dottorato si propone di contribuire allo sviluppo di una linea di ricerca innovativa nel campo dell’audiodescrizione museale, con l’obiettivo di rendere l’esperienza artistica multimodale e accessibile. L’audiodescrizione (AD), intesa come descrizione verbale di un qualsiasi prodotto culturale per il beneficio di un pubblico con disabilità visive, emerge come strumento fondamentale per garantire l’accesso ai contenuti culturali. Per quanto riguarda l’AD di opere d’arte, esiste già una ricca letteratura. Ciononostante, nel caso della pittura astratta, dove il livello plastico non permette di riconoscere figure del mondo reale, la descrizione oggettiva a parole si rivela piuttosto complesso. Per fare fronte a questo limite, l’indagine si è focalizzata sulla comunicazione di questi contenuti attraverso vie alternative, in particolare, sono state considerate strategie di sonificazione per la traduzione intersemiotica dell’elemento cromatico. Attraverso un approccio multidisciplinare, che ha coinvolto aspetti di traduzione, di informatica, di linguistica, arte, psicologia cognitiva e aspetti neurscientifici e anatomici, sono state esplorate strategie di mediazione emotiva e di sonificazione, basate su studi che evidenziano la coerenza sistematica tra musica e colore, come il Sound Color Code (SCC) e l’Information Sound Space (ISS). Tale approccio si fonda sull’ipotesi della mediazione emotiva (Palmer et al., 2013, 2016; Lindborg & Friberg, 2015), secondo cui le associazioni tra musica e colore non sono arbitrarie ma sistematiche, individuando nelle emozioni evocate dalla musica i principali mediatori, e sul principio del ritmo, inteso come proprietà condivisa tra suono e pittura, nonché su caratteristiche fisiche condivise tra onde sonore e radiazioni elettromagnetiche. La sperimentazione ha portato allo sviluppo della piattaforma Emotional Mediation through Color Sonification, realizzata in collaborazione con il Laboratorio di Informatica Musicale dell’Università Statale di Milano. Il test, condotto su un campione di volontari normovedenti in Italia e Hong Kong, ha indagato le correlazioni 10 tra stimoli sonori, colori ed emozioni, aprendo la strada a futuri studi di ricezione con persone non vedenti e ipovedenti. A partire da una riflessione sull’evoluzione storica, sociologica e normativa del concetto di disabilità, è stata messa in evidenza la sua natura mutevole nel corso delle epoche, anche da un punto di vista terminologico. L’analisi ha ricostruito il passaggio dal modello medico, incentrato sulla correzione della disabilità intesa come deficit, al modello sociale, che attribuisce alla società la responsabilità della creazione di barriere, fino alla prospettiva biopsicosociale, che integra fattori biologici, psicologici e sociali in un quadro unitario. Parallelamente, è stato delineato il percorso legislativo internazionale ed europeo che ha sancito il diritto di accesso alla cultura per le persone con disabilità, con particolare attenzione alle normative sull’accessibilità di Regno Unito, Stati Uniti, Spagna, Italia e Hong Kong. La ricerca offre inoltre una panoramica anatomica e neuroscientifica del sistema visivo, partendo dall’organo principale, l’occhio, arrivando a descrivere le principali tipologie di ipovisione e le cause della perdita visiva. Le ricerche condotte dalla fine degli anni Novanta hanno dimostrato la capacità del cervello di riorganizzarsi in condizioni di deprivazione sensoriale, potenziando tatto e udito nei soggetti non vedenti, caratteristica che prende il nome di plasticità celebrale. Questo nuovo paradigma ha favorito lo sviluppo di dispositivi di sostituzione sensoriale (SSD), tecnologie che mirano a potenziare un senso alternativo invece di rimpiazzare fisicamente o ‘riparare’ le funzioni del sistema visivo, ad esempio utilizzando protesi retiniche, terapie genetiche, trapianto di cellule staminali. Questi strumenti testimoniano il crescente interesse verso l’accessibilità e la necessità di superare i confini disciplinari e metodologici. In seguito la tesi indaga il ruolo centrale dell’accessibilità nei musei contemporanei, analizzando la trasformazione di queste istituzioni culturali da luoghi elitari e focalizzati sull’oggetto, e quindi concepiti secondo un modello oculo-centrico, a spazi inclusivi e partecipativi, orientati alle persone. Questo cambiamento paradigmatico, legato ai principi di pari opportunità e ai movimenti sociali, ha reso necessario lo sviluppo di 11 strategie di accessibilità sia sul piano fisico, sia su quello dei contenuti. La ricerca evidenzia come l’accessibilità debba essere concepita non come misura correttiva, ma come parte integrante della progettazione culturale, in linea con i principi della Nuova Museologia e del Design Universale. In questo contesto, la traduzione assume un ruolo fondamentale: non solo come trasferimento linguistico, ma come processo cognitivo e semiotico che coinvolge diversi livelli di significato. La mostra stessa viene interpretata come un testo, in cui opere e artefatti comunicano messaggi e il pubblico diventa fruitore attivo. Per questo motivo l’audiodescrizione viene collocata all’interno degli studi di traduzione e, in particolare, della traduzione audiovisiva (TAV), sottolineandone il valore come pratica di inclusione sociale. L’AD si configura come strumento essenziale per rendere accessibile l’esperienza artistica e culturale, adattandosi alle specificità del contesto e alle esigenze dei destinatari. A questo punto la ricerca offre una visione approfondita dello stato dell’arte dell’AD museale, evidenziando come la multisensorialità rappresenti una strategia fondamentale per arricchire l’esperienza del pubblico e favorire l’accessibilità. L’analisi semiotica dell’opera d’arte è posta come passaggio imprescindibile per qualsiasi processo traduttivo, con particolare attenzione alla pittura non figurativa, in cui forme, colori e relazioni spaziali assumono valore autonomo e richiedono codici interpretativi specifici. Il lavoro inoltre mette in luce il contributo di diversi gruppi di ricerca e progetti internazionali che hanno sperimentato approcci multisensoriali, integrando elementi sonori, tattili, gustativi e olfattivi per ampliare la fruizione culturale. Viene delineata la natura ibrida dei testi di AD museale, caratterizzati da un equilibrio tra descrizione e narrazione, e che possono essere analizzati attraverso studi sul processo, sul prodotto e sulla ricezione da parte del pubblico. Particolare attenzione è dedicata alla figura del traduttore, oggi chiamato ad assumere competenze che vanno oltre la dimensione linguistica, fino a includere la gestione di contenuti multimediali e accessibili. In questo contesto nascono le figure dell’universal access translator (Neves, 2018) e professional audio 12 describer (Perego, 2022). In ogni caso, come desctinatario vedente di un messaggio iconico ed emittente di una traduzione, in base alle proprie conoscenze pregresse, alla documentazione raccolta e all’analisi semiotica il traduttore fruisce e interpreta l’opera per poi svolgere un’operazione di traduzione intersemiotica e realizzare un’AD che risponda alle esigenze del pubblico. La ricerca presenta anche alcune sperimentazioni condotte con l’ausilio di modelli linguistici di grandi dimensioni (LLM), valutandone il potenziale come strumenti di supporto nella creazione e revisione di audiodescrizioni. Tra queste, il progetto ArtVoice, sviluppato dagli autori in collaborazione con l’Università di Firenze e presentato alla Media 4 All Conference di Hong Kong, ha voluto esplorare in che modo l’intelligenza artificiale possa essere integrata in piattaforme dedicate per generare e valutare audiodescrizioni conformi alle linee guida museali. I risultati complessivi mostrano che l’IA, se opportunamente guidata, possa offrire soluzioni espressive e creative, pur ribadendo la necessità della supervisione umana. L’integrazione tra teoria, pratica e tecnologia si configura così come un passo significativo verso nuove modalità di accessibilità museale, capaci di rendere l’esperienza artistica più inclusiva e coinvolgente. In seguito la ricerca si concentra sulla traduzione del colore attraverso sensorialità alternative. La sistematizzazione degli studi esistenti ha permesso di confrontare approcci differenti, evidenziandone punti di forza e limiti. Sono state analizzate diverse strategie di trasmissione cromatica: linguistiche, come la metafora sinestetica, e sonore, con particolare attenzione alla sonificazione, mai indagata in modo sistematico nell’ambito dell’audiodescrizione. A queste si affiancano sperimentazioni tattili, termiche e olfattive, che dimostrano come la traduzione del colore possa avvalersi di molteplici canali sensoriali. L’approccio multimodale emerge come necessario per rispecchiare la tendenza dell’arte contemporanea a comunicare su più livelli e a favorire un’interazione inclusiva con il pubblico. La ricerca si arricchisce inoltre di contributi esterni, come le interviste a esperti del settore e l’osservazione di progetti multisensoriali internazionali, 13 che confermano l’importanza di descrivere i colori e di integrare analogie e associazioni sonore per trasmettere significati complessi. Ne risulta la proposta di una metodologia partecipativa e sperimentale, fondata sul coinvolgimento diretto delle persone con disabilità visiva. La ricerca infine presenta l’indagine empirica condotta attraverso la piattaforma web Emotional Mediation through Color Sonification: A Preliminary Study, finalizzata a esplorare le associazioni tra suoni, colori ed emozioni in un campione internazionale. L’obiettivo principale è stato valutare in che misura persone di età, background educativo e culture differenti tendano a collegare specifici stimoli sonori a tonalità cromatiche e dimensioni emotive, delineando un sistema di corrispondenze potenzialmente integrabile in protocolli di audiodescrizione. Il lavoro ha coinvolto 150 partecipanti e ha analizzato le preferenze cromatiche, le relazioni suono-colore e le valutazioni emotive secondo le variabili di Valenza, Attivazione e Dominanza (VAD). Il confronto interculturale tra Italia e Hong Kong ha mostrato una sostanziale coerenza nelle scelte, con differenze marginali attribuibili più a interpretazioni individuali che a fattori culturali. L’analisi statistica ha confermato la presenza di corrispondenze significative tra suono e colore, mediate dalle emozioni, come ad esempio l’associazione di rumore rosa e bianco con tonalità fredde (blu, grigio, bianco) e di strumenti a percussione con colori scuri (marrone, nero, rosso). L’incrocio dei dati cromatici con le dimensioni VAD ha permesso di profilare ciascun strumento, evidenziando come alcuni evocassero stati di calma e tranquillità, mentre altri fossero percepiti come stimolanti e dominanti. Da queste osservazioni emerge la proposta di un framework per la sonificazione del colore, basato su parametri emotivi e concepito come supporto sensoriale capace di arricchire l’audiodescrizione e migliorare l’accessibilità museale per persone con disabilità visiva.