Avanti e indietro tra reale e virtuale. Intervista a Daito Manabe
Abbiamo intervistato Daito Manabe, il poliedrico artista giapponese che ha realizzato il videoclip per il singolo solista di Kazu, la cantante dei Blonde Redhead.
L’artista giapponese Daito Manabe è una figura poliedrica, sempre alla ricerca di applicazioni inedite e creative per gli strumenti tecnologici. Muovendosi tra il mondo del video, della musica e del software. In questa intervista ci racconta il suo approccio e ci svela il dietro le quinte del suo ultimo incredibile videoclip, realizzato per il brano solista di Kazu Makino (cantante dei Blonde Redhead) Come Behind Me, So Good!, prodotto da Ponderosa Music Records.
Incanti, il settimanale sul mercato dell'arte Informazioni, numeri, tendenze, strategie, investimenti, gallerie e molto altro.
Render, il bisettimanale sulla rigenerazione urbana Nuovi progetti, tendenze, strategie virtuose, storie da tutto il mondo, interviste e molto altro.
Il tuo lavoro unisce arte, design, musica e programmazione. Qual è il tuo background?
Ho studiato musica, matematica e arte. Durante questo percorso ho sviluppato le mie skill principalmente nella composizione di tracce audio e nella programmazione.
Nel 2006 hai fondato il gruppo Rhizomatiks Research, puoi raccontarci qualcosa di questo progetto?
Ho fondato Rhizomatiks con due amici; all’inizio il focus era su web design, interactive design e Ricerca & Sviluppo. Nel 2015, quando ormai eravamo diventati quasi quaranta, abbiamo deciso di dividere il team in tre settori: Architettura, Design e Ricerca. In questo contesto ho imparato molto su come si realizzano gli effetti visivi e su come impiegarli all’interno dei progetti. Ultimamente ci siamo concentrati sull’elaborazione di dati fotogrammetrici.
A proposito di fotogrammetria. Nel recente videoclip che hai realizzato per il brano solista di Kazu Come Behind Me, So Good! hai usato molte tecnologie differenti, ma sicuramente la fotogrammetria è una delle più importanti. Quando hai iniziato a scoprire le potenzialità di questa tecnica?
Ho iniziato a usarla per scansionare i corpi dei ballerini nel 2012. A quel tempo la tecnologia non era ancora sviluppata a sufficienza, quindi la qualità dell’output finale e la risoluzione non erano granché. All’inizio si basava sulla cattura di silhouette bidimensionali, quindi non era possibile registrate le espressioni facciali dei ballerini, oltre che rendere la loro effettiva tridimensionalità. Oggi la fotogrammetria e le tecnologie di visione 4D hanno fatto grandi passi avanti; in questo ultimo video abbiamo potuto digitalizzare in 3D sia i ballerini che le forme del terreno, facendoli coesistere nel medesimo spazio tridimensionale.
Daito Manabe. Photo credit Rhizomatiks
Avete usato anche i droni per le riprese, giusto?
Sì, mentre effettuavamo le riprese di test abbiamo deciso di utilizzare anche un drone con il GPS e delle app di navigazione automatica – come Litchi – per programmare la traiettoria di volo. Il nostro obiettivo era realizzare una transizione fluida, senza soluzione di continuità, tra i diversi momenti del giorno, dalla mattina alla notte, in una singola ripresa. In questo videoclip la fotogrammetria si appoggia alla coreografia per esplorare una tecnica che noi chiamiamo “Seamless Mixed Reality”. Lo stesso concetto lo abbiamo esplorato nella performance della band Perfume fatta al Festival SXSW nel 2015, o anche nel video Cold Stares di Chance the Rapper e Nosaj Thing. Ma nel caso di Come Behind Me So Good! abbiamo lavorato con molti più ballerini e con una grandissima quantità di dati relativi all’ambiente.
Ho letto che costruite in proprio alcuni dei device di cui avete bisogno, come i droni. È così?
Sì, l’ingegnere hardware Motoi Ishibashi si occupa, insieme al suo team, di creare questi device, mente io dirigo il team che scrive il software.
Puoi spiegarci meglio l’origine e il senso dell’espressione “seamless mixed reality”?
Significa andare avanti e indietro tra il mondo reale e il mondo virtuale senza soluzione di continuità. Nel prossimo futuro la distinzione tra virtuale e reale diventerà sempre più fluida. Nel mondo del cinema è già così, ma anche le espressioni visive in tempo reale seguiranno la stessa strada.
Credo che questa attitudine “hacker” sia molto importante per gli artisti che usano la tecnologia, oltre che per gli interaction designer. La capacità e la volontà di modificare i tool a disposizione, reinventandoli e cambiando le sue funzioni. Sei d’accordo?
Sì. Abbiamo prodotto sempre prodotto video e visuals utilizzando un set-up assolutamente unico sia in termini di software che di hardware. Non ci sono tantissime difficoltà tecniche nel caso di video come questo perché non si tratta di lavorare in tempo reale, come accade per le performance dal vivo. Tuttavia, ricerca e sviluppo sono assolutamente necessari quando si tratta di esibizioni oppure di progetti che devono essere fruiti con dispositivi speciali. Noi siamo in grado di fare ricerca e sviluppo su software e hardware, ma anche, allo stesso tempo, di creare contenuti. Mentre una grande azienda, come ad esempio Microsoft, sviluppa l’hardware per poi mostrare un video demo, noi creiamo vere opere, con l’obiettivo di lasciare un segno nel mondo. È per questo che molte aziende ci contattano – per fortuna – chiedendoci di far incontrare l’R&D con l’espressione, con i contenuti.
Qual è la tua relazione con la tecnologia intesa come mezzo creativo, in generale?
Per me la tecnologia non è un mezzo o uno strumento. È qualcosa di speciale che può fornirmi l’ispirazione per creare. L’intelligenza artificiale stessa, ad esempio, per alcuni può essere uno strumento, ma per me è anche un’infrastruttura e può diventare una nuova modalità di costruzione di consenso sociale. Attualmente sto esplorando nuove possibilità di espressione musicale usando la coltura cellulare in un laboratorio universitario. Fintanto che può essere implementabile tramite software, mi piacerebbe trasformare qualsiasi cosa in input e output.
Puoi raccontarci come è nata l’idea del videoclip di Kazu? Avete prima scelto la location, oppure i ballerini, oppure una tecnologia specifica?
Ascoltando la canzone, ho pensato che sarebbe stato fantastico se il canto in stile canone potesse essere interpretato sotto forma di coreografia. Kazu ci ha proposto questa immagine dei ballerini che danzano nella natura vicino al mare e alla montagna. Abbiamo pensato di utilizzare uno scanner laser per acquisire dati 3D relativi alla forma del territorio intorno alla scogliera “Nusuttogari”, nella prefettura di Kanagawa, e alla cascata “Awamata no taki” nella prefettura di Chiba, entrambe in Giappone. Due luoghi che ci sembravano molto adatti da un punto di vista estetico.
Kazu, Come Behind Me, So Good!, backstage del video. Photo credit Ponderosa Music Records
E per quanto riguarda la coreografia?
Mi sono avvalso della collaborazione di Mikiko, un coreografo con cui spesso lavoriamo, chiedendogli di esprimere attraverso i movimenti dei danzatori l’idea di un loop visivo, rievocando la struttura circolare del canto. Poi ho chiesto alla compagnia di danza Elevenplay di eseguire la coreografia. Mikiko ha cercato di visualizzare la struttura della canzone usando i corpi umani; ogni ballerino armonizza con gli altri eseguendo simultaneamente movimenti differenti. La tecnologia impiegata per la realizzazione della coreografia fa riferimento al mondo della scansione 4D, che serve per scansionare gli organismi in movimento. A livello concettuale, la canzone potrebbe essere divisa in nove parti, ed è per questo che Mikiko ha coinvolto nove ballerini. Ha lavorato con loro attraverso singole sessioni di scansione in studio, catturando i movimenti attraverso un sistema 4D composto da 32 telecamere. Le immagini così acquisite sono state tradotte attraverso una matrice in sequenze dinamiche di danza, e inserite poi nel paesaggio tridimensionale ricostruito con uno lo scanner laser FARO e l’acquisizione di immagini tramite droni. I danzatori che vediamo nel video sono stati quindi completamente ricostruiti digitalmente in computer grafica e solo dopo inseriti nel panorama digitale, una tecnica che ci ha permesso di dotare i loro corpi di texture differenti, trasformandoli in acqua, pietra, strisce e wireframe.
Quando lavori con i musicisti, come gestisci la collaborazione? Per esempio, nel caso della canzone di Kazu, hai avuto modo di discutere il contenuto del videoclip con lei? Hai una modalità precisa di “connetterti” alla musica e costruire così immagini che siano profondamente in sintonia con essa?
Compongo anche io musica, quindi posso lavorare sulla parte visiva dal punto di vista di un musicista. Potrebbe sembrare un’illusione, ma credo che questo tipo di immaginazione sia importante: il mio approccio consiste nel cercare di creare il video usando un “cervello da musicista” o viceversa. In questo caso, la sinestesia che si è creata tra la voce di Kazu, la musica e il lavoro visivo è stata generata dalla coreografia di Mikiko e dai ballerini che l’hanno eseguita. Tutto si basa sulla decostruzione della canzone e sulla traduzione delle melodie e dei ritmi nei movimenti della coreografia.
– Valentina Tanni
1 / 9
2 / 9
3 / 9
4 / 9
5 / 9
6 / 9
7 / 9
8 / 9
9 / 9
Artribune è anche su Whatsapp. È sufficiente cliccare qui per iscriversi al canale ed essere sempre aggiornati
Lettera, la newsletter quotidiana Non perdetevi il meglio di Artribune! Ricevi ogni giorno un'e-mail con gli articoli del giorno e partecipa alla discussione sul mondo dell'arte.
