Sistemi interattivi

Presentazione

---

La possibilità di accedere a informazioni relative all’ambiente in cui si muove un performer o uno spettatore consente all’artista di realizzare opere sensibili al loro comportamento, fornendo così diversi livelli di interattività. Il corso studia alcuni strumenti con cui accedere a queste informazioni attraverso tecniche di vario genere (riconoscimento ottico, sensori, machine learning) e propone metodi per l’elaborazione di queste informazioni, al fine di realizzare opere interattive. Particolare attenzione sarà posta alla verifica sperimentale dei progetti analizzati. In modo particolare la parte finale del corso sarà dedicata allo studio e all’elaborazione di progetti individuali o di gruppo.

L’analisi storica e la riflessone sul concetto di sistema interattivo consentiranno di presentare alcuni strumenti utilizzati per la realizzazione di opere interattive, sia in ambito installativo sia performativo, con una metodologia teorico-progettuale orientata a fornire tecniche di base in grado di risolvere, in modo semplice, problematiche specifiche con un approccio learn by doing.
Gli elementi forniti potranno essere riutilizzati per creare sistemi più complessi, combinando le varie tecniche di base integrando l’approccio bottom-up (utilizzo diretto delle tecniche fornite) con quello top-down (suddivisione del sistema complesso in parti più piccole, per la cui soluzione si utilizzano le tecniche di base fornite).

La parte progettuale sarà incentrata principalmente sull’uso della piattaforma software vvvv Gamma, uno dei principali strumenti di modellazione e progettazione utilizzati per lo sviluppo di progetti multimediali interattivi, a cui saranno affiancati altri strumenti dedicati al machine learning  o al physical computing.

Obiettivo del corso è quello di fornire gli strumenti tecnologici necessari affinché gli studenti possano studiare, progettare e sviluppare progetti multimediali interattivi sia in ambito installativo sia performativo.

Programma

---

Conoscenze preliminari richieste: conoscenze base del computer, della progettazione grafica e video.

Metodi: gli incontri saranno suddivisi in due parti: nella prima saranno introdotti gli argomenti trattati nel programma da un punto di vista teorico, mentre nella seconda verrà dedicata maggior attenzione all’utilizzo degli strumenti introdotti, curandone nel dettaglio le tecniche di progettazione e programmazione.

Strumenti: il corso prevede l’utilizzo del software vvvv Gamma, tramite il quale sarà possibile utilizzare telecamere 2D e 3D, sensori di vario genere e interagire con altri strumenti software.

In particolare, saranno trattati i seguenti argomenti:

• Analisti storica sull’utilizzo dell’interazione in ambito artistico multimediale e performativo

• La piattaforma di sviluppo vvvv Gamma

• Basi della progettazione con vvvv Gamma

• Real time audio e video con vvvv Gamma

• Progettazione in abito 2D e 3D

• Riconoscimento ottico tramite librerie OpenCv

• Utilizzare le telecamere 3D (Kinect One, Azure Kinect, Intel RealSense, etc.)

• Particle Systems

• Object detection, object recognition e machine learning

• Sound Analisys

• Comunicazione con altri sistemi (protoccolli Osc, TCP, etc.)

• Physical Computing e IoT (Arduino, Raspberry Pi, etc.)

 

Modalità d’esame: per sostenere l’esame sarà indispensabile elaborare un progetto creativo (è consigliata la modalità di lavoro in gruppo, composto da 3/5 persone) che utilizzi le tecniche fornite durante il corso, coadiuvato da un elaborato cartaceo di 20/30 pagine che ne presenti il concept e ne analizzi e descriva le modalità di interazione.

Sarà inoltre necessario sostenere un colloquio orale sugli argomenti discussi durante il corso.