La mano è il nostro principale mezzo di interazione con l'ambiente che ci circonda. L'uso che ne facciamo ci contraddistingue dalla maggior parte delle altre specie animali. In un futuro non molto distante potremmo dover usare sempre più spesso le mani in realtà virtuale o, grazie ai passi avanti che la prostetica sta facendo in questi anni, con nuove interfacce. La sfida sarà capire come la nostra attività cerebrale e comportamentale cambierebbero in seguito all'acquisizione, nel nostro schema corporeo, di una mano virtuale diversa dalla nostra. Lo scopo del presente progetto sarà dunque quello di investigare, attraverso l'uso combinato di realtà virtuale immersiva (VR), elettromiografia (EMG) e algoritmi di machine learning (ML): I) gli effetti conseguenti all'Embodiment di una mano virtuale sulla percezione del proprio braccio reale. II) Gli effetti del delay nel movimento di una mano virtuale animata tramite EMG sul suo incorporamento (Ownership) e sul senso di Agency. Infine, cercheremo di III) ottenere un accuratezza (con un approccio di ML) nel riconoscimento dei pattern di attivazione muscolare dell'avambraccio superiori al 95%. In particolare, ci aspettiamo che la congruenza visuo-spaziale tra il corpo reale dei partecipanti e il loro avatar virtuale eliciterà un senso di Ownership (appartenenza) verso l'avatar. Ci aspettiamo di trovare una soglia di delay nel movimento dell'arto virtuale sotto la quale i soggetti manterranno sempre un senso di Agency verso la mano digitale.
Da un punto di vista teorico, nessun gruppo di ricerca ha mai studiato l'embodiment di un arto in realtà virtuale mosso direttamente dal segnale elettromiografico. In futuro, con lo sviluppo di elettrodi sempre più sensibili, e algoritmi sempre più accurati, muovere le nostre controparti virtuali con i nostri segnali fisiologici sarà la norma. Allo stato attuale invece, vengono ancora usati marker luminosi applicati sulle parti da tracciare per ricavarne dati cinematici da trasferire sugli avatar. Altre tecniche prevedono invece guanti dal costo proibitivo e attrezzature usate in computer grafica nella produzione dei film. La presente proposta potrebbe aprire la via ad un modo nuovo e sempre più accurato di trasferire le naturali attivazioni muscolari in realtà virtuale.
Dal punto di vista tecnico, nessun gruppo di neuroscienziati ha mai pensato a modellare in 3d un ibrido corpo-strumento in grado di essere animato tramite tracking del braccio e dati elettrofisiologici. La sfida principale in questo approccio nasce principalmente dalle competenze altamente multidisciplinari che questo paradigma comporta. Integrare un motore grafico ad alte prestazioni come Unity3d infatti, con un sistema di realtà virtuale con tracking delle mani come il Valve Index rappresenta già di per sé una sfida per i non addetti ai lavori. L'utilizzo di un approccio di machine learning integrato nel motore grafico che sia abbastanza accurato e stabile da un lato e rispetti dei limiti nel delay di pattern recognition dall'altro rende il progetto ancora più ambizioso.
Le ricadute applicative della presente proposta inoltre sono molteplici e tutte ad alto impatto. Il successo anche solo ingegneristico del paradigma porterebbe comunque ad un innovazione nel campo della clinica e della ricerca.
Da una prospettiva clinica infatti, l'integrazione di un classificatore EMG accurato con un visore VR di ultima generazione potrebbe costituire un'innovazione sia per i pazienti con amputazione che quelli colpiti da ictus. Per gli amputati infatti, un sistema VR-EMG rappresenterebbe sicuramente un'alternativa più coinvolgente nella gestione del dolore e dell'arto fantasma rispetto a tecniche tradizionali come la Mirror box Therapy. Inoltre, la realtà virtuale potrebbe aiutare i pazienti con amputazione, tramite esercizi ad hoc, ad evitare la riorganizzazione corticale delle aree somatosensoriali che normalmente seguono la perdita di un arto (Knecht et al.1996). Infine, questa tecnica innovativa potrebbe aiutare gli ingegneri coinvolti nella creazione di protesi a visualizzare il funzionamento delle stesse prima della costruzione ed i pazienti a scegliere il modello che preferiscono in realtà virtuale immersiva. Per quanto riguarda i pazienti affetti da ictus invece, è noto che il successo riabilitativo di condizioni di emiplegia si basi sulla ripetizione di esercizi e sulla perseveranza, specialmente nella fase acuta dopo l'incidente. Da questo punto di vista il biofeedback tramite elettromiografia e la "gamification" dell'esperienza riabilitativa tramite VR andrebbero a costituire un grande beneficio per il coinvolgimento dei pazienti nella pratica giornaliera.
Dal punto di vista applicativo che riguarda invece più da vicino la ricerca, il successo del nostro paradigma prevede infine la creazione di un file scaricabile per gli altri laboratori contenente animazioni e modelli 3d da un lato e il codice di interfaccia tra il motore grafico e il sistema di elettromiografia dall'altro. Questa opportunità garantirebbe sicuramente ad altri gruppi di ricerca che non hanno le nostre competenze di realtà virtuale, machine learning o analisi dei segnali di contribuire comunque alla ricerca multidisciplinare in campi come le neuroscienze, la prostetica o la bio-ingegneria. Infine, grazie all'utilizzo del software Unity3d sarà semplice trasportare il paradigma dalla realtà virtuale a quella aumentata, aprendo la strada a paradigmi ancora più all'avanguardia sul piano tecnologico.