La Fondazione Sirm, Società Italiana di Radiologia Medica e Interventistica, ha commissionato a Microsoft, PwC, Teorema e FifthIngenium la realizzazione di un progetto per trasformare i file DICOM risultanti dalle TAC in un modello 3D fruibile tramite strumenti di realtà virtuale come HoloLens e piattaforme mobili.
Con questo progetto la Fondazione Sirm intende testare le potenzialità d’uso della realtà virtuale nella radiologia Interventistica come acceleratori dei processi di trasformazione digitale, sia in ambito formativo che nell’ambito dell’operatività clinica/chirurgica.
Le esigenze del progetto sono due.
Prima: trasformare le immagini in 3D e renderle fruibili in ambito formativo con simulazione di procedure interventistiche di base e complesse, sfruttando le caratteristiche della realtà virtuale e aumentata, che Microsoft chiama Mixed reality.
Seconda, rendere le immagini radiologiche utilizzabili in modo semplice nella attività della sala operatoria e, in ambito diagnostico-terapeutico, consentire una più intuitiva e completa valutazione del quadro clinico con una più precisa pianificazione delle procedure interventistiche da adottare.
I computer olografici HoloLens di Microsoft generano un’immagine multi-dimensionale visibile all’utente, che può così percepire gli ologrammi come se fossero collocati nel mondo fisico. Gli ologrammi sono vividi e possono essere plasmati e modificati in funzione dell’interazione con l’utente o con l’ambiente fisico in cui sono proiettati.
Progetto a due fasi
La soluzione proposta dal team di Progetto è basata su un approccio per fasi.
Fase 1: sviluppo di una prima versione che consenta, a partire dalle immagini DICOM, la ricostruzione dell’ologramma in 3D dell’aorta utilizzabile in sala operatoria e su device multiconnessi.
L’applicazione HoloLens rende possibile una esperienza condivisa tra più utenti in cui il modello 3D può essere manipolato, con l’utilizzo delle mani e attraverso comandi vocali, e visualizzato nella sua interezza e/o tramite diversi piani di taglio.
Lo sviluppo prevede inoltre l’implementazione di una infrastruttura Cloud basata su Microsoft Azure per la conversione dei file, il caricamento di informazioni sanitarie addizionali e la modellizzazione delle immagini 3D su piattaforma mobile.
Fase 2: estensione per la ricostruzione dell’intero corpo umano (comprensivo di organi e vasi) ed integrazione della realtà virtuale con diversi scenari evolutivi (strumenti di force feedback integrati con fantocci per simulazione chirurgica, conversational bot, tecniche di machine learning applicate ai dati).
I vantaggi della fruibilità dei dati
La soluzione implementata dal team di progetto garantisce vari benefici.
L’utilizzo di dati reali provenienti da immagini DICOM offre in fase di training una casistica molto più ampia rispetto agli approcci tradizionali.
La fruibilità via web e su piattaforma mobile rende le informazioni condivisibili anche da remoto e abilita scenari di collaborazione e condivisione di competenze ed esperienze ovunque l’esperto si trovi.
La condivisione di ologrammi 3D su piattaforme di realtà virtuale migliora l’efficacia e riduce i tempi di formazione degli specializzandi, offrendo una prospettiva completamente nuova e una esperienza condivisa unica.
La costante disponibilità per il radiologo interventista dei dati del paziente in 3D e in tempo reale aiuta a ridurre il rischio clinico e migliora gli esiti della cura.
Perché Hololens
Come ha commentato Veronica Jagher, Director Industry Solutions Healthcare, Microsoft Western Europe, “Gli HoloLens rappresentano uno strumento strategico al servizio delle aziende di ogni settore poichè sono in grado di trasformare il modo in cui lavorano con dati 3D, rendendo vivi e reali prodotti e informazioni. La capacità di HoloLens di proiettare visualizzazioni nello spazio fisico fa sì che il potenziale della realtà mista in sanità sia significativo. HoloLens può supportare il processo formativo del personale medico, ma anche la preparazione degli interventi chirurgici e l’assistenza a distanza”.
