CEFPAS

Centro per la Formazione Permanente e
l'Aggiornamento del Personale del Servizio Sanitario

Intelligenza artificiale e disabilità visiva: ce ne parla il fondatore di vEyes Massimiliano Salfi

Il 27, 28 e 29 marzo 2023 al CEFPAS si è svolto il corso “Ortottica e Interdisciplinarità”, organizzato in collaborazione con AIOrAO Sicilia. L’aumentata sopravvivenza dei bambini prematuri e l’aspettativa di vita cresciuta per le persone anziane comportano un aumento di patologie neurodegenerative. Il progetto riabilitativo diventa necessariamente interdisciplinare coinvolgendo diverse professioni sanitarie. Il corso si è concentrato su un approccio interdisciplinare e multi professionale che metta al centro la persona e ne realizzi un progetto riabilitativo personalizzato e che sia omnicomprensivo di ogni aspetto. Il corso è stato aperto a neuropsichiatri infantili, psichiatri neurologi, pediatri, terapisti della neuropsicomotricità, logopedisti, fisioterapisti, tecnici della riabilitazione psichiatrica, ortottisti, educatori professionali, psicologi e medici di base.

L’attività formativa ha avuto lo scopo di evidenziare e rafforzare l’approccio interdisciplinare e multiprofessionale nel campo dell’ortottica attraverso la trattazione di diversi temi quali: l’ortottista nel team riabilitativo, l’ortottista nello stroke unit dalla valutazione del paziente non cosciente alla riabilitazione, la componente psicologica nella riabilitazione, lo stretching oculare (parte pratica), i disturbi generalizzati dello sviluppo, l’autismo, i disturbi dello spettro autistico, le implicazioni ortottiche nei disordini del neurosviluppo associate a disabilità intellettive, gli elementi ortottici di riabilitazione.

Uno dei temi trattati è stato l’importanza della tecnologia nel percorso riabilitativo, l’innovazione tecnologica a supporto della riabilitazione e l’eye-tracker per l’individuazione e l’intervento precoce di diversi disturbi. Questi argomenti sono stati affrontati da Massimiliano Salfi, docente di Informatica medica presso l’Università degli studi di Catania, – nonché docente del corso “Ortottica e Interdisciplinarità” che si è svolto presso il nostro Centro – vincitore di numerosi premi per applicazioni da usare nell’ambito della riabilitazione e della diagnostica, esperto di ingegneria biomedica e nella progettazione di ausili e tecnologie assistive che sfruttano il gaming e l’intelligenza artificiale, oltre che fondatore e Presidente della Onlus vEyes (virtual Eyes) che realizza numerosi progetti di ricerca e sviluppa ausili tecnologici offerti gratuitamente a bambini con disabilità visive.

Massimiliano Salfi, fondatore e Presidente della Onlus vEyes
  • In che modo il gaming può supportare la riabilitazione dei pazienti pediatrici?

Le attività riabilitative in genere, oltre che faticose, sono spesso noiose e ripetitive. Se ci riferiamo, poi, alla terapia occlusiva somministrata su di un bimbo ambliope, si aggiunge un ulteriore elemento di difficoltà, dal momento che il piccolo paziente solitamente tollera pochissimo (o non tollera affatto) la benda. Negli anni, sono state tantissime le famiglie che si sono rivolte a me ed allo staff di vEyes, sconfortati nel non riuscire a far eseguire con regolarità gli esercizi quotidiani e garantire l’occlusione con la benda dell’occhio dominante, per la durata giornaliera indicata dall’ortottista. Di contro, mi capitava spesso di riscontrare enorme interesse verso l’utilizzo di giochi e contenuti basati su realtà virtuale immersiva e aumentata, da parte di bambini e ragazzi di ogni età (a dire il vero, talvolta anche da parte dei loro genitori!) in negozi di elettronica. Al punto da veder spesso mamme e papà faticare nel convincere i loro figli a che era ora di andar via, staccandosi dunque dalle varie console e visori. È stato allora che mi è balenata l’idea di provare a trasformare in attività ludiche le sessioni di riabilitazione, progettando e sviluppando insieme ai miei collaboratori, una piattaforma denominata ViStA (Visual Stimulation Ambience) ovvero un insieme di strumenti che da una parte mandano buio nell’occhio dominante, una volta indossato il visore (evitando dunque l’uso di bende o cerotti); dall’altra, trasportano il bambino all’interno del cartone animato scelto, interagendo con i personaggi preferiti, o lo portano a confrontarsi con contenuti e giochi che lo inducono a inseguire con l’occhio ambliope oggetti in movimento in varie direzioni e distanze, di diverse forme e colore. Le sessioni di gioco possono essere condotte insieme ad altri bambini, provando a gareggiare, magari confrontandosi a casa con fratelli e sorelle (anche se nessuno di loro necessità di riabilitazione) provando a vedere chi raggiunge il punteggio più alto. Tutto ciò, ad oggi, sta portando notevoli risultati intanto perché migliora notevolmente la compliance dei piccoli pazienti e poi perché aumenta notevolmente la qualità delle sessioni, dal momento che il bambino per ottenere il punteggio più alto, o il massimo dell’esperienza ludica, è costretto ad applicarsi a pieno per l’intera durata della terapia e delle esercitazioni a casa, cosa non scontata nella terapia occlusiva tradizionale se all’applicazione del cerotto, non segue lo svolgimento dei compiti, la realizzazione di un disegno o l’applicazione in altra attività che lo costringa a sforzare l’occhio da riabilitare.

  • Qual è il futuro dell’intelligenza artificiale legata alle disabilità visive?

Occorre fare una premessa importante: quando parliamo di intelligenza artificiale, ci riferiamo a degli strumenti che, se opportunamente addestrati, sono in grado di supportare l’uomo in qualsiasi contesto quotidiano. Si parla di addestramento della macchina, o machine learning, proprio perché così come accade per un cervello naturale, anche per una rete neurale artificiale è necessario un addestramento, solitamente piuttosto lungo, durante il quale occorre che un supervisor trasferisca la propria conoscenza a tali sistemi, o è necessario che il sistema impari dalla propria esperienza, evitando di ripetere errori commessi o potenziando le pratiche che hanno portato ad un avvicinamento all’obiettivo prefissato, prima che possano fornire un valido supporto all’uomo, nel contesto applicativo per il quale sono stati sviluppati. Immaginiamo, a questo punto, che una persona con disabilità visiva desideri recarsi a fare la spesa in autonomia. Cosa accade nel momento in cui, da uno scaffale contenente tante lattine di bevande tutte uguali al tatto per forma e dimensione, desideri prelevare e acquistare una aranciata e non una birra? Senza il supporto di un vedente, ciò diventa pressoché impossibile. In vEyes abbiamo provato a fornire una soluzione, ovvero sviluppare (e pubblicare per il download gratuito su telefonini Android nel Play Store di Google) una applicazione che è dotata di un sistema intelligente che un caregiver può addestrare facendo acquisire al sistema immagini delle varie lattine, con la dicitura corrispondente al contenuto. A quel punto, il disabile visivo dovrà semplicemente attivare l’app, far scorrere lo smartphone in modo che inquadri le lattine riposte sullo scaffale, ricevendo l’indicazione vocale corrispondente alla tipologia di lattina inquadrata, potendo così mettere nel proprio carrello, con certezza assoluta, la bevanda desiderata. Ma anche nella diagnostica è possibile fare tantissimo. Un’altra cosa che in vEyes abbiamo realizzato, su richiesta dell’associazione cataratta congenita, parte del nostro network fin dal 2014, che ne ha cofinanziato i lavori, il progetto vEyes RRE (Red Reflex Examination), il cui cuore è redEyes, in grado di effettuare il test del riflesso rosso su di un neonato, analizzando le immagini attraverso due sistemi di intelligenza artificiale addestrati per anni allo scopo, in modo da segnalare se sano o sospetto patologico. E questi sono solo due esempi delle tantissime applicazioni alle quali in vEyes lavoriamo con l’intento di supportare da un lato le persone con disabilità visiva nel quotidiano, dall’altro i clinici nella diagnostica (non solo in contesto visivo).

  • Cosa è vEyes (virtual Eyes) e quali servizi svolge per le persone con disabilità visive?

vEyes è nato il 20 giugno del 2012 come progetto di ricerca non-profit quando a mia figlia, che ai tempi aveva solo 8 anni, venne diagnosticata una retinite pigmentosa “sale e pepe”. Inizialmente mi limitavo ad assegnare tesi di laurea che avessero l’obiettivo di realizzare ausili tecnologici in grado di supportare un disabile visivo nel quotidiano, o di studiare le distrofie retiniche ereditarie. Questa idea ebbe parecchio successo, in quanto i ragazzi vedevano nel loro lavoro di tesi qualcosa da spendere nel sociale, dal momento che in genere, quanto sviluppato, finiva per essere concretamente utilizzato da chi aveva una reale necessità. Il tam tam messo in piedi dai ragazzi, attraverso i social, portò varie testate giornalistiche ad interessarsi al progetto e, da lì, a ricevere tantissimi contatti da genitori che vivevano la mia stessa condizione con i loro figli, senza avere le necessarie competenze per mettere in piedi quanto stavo provando a realizzare, forse senza avere inizialmente nemmeno la reale consapevolezza di aver messo le basi per qualcosa di importante. Da lì, la decisione di strutturare il progetto in una onlus (il 14 novembre del 2014), in modo da garantire un utilizzo benefico e gratuito di quanto realizzato, quindi la creazione di un vero e proprio centro non-profit, vEyes Land (che ha sede nel comune di Milo, sull’Etna), attivando all’interno diversi progetti, servizi ed attività a beneficio di tutti, dal momento che la filosofia “open” adottata nelle tecnologie hardware e software, è stata estesa nel modello giuridico: vEyes, infatti, non associa persone chiedendo iscrizioni e pagamento di quote associative, ma ha creato e gestisce un network che include università, centri clinici, associazioni di pazienti o semplici volontari. Da una parte, dunque, abbiamo chi desidera spendersi verso la causa, mettendo a disposizione le proprie competenze, dall’altra, invece, chi necessita di beneficiare dei nostri servizi o delle nostre tecnologie.

  • Quali sono i progetti principali in atto con vEyes (virtual Eyes)?

Un elenco esaustivo sarebbe davvero lungo. Oltre alla già citata piattaforma ViStA, per la riabilitazione visiva (con la relativa somministrazione in un ambulatorio interno a vEyes Land) e al sistema che effettua il test del riflesso rosso su di un neonato, supportando l’attività diagnostica con due sistemi di intelligenza artificiale, assume particolare importanza la vEyes Orchestra, che include musicisti vedenti, ipovedenti e non vedenti attraverso l’uso di tecnologie da noi appositamente realizzate allo scopo (su tutte, il sistema Leonard, che converte il movimento delle mani in un clic da mandare agli orchestrali con disabilità visiva, attraverso un auricolare a conduzione ossea). Non meno importante, poi, è il sistema Tourist Eyes, sperimentato nella millenium square di Bristol prima della pandemia e che, grazie all’uso del 5G e di un sistema di intelligenza artificiale, è in grado di guidare nella mobilità verso punti di interesse, in un’area interna o esterna non nota, un disabile visivo. Vi è poi la piattaforma ARIANNA, che estende l’esperienza di redEyes verso altri sistemi di screening come SABREEN (Smart Assistant for BREast screENing), in grado di effettuare una ecografia mammaria utilizzando una sonda ecografica opportunamente reingegnerizzata, analizzando le scansioni con una rete neurale artificiale addestrata per rilevare e segnalare al radiologo senologo la presenza di lesioni e la loro natura sospetta maligna o benigna o in grado di monitorare da remoto un paziente onco-ematologico, per non parlare del modulo, in corso di realizzazione, che stiamo addestrando per poter guidare il personale sanitario verso la diagnosi della corretta patologia rara (non solo oculare) della quale è affetto il paziente. Ma si potrebbe continuare con la piattaforma indossabile vEyes Wear, un sistema basato su occhiali e cintura al quale lavoriamo da anni per poter supportare un disabile visivo nel quotidiano (da questo sistema è stato estrapolato il modulo descritto in precedenza, che può essere addestrato a riconoscere oggetti non riconoscibili al tatto) soprattutto nella mobilità, segnalando un percorso libero da ostacoli grazie ad una depth, camera montata nella cintura al posto della fibbia, che fornisce indicazioni attraverso la vibrazione delle stanghette. A tutto questo, si aggiungano poi le visite oculistiche ed ortottiche, la già citata riabilitazione visiva pediatrica, il sostegno psicologico, le consulenze legali e molto altro.

  • Cos’è l’eye tracker, quali informazioni fornisce e come funziona?

Per eye tracker, in genere, si intende un dispositivo in grado di tracciare punti di fissazione e saccadi attraverso varie tecnologie. La più diffusa, si basa sulla tracciatura ottica, ovvero sull’utilizzo di una fonte luminosa vicina all’infrarosso al fine di illuminare l’occhio o parallelamente al percorso ottico o in modo sfalsato. Attraverso una speciale telecamera ad infrarossi, poi, si registrano i movimenti oculari tracciando o il centro del riflesso della retina (che rende luminosa l’intera pupilla), o il riflesso corneale. Ad oggi sono svariati i campi di applicazione. Si va dalle tecnologie assistive, consentendo ad un disabile motorio grave l’interazione con un computer utilizzando il punto di fissazione per individuare l’oggetto con il quale interagire, al posto del mouse, al neuromarketing dove si punta a comprendere quali siano gli oggetti che catturano maggiormente l’attenzione dei clienti osservando la merce esposta su di uno scaffale all’interno di un negozio, o nella schermata di un sito di e-commerce. Ma, spostandosi in campo medico, sono tantissimi gli studi clinici che puntano ad arrivare ad una diagnosi precoce dell’autismo individuando le difficoltà di un bambino nell’osservare volti, o alla diagnosi precoce di Alzheimer, esaminando abilità quali l’attenzione, la memoria o l’inibizione cognitiva, attraverso l’analisi dei movimenti oculari. Ma l’elenco può essere allungato oltremodo, includendo studi che puntano alla diagnosi di encefalopatia ipossico-ischemica, di Sclerosi Laterale Amiotrofica, di sindrome di Angelman, etc.

  • Come l’approccio interdisciplinare e multiprofessionale promosso dal corso “Ortottica e Interdisciplinarità”, organizzato dal CEFPAS, mette al centro la persona e realizza un progetto riabilitativo personalizzato?

Chi mi conosce bene, sa quanto io creda fortemente nell’approccio interdisciplinare in tutti i campi di applicazione. Basti pensare che ho voluto fortemente che si attivasse il corso di “elaborazione di segnali biomedici e tecnologie per l’eHealth” di cui ho avuto affidata la docenza da alcuni anni sempre presso l’università di Catania, mettendo insieme, in una stessa aula, futuri medici e professionisti della sanità e futuri ingegneri. In virtù di tale visione, tutti i progetti di vEyes sono sempre affidati a staff nei quali sono presenti varie professionalità. Ad esempio, tutte le sedute di riabilitazione visiva effettuata con il sistema ViStA, sono condotte mettendo insieme un ortottista, uno psicologo ed uno sviluppatore software. L’esperienza in questi due anni, ha portato ad evidenziare come fin troppo spesso, dietro un bambino che collabora poco, c’è un caregiver (solitamente la mamma o la nonna) iperprotettivo, con alti livelli di ansia che lo porta, dal loro punto di vista, a proteggere il bambino, determinando di conseguenza la scarsa collaborazione da parte del bambino. Il ruolo dello psicologo, dunque, appare fondamentale nella gestione di tale genitore distogliendone l’attenzione, agevolando il lavoro dell’ortottista nei confronti del piccolo paziente, gestendone paure, ansie, sensi di colpa. Lo sviluppatore, invece, presidiando le sedute, prende coscienza sulle necessità e i desideri esternati dai bambini, in modo da integrare nuovi personaggi all’interno del sistema, abilitare nuove funzioni e customizzare l’ambiente, tenuto conto delle necessità esternate dall’ortottista.

L’intervista è stata realizzata dal Servizio Comunicazione del CEFPAS.

Intelligenza artificiale e disabilità visiva: ce ne parla il fondatore di vEyes Massimiliano Salfi

Salta al contenuto