L’Intelligenza Artificiale medica di Google ha funzionato benissimo ed è stata super accurata in un laboratorio. La vita reale è però cosa assai diversa. Ma se l’IA medica farà davvero la differenza per i pazienti, dobbiamo sapere come funziona in situazioni reali.
La pandemia Covid sta portando le risorse ospedaliere di molti paesi del mondo al punto di rottura. Non sorprende che si stia guardando a nuove opportunità, come accelerare lo screening dei pazienti e alleggerire il personale clinico.
Ma uno studio di Google Health, il primo a esaminare l’impatto di uno strumento di deep learnig in contesti clinici reali, ha rivelato risultati sorprendenti.
Le norme esistenti per l’implementazione dell’IA in contesti clinici, come gli standard per l’autorizzazione FDA negli Stati Uniti o un marchio CE in Europa, si concentrano principalmente sull’accuratezza. Non ci sono requisiti espliciti per cui un’intelligenza artificiale deve migliorare il risultato per i pazienti, soprattutto perché tali studi non sono ancora stati eseguiti.
Ma questo deve cambiare, afferma Emma Beede, ricercatrice presso Google Health: “Dobbiamo capire come gli strumenti di intelligenza artificiale funzioneranno per le persone nel contesto reale, in ospedale, specialmente nell’assistenza sanitaria, prima che siano ampiamente utilizzati”.
La prima opportunità di Google per testare lo strumento in un ambiente reale è arrivata dalla Tailandia.
Il ministero della salute del paese ha fissato un obiettivo annuale per lo screening del 60% delle persone con diabete per la retinopatia diabetica, che può causare cecità se non trattata in tempo. Ma con circa 4,5 milioni di pazienti e soli 200 specialisti della retina le cliniche tailandesi non possono raggiungere l’obiettivo.
Google ha ottenuto il marchio CE, che copre anche la Thailandia, ma è ancora in attesa dell’approvazione della FDA. Quindi, per vedere se l’IA potrebbe davvero aiutare, Beede e i suoi colleghi hanno rifornito 11 cliniche di tutto il paese, di un sistema di deep learning addestrato per individuare i segni di malattie degli occhi nei pazienti con diabete.
Fino ad ora gli infermieri scattavano foto degli occhi dei pazienti durante i controlli e li inviano per essere guardati da uno specialista altrove, un processo che può richiede fino a 10 settimane. L’IA sviluppata da Google Health è in grado di identificare i segni della retinopatia diabetica da una scansione oculare con un’accuratezza superiore al 90% (cioè il livello di uno specialista umano) in meno di 10 minuti.
Il sistema analizza le immagini e rileva vasi sanguigni bloccati o altre condizioni invisibili a qualsiasi umano. Sembra impressionante. Ma è quello che è successo davvero. C’è da dire che il livello di accuratezza non dice nulla su come l’IA si comporterà nel mondo reale. Infatti questi test sono stati fatti in laboratorio. Sono incredibili, ma dovevano essere validati. Così il team di Google Health per diversi mesi ha osservato gli infermieri che eseguivano scansioni oculari e li intervistavano sulle loro esperienze usando il nuovo sistema. Il feedback non è stato del tutto positivo.
Quando ha funzionato bene, l’IA ha accelerato le cose. Ma a volte non è riuscita a dare un risultato a tutti. Come la maggior parte dei sistemi di riconoscimento delle immagini, il modello di deep learning era stato addestrato su scansioni di alta qualità; per garantire l’accuratezza, è stato progettato per rifiutare le immagini che sono sotto una certa soglia di qualità.
La vita reale è fatta di infermieri che visitano dozzine di pazienti all’ora e spesso scattano foto in condizioni di scarsa illuminazione, così oltre un quinto delle immagini sono state respinte.
Poiché il sistema ha dovuto caricare immagini sul cloud per l’elaborazione, anche le scarse connessioni Internet in diverse cliniche hanno causato ritardi. “Ai pazienti piacciono i risultati immediati, ma Internet è lento e così si lamentano”, ha detto un’infermiera. “Stanno aspettando qui dalle 6 del mattino, e per le prime due ore abbiamo potuto finire solo 10 pazienti”.
Il team di Google Health sta ora lavorando con il personale medico locale per progettare nuovi flussi di lavoro. Ad esempio, gli infermieri potrebbero essere addestrati a usare il proprio giudizio nei casi limite. Il modello stesso potrebbe anche essere ottimizzato per gestire meglio le immagini imperfette.
“Questo è uno studio cruciale per chiunque sia interessato a sporcarsi le mani e ad implementare effettivamente soluzioni di intelligenza artificiale in contesti del mondo reale”, afferma Hamid Tizhoosh dell’Università di Waterloo in Canada, che lavora sull’intelligenza artificiale per l’imaging medico.
Tizhoosh è molto critico nei confronti di ciò che vede come una corsa all’annuncio di nuovi strumenti di intelligenza artificiale in risposta a covid-19. In alcuni casi vengono sviluppati strumenti e rilasciati modelli da team senza esperienza nel campo sanitario, afferma. Vede lo studio di Google come un promemoria tempestivo che stabilire l’accuratezza in un laboratorio è solo il primo passo.
Un primo passo importante che chissà dove ci porterà.
