Predizione dei punti di fissazione dell’occhio umano: il ruolo dell’intelligenza artificiale

314
Fig. 3

Eye Doctor ha intervistato l’ingegnere Marcella Cornia che si è aggiudicata il premio Giovani Ricercatori 2020 per il suo lavoro di ricerca “Predicting Human Eye Fixations via an LSTM-based Saliency Attentive Model” (Predizione dei punti di fissazione dell’occhio umano attraverso un modello attentivo basato su LSTM – long short-term memory).

Marcella Cornia
PhD, AImageLab, Dipartimento di Ingegneria "Enzo Ferrari"
Università degli Studi di Modena e Reggio Emilia

Ingegnere Cornia, vuole parlarci dell’interessante lavoro di ricerca dedicato alla predizione dei punti di fissazione dell’occhio umano con cui si è aggiudicata il premio Giovani Ricercatori 2020 nella categoria intelligenza artificiale e big data?

Quando un essere umano guarda un'immagine o un video, non focalizza il suo sguardo sulle regioni dell'immagine o del video con la stessa intensità, ma viene invece attratto dalle regioni più salienti e rilevanti della scena, come ad esempio possono essere un volto di una persona, una scritta presente sulla scena o colori particolarmente accesi.

Fig. 1-3 Alcuni esempi di mappe di salienza stimate automaticamente dalla rete neurale presentata. (Per gentile concessione di AImageLab, Dipartimento di Ingegneria "Enzo Ferrari" - Università degli Studi di Modena e Reggio Emilia).

Sebbene questo tema di ricerca sia sempre stato di forte interesse nell'ambito delle neuroscienze, negli ultimi anni anche in materia di intelligenza artificiale si è iniziato a studiare i meccanismi attentivi che guidano lo sguardo degli esseri umani. In particolare, sono state sviluppate diverse architetture in grado di emulare il focus dell'attenzione degli esseri umani e di predire in modo automatico una mappa di salienza che evidenzi quali aree dell'immagine o del video frame attirano maggiormente l'attenzione dagli esseri umani.

Fig. 2

Questa attività è chiamata “visual saliency prediction” (o predizione della salienza) ed è risultata essere efficace in moltissimi contesti differenti sempre legati all’intelligenza artificiale, tra cui la descrizione in linguaggio naturale della scena, il riconoscimento di oggetti, il tracking delle persone, e la compressione dei video.

Il lavoro di ricerca con cui ho vinto il premio presenta una nuova architettura basata su tecniche di deep learning e reti neurali che si occupa di emulare i meccanismi attentivi degli esseri umani e di trovare in modo completamente automatico le regioni salienti di un’immagine.

Fig. 3

L’architettura sviluppata ha raggiunto risultati particolarmente promettenti nell'ambito della predizione della salienza, vincendo nel 2017 anche un’importante competizione internazionale in questo ambito, chiamata “LSUN Saliency Prediction Challenge”. Inoltre, l’articolo scientifico che presenta l’architettura è stato pubblicato su IEEE Transactions on Image Processing, un’importante rivista del settore, ed è stato largamente apprezzato dalla comunità scientifica raggiungendo quasi 400 citazioni da altri lavori scientifici in poco più di tre anni e risultando tra i 20 articoli maggiormente scaricati nel 2020 per la rivista di pubblicazione.

 


IN BOX

Il premio Giovani Ricercatori

Il premio Giovani Ricercatori è istituito dal Gruppo 2003 per la ricerca scientifica, un forum molto autorevole nato appunto nel 2003 e che riunisce quegli scienziati italiani che lavorano in Italia e figurano negli elenchi dei ricercatori più citati al mondo nella letteratura scientifica, elenchi compilati per le diverse discipline dall’Institute for Scientific Information (ISI) di Philadelphia (USA). Il premio è sostenuto da: Consiglio Nazionale delle Ricerche (CNR), Fondazione Bracco, Istituto Nazionale di Astrofisica (INAF), Fondazione AIRC per la Ricerca sul Cancro, Chiesi Farmaceutici, Barilla, Federazione Nazionale dei Dirigenti e delle Alte Professionalità dell’Agricoltura e dell’Ambiente (FENDA).