Un drone contro la cimice asiatica

La cimice asiatica, Halyomorpha halys, è una specie invasiva estremamente polifaga che sta dando sempre più problemi alla nostra agricoltura, in particolare alle colture orticole e ai frutteti.

Così vengono continuamente studiati vari metodi di controllo e di monitoraggio per cercare di far fronte a questo nuovo parassita sempre più diffuso e dannoso.

E proprio riguardo ai metodi di monitoraggio, uno studio internazionale a cui hanno partecipato anche ricercatori dell'Università di Perugia e quella di Modena e Reggio Emilia, ha messo a punto un sistema computerizzato per valutare la presenza e la distribuzione delle cimici in pieno campo, usando un drone.

Uno studio i cui risultati sono stati pubblicati da poco sulla rivista scientifica Computers and Electronics in Agriculture e di cui la professoressa Maria Cristina Pinotti, del Dipartimento di matematica e informatica dell'Università di Perugia, ci ha spiegato nel dettaglio cosa è stato fatto.

Professoressa Pinotti, da dove è partito questo studio?
"Da alcune piante di pere Williams e Abate Fetel che si trovano nel mio giardino di casa in provincia di Mantova! A fine Agosto 2018, decisi di raccogliere un po' di pere da portare con me a Pisa dove vivo da tantissimi anni ormai. Le pere Williams erano tutte deformi e praticamente immangiabili.

Non riuscivo a capacitarmi. Quelle pere non erano solo immangiabili, erano inguardabili.

Così cominciai a parlarne in giro. Scoprii che la causa era un nuovo insetto, arrivato da lontano, e chiamato 'cimice asiatica'.

Da lì, googolando un poco, trovai che la collega professoressa Lara Maistrello dell'Università di Modena e Reggio Emilia era stata la prima a rilevare nel 2014 la presenza di questa nuova peste. Ci sentimmo su GMeet e capimmo subito che potevamo fare qualcosa insieme: Lara era la massima esperta di Halyomorpha halys e cercava da un po' di tempo qualcuno che la aiutasse con le nuove tecnologie per rendere efficiente il monitoraggio. Il monitoraggio è infatti un'operazione fondamentale perché è utile sia per valutare il rischio legato alla peste che per valutare l'efficienza di eventuali operazioni di contenimento dell'insetto".

Cosa avete fatto?
"Il nostro laboratorio - Group of research in Algorithms for emergent models (Gear) - aveva da poco intrapreso lo studio di applicazioni legate ai droni. 
La nostra prima idea fu di utilizzare droni per esplorare il frutteto, raccogliere immagini ed allenare modelli di intelligenza artificiale per rilevare l'insetto. L'obiettivo era rendere il monitoraggio veloce, automatizzato, senza (o quasi senza) operatori in campo, ripetibile perciò con alta frequenza. Tale monitoraggio permetterebbe di ripetersi a lungo per raccogliere dati sull'abbondanza dell'infestante da sfruttarsi poi, ad esempio, in un modello epidemiologico. 

Infatti, il monitoraggio tradizionale si avvale di operatori fitosanitari che usano trappole a feromoni, percuotono i rami (frappage), ed esplorano  visivamente gli alberi al fine di contare gli insetti e misurare il rischio per la coltivazione. Come potete immaginare il processo richiede tempo ed operatori esperti. Le trappole, ad esempio, richiedono di essere ri-installate ogni anno, visitate settimanalmente da aprile a settembre, e il conteggio degli esemplari è manuale. Inoltre, nel caso della Halyomorpha halys, il feromone utilizzato è un feromone di attrazione che aumenta i danni nei dintorni della trappola. Il nostro obiettivo era provare che il monitoraggio automatico, basato sui droni e la visione computerizzata, fosse fattibile. 

Da qui nacque il progetto Haly.ID accettato da Ict-Agri-Food (selezionato insieme ad altri 18 progetti fra i 32 sottomessi) nel febbraio 2021 a cui hanno partecipato l'Università di Perugia (coordinatore), l'Università di Modena e Reggio Emilia, Technische Universität Braunschweig Germany, Tyndall National Institute - University College Cork - Ireland, University Politehnica of Bucharest - Romania, e One Planet Research Center - Imec - The Netherlands. Il progetto si è concluso il 31 Luglio 2024. Mi piace ricordare che Haly.ID, oltre ad usare droni e modelli di intelligenza artificiale per rilevare l'infestante, ha mostrato come infrastrutturare un frutteto con centraline facilmente espandibili (con sensori di temperatura, umidità, luminosità disegnati ad hoc, un prototipo di trappola adesiva intelligente per la cimice asiatica e alcune camere stazionarie per il confronto con il drone). Haly.ID ha proposto anche una blockchain leggera per la realizzazione di un diario di bordo sicuro e ha studiato il riconoscimento delle punture dell'insetto eseguite poco prima della raccolta e invisibili all'occhio nudo con tecnologie short wave infrared. Le conseguenze della cimice asiatica sono state esaminate a tutto tondo".

Quali sono i problemi principali del monitoraggio della cimice in pieno campo con un drone?
"Potremmo dire:

• la scelta del drone e del sensore visivo;
• il percorso del drone;
• la raccolta delle immagini e la loro analisi.

Quando siamo partiti non avevamo la certezza che il drone fosse la scelta giusta. Innanzitutto, dovevamo capire quale fosse il sensore video incorporato nel drone e già disponibile sul mercato con risoluzione sufficiente per identificare la cimice. Infatti le camere portate dai droni prediligono l'impostazione grandangolare, mentre noi  avremmo avuto bisogno di foto ravvicinate di piccoli oggetti (macro camera). Al momento dell'inizio del progetto, l'unico sensore con uno zoom ottico compatibile con le esigenze del progetto era il sensore della fotocamera RGB Zenmuse H20 montato sul drone DJI Matrice 300. La camera Zenmuse H20 è una fotocamera bridge con lunghezza focale variabile che permette quindi di scegliere l'ampiezza del campo visivo.

La scelta della camera ha trainato quella del drone:  DJI Matrice 300. Un drone un po' ingombrante (circa 1 metro di estensione orizzontale a eliche aperte e capace di alzarsi in volo con un peso complessivo di 9 chili), ma con molti vantaggi: equipaggiato con tecnologia di posizionamento satellitare preciso ( Real Time Kinematics RTK), dotato di uno stabilizzatore ad hoc per la camera Zenmuse H20, e programmabile. Da notare che il drone, nonostante le sue misure, non influenza negativamente il comportamento dell'insetto: il rumore del drone lascia l'insetto indifferente, mentre il vento sollevato talvolta blocca l'insetto adulto, e di conseguenza rende ancora più facile fotografarlo.

Le caratteristiche della camera sono state decisive per la selezione del percorso. Dato che la distanza minima per la messa a fuoco con le focali che soddisfano la risoluzione richiesta per le nostre immagini è di 8 metri, abbiamo scelto di volare sopra il frutteto. Il drone sorvola il frutteto a circa 10 metri da terra. Pianificare il percorso del drone a 10 metri di altezza richiede semplicemente di controllare che non ci siano piante fuori sagoma. È molto più semplice la pianificazione con un drone che con un rover perché non ci interessa il terreno sottostante. 

Per alleggerire il monitoraggio, volevamo che il drone seguisse in modo autonomo un percorso predefinito (anche se in realtà, in ottemperanza alle leggi attuali, l'operatore è presente ma solo per controllare passivamente il volo sullo schermo del telecomando). Così abbiamo progettato per il nostro drone un'applicazione Android che sfrutta la tecnica RTK precisa al centimetro e l'ambiente di sviluppo (SDK) messo a disposizione dal produttore DJI per programmare il tragitto del volo. È sufficiente dare una successione di posizioni intermedie (magari selezionate in un volo del drone con operatore) per tracciare il percorso. L'applicazione quindi è molto flessibile.

La stessa applicazione Android passa alla fotocamera i parametri da utilizzare per lo scatto. Quindi, la nostra applicazione Android, nei punti intermedi da noi selezionati, scatta un 'mosaico', cioè una matrice di 6x5 foto che coprono circa due piante dal tronco alla cima. Per ogni foto, i parametri della camera sono settati - in modo trasparente all'operatore - in modo da garantire la risoluzione necessaria per identificare la cimice. La stessa applicazione scarica le immagini dal drone al device su cui è installata per poi inviare le immagini ad un servizio cloud, predisposto dal progetto Haly.ID, dove i modelli di intelligenza artificiale sono applicati alle immagini stesse per identificare le cimici. I modelli ritornano poi la predizione. Questa applicazione può anche essere usata per esperimenti di citizen science, ossia un generico utente può mandare la propria foto e chiedere se si tratta di una Halyomorpha halys".

Cosa è in grado di fare la vostra tecnologia?
"Avendo predisposto tutto l'ambiente, il cuore della nostra tecnologia è provare che è possibile allenare modelli neurali all'avanguardia, come YOLOv5, YOLOv8, RetinaNet e Faster-RCNN, su immagini aeree catturate da un drone per individuare la cimice asiatica. Il compito è arduo se si pensa che l'immagine ha 5188 x 3844 pixel, e la cimice occupa da un minimo di 33×45 pixel a un massimo di 183×132 pixel (includendo le antenne e le zampe).

Le immagini sono caratterizzate da uno sfondo disordinato composto perlopiù da fogliame. Tuttavia, la buona risoluzione, ottenuta selezionando opportunamente i parametri delle foto, consente una chiara visualizzazione di tutti i tratti distintivi di Halyomorpha halys quando si ingrandisce la foto.

Per allenare i modelli, abbiamo scomposto l'immagine in sotto-immagini di 640 x 640 pixel per permettere al modello di avere maggior capacità di elaborazione. I modelli sono stati allenati ricevendo non solo immagini che contenevano la cimice, ma anche una percentuale di sotto-immagini senza cimici. Questo è stato fatto per aiutare il modello a prendere coscienza che non tutte le sotto-immagini aeree elaborate contengono una cimice e quindi evitare di incorrere in molti falsi positivi quando utilizzati in campo. Infatti, piccole porzioni di rami sono zone che possono essere erroneamente riconosciute dal modello come cimice. In pratica, il modello restituisce una zona riquadrata in cui predice con una certa confidenza la presenza della cimice.

I risultati ottenuti sono sinceramente molto promettenti. Il nostro modello preferito, Yolov5 size Medium, ha una precisione di 0.88 (ossia confonde il fogliame con la cimice una volta ogni 5 o 6 cimici e quindi ha un numero basso di falsi positivi) e una recall di 0.71 (ossia perde una cimice ogni 4, quindi ha un numero basso di falsi negativi). Tuttavia, abbiamo anche modelli con una precisione molto più alta o una recall molto più alta (il massimo per entrambe è 1). Abbiamo preferito però il modello che bilancia al meglio entrambe le misure di perfomance: precisione e recall.

È importante anche notare che il nostro dataset consiste di 402 immagini annotate da esperti ricercatori entomologi con 546 occorrenze dell'insetto adulto. Abbiamo ottenuto questi risultati con un dataset relativamente piccolo. Ampliando il dataset i risultati non potranno che migliorare. Da notare che i nostri modelli potranno aiutare anche ad estendere i dataset, in quanto l'annotazione delle immagini aeree per la loro complessità è un processo particolarmente oneroso per i ricercatori entomologi. Quindi ricevere suggerimenti dai modelli di predizione alleggerisce il loro lavoro. Sarebbe solo necessario non interrompere le attività.

Purtroppo però il progetto è finito!

Prima del nostro esperimento, non erano presenti risultati in letteratura di questo tipo. Il nostro insetto non è piccolissimo, ma averlo identificato con un drone che vola a 8-10 metri è un risultato molto buono e che ha superato le mie aspettative. 
Abbiamo anche testato la bontà dell'utilizzo del drone rispetto all'uso di camere stazionarie. Le camere stazionarie inquadrano sempre e solo un punto del frutteto. La probabilità che la cimice passi nella zona inquadrata è bassissima: praticamente le cimici sono state trovate solo se la zona inquadrata conteneva un frutto. In tal caso, abbiamo osservato che la cimice poteva soffermarsi anche per decine di minuti sullo stesso frutto se non disturbata. Il drone muovendosi in tutto il frutteto ha più possibilità di intercettare la cimice. Inoltre il drone intercetta le cimici anche senza attrarle con il feromone. Ovviamente la raccolta dati deve essere ripetuta con regolarità, ma avendo ora pronto tutto l'ambiente sarebbe facile.

Il nostro progetto ha dato la prova di fattibilità! 

Abbiamo anche confrontato il monitoraggio automatico con quello dell'operatore fitosanitario: il drone al momento vede circa la metà delle cimici viste da un occhio allenato ma nella metà del tempo. Il drone al momento vede soprattutto le cimici dall'alto, l'operatore quelle alla sua altezza.

Ripeto la prova di fattibilità è stata data e rimane la messa a punto del metodo.
In sintesi, abbiamo una tecnologia che permette di raccogliere immagini con un drone in volo autonomo, inviarle ad un server che analizza le immagini, restituisce le predizioni che sono affidabili come indicato dalle misure di performance. L'affidabilità crescerà con i dati raccolti dallo stesso modello. Ovviamente l'attività del drone potrebbe essere aggregata con i dati della trappola adesiva che lavora al momento con i feromoni e riconosce la cimice con modelli di visione computerizzati all'edge. 

Faccio notare che è possibile, perché ne abbiamo già valutato la fattibilità, il porting dei  modelli di identificazioni per le immagini del drone su un dispositivo di elaborazione portato dal drone stesso (senza inviare i dati al server): questo permetterebbe di avere durante il volo le predizioni. Tuttavia, in ogni caso le immagini potrebbero essere successivamente caricate sul server per utilizzarle per raffinamenti successivi del modello".

Attualmente siete ancora alla fase di prototipi o ci sono già dispositivi disponibili sul mercato e utilizzabili?
"La nostra proposta ha livello Trl (Technology Readiness Level) 5: abbiamo cioè integrato in un sistema i componenti, li abbiamo testati nel nostro laboratorio in campo, cioè un piccolo pereto in provincia di Modena, e abbiamo così un primo prototipo della nostra tecnologia.

Siamo coscienti che c'è ancora molto da fare, ma sarebbe un peccato perdere il knowhow acquisito. È davvero tanto!

Servirebbero persone che si dedicassero ad eseguire con intensità la raccolta dati con il drone e noi potremmo seguire meglio lo sviluppo dei modelli di visione intelligente.

Purtroppo il progetto è finito e l'Italia non è un partner fondatore della successiva call 2024 di Ict Agri Food lasciandoci orfani!

Sarebbe bello poter fare un Haly.ID 2.0!

Le applicazioni di questa tecnologia sempre in ambito agricolo sono tante. Ad esempio, siamo stati contattati da ricercatori portoghesi che pensano di poter utilizzare la nostra tecnologia per contare le cicaline nei vigneti. Ci sono le cimici del grano, e molto più".