Dalle stelle alle profondità marine con l’Open Science
NEANIAS, servizi innovativi per realizzare EOSC
Eva Sciacca, PhD, tecnologa presso l’Osservatorio Astrofisico di Catania (INAF). Leader del WP4 “Space Research Services” del progetto NEANIAS
La realizzazione della European Open Science Cloud (EOSC) richiede, oltre al coordinamento tra attori molto eterogenei, anche la creazione di servizi in cloud che rispondano alle esigenze della comunità della ricerca, seguendo il paradigma della scienza aperta, e che siano al contempo adattabili a settori scientifici diversi. Qui si inserisce il progetto NEANIAS, che vuole riunire settori tra loro molto distanti, eppure inaspettatamente simili, ossia le comunità della ricerca sottomarina, atmosferica e spaziale. L’obiettivo? Disegnare dei servizi innovativi per queste comunità, supportati dalla Cloud GARR e integrarli nell’ecosistema EOSC.
Per capire meglio come tutto ciò possa funzionare, abbiamo incontrato Eva Sciacca, dell’Istituto Nazionale di Astrofisica (INAF) e Claudio Pisa, del dipartimento CSD GARR.
In cosa consiste NEANIAS?
Sciacca: NEANIAS è un progetto Horizon 2020, partito a fine 2019 con l’obiettivo di prototipare servizi innovativi nel contesto di EOSC.
Claudio Pisa, PhD, Cloud engineer presso GARR - Dipartimento CSD. Nel progetto NEANIAS guida i task relativi a messa in opera e monitoraggio dei servizi EOSC
NEANIAS ha un ruolo attivo nel concretizzare l’ecosistema EOSC, coinvolgendo grandi comunità scientifiche e professionali, contribuendo allo sviluppo della tecnologia e della metodologia di EOSC a livello procedurale, strategico e anche commerciale. In particolare stiamo co-progettando e sviluppando servizi innovativi, derivati da risorse e pratiche di ricerca all’avanguardia nei tre settori della ricerca sottomarina, atmosferica e spaziale.
Da un punto di vista tecnologico, NEANIAS fornirà a questi settori dei servizi flessibili e aperti non solo per soddisfare le esigenze delle rispettive comunità, ma in grado di adattarsi a casi di utilizzo simili, favorendo la riproducibilità e la riutilizzabilità partendo da software con solide basi verso il raggiungimento di un livello di piena affidabilità.
NEANIAS è un progetto Horizon 2020 partito a fine 2019 con l’obiettivo di prototipare servizi innovativi nel contesto di EOSC
GARR partecipa al progetto con la Cloud GARR proprio su invito di INAF. In cosa consiste questa collaborazione?
Pisa: Nell’ambito del progetto, GARR ricopre il ruolo chiave di partner tecnologico, supportando la configurazione e messa in produzione dei servizi cloud sviluppati in NEANIAS, nonché la manutenzione delle risorse e dei servizi cloud correlati. Inoltre contribuirà all’integrazione dei servizi in EOSC.
In particolare, i servizi della Cloud GARR sono sfruttati per le risorse di calcolo necessarie al funzionamento dei servizi da integrare nel portale EOSC, e sono fornite sia su OpenStack (per le macchine virtuali) che sulla piattaforma Kubernetes (per i container). Infine, GARR sta fornendo un monitoraggio proattivo delle risorse cloud per prevenire e/o reagire rapidamente a problematiche tecniche che possono influire sulle operazioni e per accumulare le statistiche di utilizzo.
L’astrofisica di nuova generazione: tra sfide e opportunità
Con l’entrata in produzione di SKA (Square Kilometre Array), il più grande radiotelescopio del mondo, formato da centinaia di migliaia di radiotelescopi, l’astrofisica vedrà un vero balzo in avanti. Le dimensioni di SKA permetteranno agli astronomi di monitorare il cielo con dettagli senza precedenti, migliaia di volte più velocemente rispetto ad altri telescopi già esistenti. Una mole di dati mai vista promette di rivoluzionare la nostra conoscenza dell’Universo e delle leggi fondamentali della fisica, ma richiederà un grande sforzo computazionale e anche una revisione del modo in cui gestiamo i dati.
Le sfide tecnologiche legate al trattamento dei dati astrofisici e planetari riguardano la gestione dei grandi survey e la loro analisi (fortemente guidata dalla visualizzazione), la generazione di mappe e mosaici su larga scala, e l’individuazione automatica di sorgenti compatte, estese e strutture filamentari legate alla formazione stellare attraverso tecniche di deep learning. Lo sviluppo di metodologie, software e tecnologie cloud in EOSC sarà cruciale nello sfruttamento scientifico dei dati di progetti relativi all’astrofisica di nuova generazione.
In NEANIAS, INAF è anche fortemente coinvolta nello sviluppo dei cosiddetti “servizi core”, cioè quelli relativi alla visualizzazione ed elaborazione di grandi quantità di dati e immagini, all’intelligenza artificiale per l’identificazione e la classificazione di particolari caratteristiche e strutture all’interno di immagini multidimensionali.
Inoltre, INAF si occupa degli aspetti relativi all’identificabilità, accessibilità, tracciabilità ed interoperabilità dei dati (i cosiddetti principi FAIR) nel dominio astrofisico. In particolare, questi aspetti sono da tempo oggetto di discussione e realizzazione all’interno della comunità dell’Osservatorio Virtuale (VO, Virtual Observatory) che si raccoglie attorno all’iniziativa globale dell’IVOA.
Cos’hanno in comune la ricerca sottomarina, atmosferica e spaziale?
Sciacca: In comune c’è la sfida dell’Open Science ed esigenze simili nella gestione e visualizzazione dei dati, ad esempio nella generazione delle mappe multidimensionali e nella creazione di mosaici di immagini.
In NEANIAS stiamo realizzando per ogni settore tre servizi innovativi. Per il settore della ricerca sottomarina, servizi per la mappatura batimetrica, la realizzazione di mosaici di immagini del fondale marino e la classificazione dei fondali. Per il settore atmosferico, servizi per il monitoraggio della densità del flusso di gas serra, per la stima della concentrazione di gas e particolato nelle regioni vulcaniche e per la misurazione della qualità dell’aria. Per il settore della ricerca spaziale i servizi integrano la visualizzazione nei flussi di lavoro scientifici comuni ad analisi di mappe spaziali, la mappatura e generazione di mosaici relativi a tali immagini e l’integrazione di tecniche di apprendimento automatico per il rilevamento di strutture in mappe multidimensionali su larga scala.
Un’attività chiave è identificare i punti in comune tra i settori e fornire “servizi trasversali”, pensati per essere utilizzati nel progetto e riutilizzati da parte di servizi futuri, anche in discipline solo apparentemente molto lontane. Ad esempio, i servizi di visualizzazione e mappatura dei dati o di classificazione di particolari pattern nelle immagini potrebbero essere di interesse per comunità come quella bioinformatica e medica.
GARR Cloud in NEANIAS
L’infrastruttura messa a disposizione da GARR per il progetto conta più di 300 core virtuali, 2 TB di RAM e 10TB di spazio disco, sia sulla GARR Cloud Platform (OpenStack) sia sulla GARR Container Platform ( Kubernetes).
Come si rende possibile il riuso dei servizi anche in altre discipline?
Pisa: Le risorse di calcolo e storage dedicate al progetto appartengono a tre diverse regioni cloud, separate a livello geografico, in modo da garantire la massima ridondanza e affidabilità. Per la messa in opera e la gestione dei due cluster Kubernetes dedicati a NEANIAS, GARR utilizza il servizio DaaS (Deployment as a Service) basato su Juju. Utilizzare piattaforme standard come OpenStack e Kubernetes permette ai partecipanti al progetto NEANIAS di utilizzare gli strumenti che preferiscono per lo sviluppo e il deployment. Proprio questo approccio permette di massimizzare la portabilità delle soluzioni realizzate, favorendone il riuso e la sostenibilità a lungo termine.
Quali vantaggi comporta l’adozione di un’infrastruttura open, come quella GARR?
Sciacca: La possibilità di lavorare insieme a GARR sulla piattaforma GARR Cloud ci ha permesso di sperimentare una tecnologia paragonabile a quella offerta da servizi commerciali come Google e Amazon e di usufruire dei suoi principali benefici come la flessibilità delle risorse e la possibilità di condividerle tra i vari fornitori dei servizi, ottimizzando i consumi effettivi.
L’utilizzo della Cloud GARR ci ha inoltre alleviati dal carico di gestire e mantenere l’infrastruttura nei nostri centri di calcolo, usufruendo di servizi e software affidabili e sempre aggiornati. Per finire, la costante interazione con la comunità GARR e la loro competenza nel supporto alla ricerca ci ha enormemente guidato nella pianificazione dell’architettura dei servizi da portare sulla piattaforma e nell’ottimizzazione delle risorse richieste.
Dai un voto da 1 a 5, ne terremo conto per scrivere i prossimi articoli.
Voto attuale:
Telegram