Se il calcolo scientifico va in periferia

Colloquio con Davide Salomoni e Daniele Cesini, tecnologi dell’INFN-CNAF

Da quando possiamo dire che l’edge computing ha “sfondato” nel calcolo scientifico?

Anche se il termine non è mai stato enfatizzato in questo settore, la raccolta e la parziale elaborazione di dati alla periferia avviene da molti anni. Un esempio sono i trigger dei rivelatori di particelle elementari degli esperimenti di LHC, che riescono a selezionare praticamente in tempo reale pochi eventi interessanti in un mare di eventi di fondo scartabili. Per flussi con data rate ai livelli degli esperimenti di ultima generazione, questa è un’operazione molto complicata che richiede potenze computazionali non trascurabili e spesso chip progettati ad hoc. Con l’evoluzione delle tecnologie, è ora più facile l’integrazione dei dati raccolti alla periferia in una logica edge con un modello cloud federato più tradizionale.

Qual è il vantaggio di questo modello?

Il modello di calcolo della fisica è da sempre sia compute che data-intensive. In effetti, la mole di dati raccolti, archiviati e analizzati, a volte a getto continuo, dai grandi esperimenti è sempre più comparabile a quella gestita dai grandi “data producer” commerciali e il trend è destinato a continuare e anzi aumentare grazie all’evoluzione tecnologica. Il modello edge in questo contesto permette di uscire dalla logica “one size fits all”. Pensiamo alla generazione di dati fortemente distribuiti nell’ambito della ricerca in fisica medica: i dati biomedici raccolti all’edge spesso non possono nemmeno lasciare il sito di produzione, ed è lì che possono venire ridotti, anonimizzati e dati in pasto a procedure di feature extraction, o entrare a far parte del training di modelli di Machine Learning. I dati pre-processati possono poi essere trasferiti verso infrastrutture cloud più performanti. Questo ha senso all’interno di un continuum edge-cloud, che integri il modello “tutto al centro”, tipico dell’HPC o di infrastrutture cloud monolitiche, con l’utilizzo di risorse e delle soluzioni locali tipico dell’edge, evitandone però l’eccessiva parcellizzazione.

Il vostro modello tende al “verticale”o si avvicina ad approcci più radicali tipo edge cooperativo o serverless?

In realtà non abbiamo un solo modello. La nostra architettura cloud deve necessariamente coprire una serie di tecnologie centrate sulla federazione di risorse, che vanno: dall’orchestrazione di workload che ne permetta l’elaborazione nel posto migliore (nel senso di disponibilità di risorse, autorizzazione all’accesso ai dati, o della loro vicinanza), al superamento di problemi di latenza attraverso l’uso di cache distribuite, all’integrazione di risorse eterogenee come GPU, CPU, FPGA, alla definizione di diversi tipo di QoS per lo storage. In questo senso, il nostro uso dell’edge non può che essere ibrido e integrato in un’architettura aperta.

Per l’esperienza INFN ci sono killer application o use case tipici di questo tipo di calcolo?

Qualsiasi esperimento o collaborazione che produca grandi moli di dati da analizzare e conservare ha oggi bisogno di un pre-processamento, da eseguire in prossimità della loro sorgente, come nel caso dei già citati trigger dei moderni rivelatori. Questo dipende soprattutto dall’impraticabilità tecnica ed economica di archiviare tutti i dati prodotti in un unico posto, ma non solo. Altre applicazioni che beneficiano di un’analisi del dato alla frontiera sono quelle che necessitano di una bassa latenza decisionale. Tra gli esempi, la fisica multi-messaggero, dove il segnale rilevato da uno o più esperimenti viene utilizzato per guidare altri apparati. Ad esempio, la rilevazione di un’onda gravitazionale da parte degli esperimenti Virgo-Ligo può dare informazioni quasi in tempo reale su come orientare i sistemi di osservazione sia terresti che orbitanti verso la sorgente del segnale. Un altro esempio sono i modelli di intelligenza artificiale, il cui addestramento è spesso effettuato su risorse centralizzate, ma poi l’inferenza viene gestita a livello edge. Il numero di use case di interesse per l’INFN è in rapido aumento, tanto da aver loro dedicato un recente workshop (https://agenda.infn.it/event/29907).

Come cambia il ruolo della rete rispetto ai modelli di computing più tradizionale?

Parliamo di oggetti fortemente interconnessi; in particolare nel modello di interesse per INFN, il continuum edge-cloud federato. La rete è dunque di fondamentale importanza, non solo per quanto riguarda le prestazioni in termini di banda e latenza, ma anche di affidabilità. Se nei centri di calcolo INFN, con la rete fornita da GARR siamo abituati ad affidabilità e disponibilità della rete estremamente elevate, in un modello edge-cloud questo potrebbe non essere sempre vero: la frontiera è spesso collocata in ambienti difficilmente raggiungibili da connessioni cablate performanti, dallo spazio alle profondità oceaniche, passando per i crateri vulcanici. Senza arrivare a esempi così estremi, anche molti laboratori scientifici non tradizionalmente abituati a gestire grandi quantità di dati possono non disporre di banda e affidabilità ottimali. È il caso di ospedali e laboratori di bioinformatica, dove con tecnologie di tipo Next Generation Sequencing si producono moli di dati impensabili fino a pochi anni fa. È importante lavorare per migliorare l’interconnessione di queste realtà, sia a livello hardware che nel software utilizzato per realizzare il continuum di cui parliamo.

Quali sono i problemi più tipici di questo modello?

Sono i problemi tipici del calcolo distribuito geograficamente: sicurezza, monitoring, accounting, temi sui quali INFN e i suoi partner hanno esperienza decennale, almeno in ambito scientifico. Tuttavia nel caso del paradigma edge-cloud, alcuni di questi aspetti sono resi ancora più complessi dal numero delle risorse distribuite potenzialmente molto maggiore che in una infrastruttura Grid o Cloud tradizionale. Un altro aspetto è la maggior necessità di automazione nella gestione di soluzioni di tipo IoT e edge, sia a livello di tecnologia che di processo, in modo da limitare il ricorso all’intervento di personale informatico esperto - una risorsa, come ben sappiamo, tipicamente scarsa. Nel caso poi di use case industriali o medici, esistono spesso requirement di protezione della privacy e della proprietà intellettuale tali da limitare o comunque complicare significativamente le possibilità implementative. Per questo motivo, la nostra INFN Cloud si è dotata da ormai un paio d’anni di zone certificate ISO 27001, 27017 e 27018 (EPIC Cloud – Enhanced Privacy and Compliance) per la raccolta e il trattamento di dati sensibili, anche provenienti da sorgenti edge. Di contro, la possibilità di decentralizzare il calcolo, avvicinandolo alla sorgente dei dati apre nuove possibilità per la loro protezione, offrendo maggiore flessibilità nelle operazioni di cifratura, anonimizzazione, filtraggio e pseudonimizzazione.

Avete progetti di punta in campo edge/fog?

Un’iniziativa ormai terminata, che ci ha permesso di definire il perimetro di queste tecnologie e sviluppare quello che oggi definiamo continuum edge-cloud, è COSA (COmputing-on-SoC-Architecture). Finanziato dalla Commissione 5 INFN, COSA ha investigato, a partire dal 2014, la possibilità di sfruttare piattaforme del mondo mobile ed embedded di tipo low-power per il calcolo scientifico. Il progetto ha analizzato use case in diversi domini scientifici (fisica delle particelle elementari, ricostruzione tomografica di beni culturali, Next Generation Sequencing, Dinamica Molecolare) mostrando che nel rapporto performance/Watt queste piattaforme possano essere estremamente interessanti per il calcolo scientifico e come, in presenza di determinate architetture (applicazioni embarassingly parallel o a basso parallelismo intrinseco) possano essere sfruttate con profitto per il calcolo alla frontiera e non solo.

Altra esperienza importante in questo senso è il progetto H2020 IoTwins (www.iotwins.eu). Al progetto collaborano 21 partner tra industriali ed accademici, coordinati da Bonfiglioli Riduttori, con lo scopo di creare una piattaforma informatica per l’ottimizzazione dei processi produttivi e la “smart-maintenance” di asset nel settore manifatturiero e delle grandi infrastrutture. Il progetto supporta 12 use case in vari domini applicativi, dalla gestione di parchi eolici off-shore (Bonfiglioli) a quella del flusso di spettatori negli stadi (Barcellona FT), alla predictive maintenance di grossi data center (INFN e CINECA). IoTwins si basa sulla creazione di Digital Twin all’interno di un’architettura informatica su tre livelli: IoT, Edge e Cloud. Questi Digital Twin sono di tipo ibrido, realizzati cioè tramite un approccio misto data-driven e model-driven. L’infrastruttura di calcolo distribuito di IoTwins è stata realizzata con il fondamentale contributo dell’INFN che ha messo a disposizione le tecnologie necessarie per la federazione delle risorse computazionali, la movimentazione dei dati e l’autenticazione degli utenti. Queste tecnologie derivano da quelle sviluppate per la realizzazione delle infrastrutture di calcolo degli esperimenti scientifici e della INFN Cloud e molti dei servizi offerti sono stati sviluppati dal progetto INDIGO-DataCloud, coordinato dall’INFN.

Parlando del trattamento di dati di natura sensibile, va citato il progetto nazionale Health Big Data, finanziato dal Ministero della Salute. Si tratta di un progetto decennale partito nel 2019, in cui INFN opera come partner tecnologico per la definizione e la creazione di un’infrastruttura cloud e dei relativi servizi distribuita sul territorio nazionale. Al progetto partecipano 51 IRCCS nazionali appartenenti alle reti oncologiche, cardiologiche, pediatriche e di neuroscienze. In questo contesto stiamo implementando soluzioni per la gestione di diversi casi d’uso per la raccolta e l’analisi dati in modo federato, da un modello cloud centralizzato fino all’apprendimento federato, focalizzato proprio sul modello edge. Abbiamo infine proposto l’espansione della nostra architettura edge-cloud nell’ambito di alcuni progetti legati ai finanziamenti PNRR, anche in diretta collaborazione con il GARR. In particolare, sono state da poco approvate due grandi iniziative in qualche modo complementari: il progetto di Centro Nazionale per l’HPC e il Quantum Computing e il progetto TeRABIT. Crediamo che il loro impatto sull’evoluzione dei servizi di elaborazione e gestione di calcolo e dati distribuiti sarà molto significativo e porterà a una cerscente attenzione a modelli integrati di edge, fog e cloud computing.