Abstract
HPCC: workflow orchestration per l'accesso alle infrastrutture HPC on cloud
L’accesso alle risorse HPC è cruciale per la ricerca, ma ostacolato dalla complessità delle interfacce testuali e dalla frammentazione dei software. Le moderne simulazioni richiedono inoltre l'integrazione di calcolo avanzato, gestione di grandi moli di dati e machine learning. Per superare tali barriere, è stato sviluppato HPCC, un orchestratore di workflow progettato per semplificare la gestione di flussi di lavoro in ambienti cloud e distribuiti. Il contributo presenta un servizio basato su n8n, piattaforma open source a nodi, adattata all'infrastruttura ENEAGRID-CRESCO. Grazie a un catalogo di nodi personalizzati e a un approccio no-code, i ricercatori possono comporre pipeline complesse (calcolo, analisi e visualizzazione) tramite un'interfaccia grafica intuitiva, eliminando la necessità di scripting e accelerando il progresso scientifico. L’infrastruttura ENEAGRID-CRESCO già prevede un’architettura geograficamente distribuita interconnessa dalla rete GARR ad alte prestazioni, ma l’evoluzione ulteriore prevista è quella di un'architettura federata, da realizzare in collaborazione con altri centri di ricerca nazionali ed europei.
Presentazioni
- DOCUMENTO
Video
Bio
Researcher in the ICT Division of ENEA’s TERIN Department. He holds a PhD in Physics, with a thesis in the field of numerical simulations applied to non-linear systems. His research interests focus on parallel and high-performance computing, with experience in materials science for energy applications.
Abstract
HPCC: Workflow orchestration for access to cloud-based HPC infrastructures
Access to HPC resources is crucial for research, yet often hindered by the complexity of command-line interfaces and the fragmentation of software tools. Modern simulations also require the integration of advanced computing, large-scale data management, and machine learning. To overcome these barriers, HPCC has been developed as a workflow orchestrator designed to simplify the management of workflows in cloud and distributed environments. This contribution presents a service based on n8n, an open-source, node-based platform adapted to the ENEAGRID-CRESCO infrastructure. Thanks to a catalogue of customised nodes and a no-code approach, researchers can compose complex pipelines (computation, analysis, and visualisation) through an intuitive graphical interface, eliminating the need for scripting and accelerating scientific progress. The ENEAGRID-CRESCO infrastructure already features a geographically distributed architecture interconnected via the high-performance GARR network. Its planned evolution is towards a federated architecture, to be developed in collaboration with other national and European research centres.
Attribuzione 4.0 Internazionale