Cluster di calcolo e hot/cold storage
Cluster di calcolo per il laboratorio di genetica botanica Genexpress
La richiesta
Genexpress è un laboratorio di ricerca in campo genomico botanico, che fa parte di una rete di laboratori distribuita in tutto il globo.
La richiesta del laboratorio di Firenze era molto avveniristica per l’epoca (2006): creare un cluster per il calcolo che potesse essere usato dai ricercatori locali, e da quelli nei vari laboratori della rete, e mostrare preview web interattive delle simulazioni con possibilità di intervenire in tempo reale.
Contemporaneamente lo storage dei dati doveva essere reso accessibile a tutti i ricercatori, sia per condividere tra loro risultati che per pubblicarli. Parallelamente tutto lo storico dei dati doveva essere mantenuto in doppia copia hot / cold, la prima per accesso immediato la seconda per archiviazione a lungo termine.
Problemi affrontati
- Costi per aggiornamento parco macchine desktop
- Credenziali diverse su ogni computer
- Tempo speso per aggiornamento applicazioni
Soluzioni implementate
- Centralizzazione costi su hardware cluster
- Single Sign-On realizzato tramite integrazione LDAP
- Applicazioni servite in modalità Saas dal cluster
Le richieste
- Permettere ai ricercatori di avere un sistema di storage dati distribuito in rete
- Costruire un sistema di calcolo distribuito che li svincolasse dalla necessita di usare il loro desktop per gli esperimenti (run)
Cosa ha fatto Develer
- Scelto e collaudato server enterprise
- Configurazione e testing del software di calcolo
- Applicazione web per gestire il workflow di lavoro dei ricercatori
Vantaggi introdotti dalle nostre soluzioni
- Facilitazione della collaborazione tra laboratori nel mondo di genetica botanica (i dati potevano essere condivisi direttamente dal cluster);
- Risparmio consistente sul fronte hardware: invece di aggiornare il parco desktop dei ricercatori, composto da decine di macchine, si aggiornano i tre server del cluster;
- Unificazione del flusso di lavoro che veniva gestito dalla zona di ricerca (wet) fino agli uffici di stesura report (dry).
Cerchi degli esperti Linux?
In quale modo la nostra metodologia ci ha aiutato
Lavorare a stretto contatto con il cliente, dalle prime fasi dello sviluppo al rilascio finale, è stato fondamentale; come in tutti i progetti molto sperimentali è stato necessario cambiare direzione in corsa diverse volte. Durante questo lavoro il nostro staff, grazie alla familiarità con i progetti open source in ambito web, ha contribuito con patch per il web server Apache per ottimizzarne le prestazioni sui processori a 64 bit del cluster.
In quale modo l’open source ha aiutato il progetto
Si può dire che il progetto non sarebbe stato realizzabile senza strumenti open source, dal server web agli applicativi finali utilizzati dagli utenti. In un contesto molto sperimentale come questo era fondamentale evitare di “reinventarsi la ruota”, e cercare il più possibile di appoggiarsi a soluzioni già stabili e testate da programmatori ed utenti di tutto il mondo.
Cliente
Consiglio Nazionale delle Ricerche
Staff
“È stato un lavoro atipico ma stimolante: creare da zero un datacenter con cluster Linux, più la relativa infrastruttura di contorno (UPS, backup ridondati off-site, etc…) e l’interfaccia web per monitorare ed intervenire in tempo reale sulle simulazioni. Il risultato è stato strabiliante per l’epoca (2006) considerando che ancora non erano diffuse soluzioni di calcolo distribuito cloud.”