Cluster di calcolo e hot/cold storage

Cluster di calcolo per il laboratorio di genetica botanica Genexpress

Cluster di calcolo e hot/cold storage

"È stato un lavoro atipico ma stimolante: creare da zero un datacenter con cluster Linux, più la relativa infrastruttura di contorno (UPS, backup ridondati off-site, etc...) e l'interfaccia web per monitorare ed intervenire in tempo reale sulle simulazioni.  Il risultato è stato strabiliante per l'epoca (2006) considerando che ancora non erano diffuse soluzioni di calcolo distribuito cloud."

Lorenzo Mancini - Team Leader Develer

La richiesta

Genexpress è un laboratorio di ricerca in campo genomico botanico, che fa parte di una rete di laboratori distribuita in tutto il globo.

La richiesta del laboratorio di Firenze era molto avveniristica per l'epoca (2006): creare un cluster per il calcolo che potesse essere usata non solo dai ricercatori locali ma anche da altri laboratori della rete, e mostrare preview web interattive delle simulazioni con possibilità di intervenire in tempo reale.  Contemporaneamente doveva essere possibile per tutti i ricercatori della rete, locale e remota, utilizzare lo storage dati, sia per condividere tra loro risultati che per pubblicarli.  Parallelamente tutto lo storico dei dati doveva essere mantenuto in doppia copia hot / cold, la prima per accesso immediato la seconda per archiviazione a lungo termine.

Vantaggi introdotti dalle nostre soluzioni

  • Facilitazione della collaborazione tra laboratori nel mondo di genetica botanica (i dati potevano essere condivisi direttamente dal cluster);
  • Risparmio consistente sul fronte hardware: invece di aggiornare il parco desktop dei ricercatori, composto da decine di macchine, si aggiornano i tre server del cluster;
  • Unificazione del flusso di lavoro che veniva gestito dalla zona di ricerca (wet) fino agli uffici di stesura report (dry).

In quale modo la nostra metodologia ci ha aiutati

Lavorare a stretto contatto con il cliente, dalle prime fasi dello sviluppo al rilascio finale, è stato fondamentale; come in tutti i progetti molto sperimentali è stato necessario cambiare direzione in corsa diverse volte.  Durante questo lavoro il nostro staff, grazie alla familiarità con i progetti open source in ambito web, ha contribuito patch per il web server Apache per ottimizzarne le prestazioni sui processori a 64 bit del cluster.

In quale modo l'open source ha aiutato il progetto

Si può dire che il progetto non sarebbe stato realizzabile senza strumenti open source, visto che tutto lo stack software dal server web agli applicativi finali che gli utenti usano.  In un contesto molto sperimentale come questo era fondamentale evitare di "reinventarsi la ruota", e cercare il più possibile di appoggiarsi a soluzioni già stabili e testate da programmatori ed utenti di tutto il mondo.

Il progetto in breve

Richieste:

  • Permettere ai ricercatori di avere un sistema di storage dati distribuito in rete
  • Costruire un sistema di calcolo distribuito che li svincolasse dalla necessita di usare il loro desktop per gli esperimenti (run)

Cosa ha fatto Develer:

  • Scelto e collaudato server enterprise
  • Configurazione e testing del software di calcolo
  • Applicazione web per gestire il workflow di lavoro dei ricercatori

Cliente

CNR Consiglio Nazionale delle Ricerche