Pipeline con Python e Luigi

Pipeline con Python e Luigi

In breve

📃 Cosa: Sviluppo di pipeline utilizzando la libreria Luigi.
🎙 Chi: Nadir Sampaoli
⏱️ Durata: 45m.

Abstract della sessione

Come organizzare procedure interdipendenti per l’elaborazione di dati, gestirne la complessità e gli errori.
Lo scopo di questo webinar è dare una panoramica sulla libreria “Luigi” e la sua applicazione pratica per realizzare pipeline per la gestione di procedure batch.

Una pipeline è un insieme di unità di lavoro (task) e questi task hanno dipendenze fra di loro. Per fare un esempio l’output di un task è l’input di un altro (interdipendenza tra i task).
Mentre con procedura batch intendiamo un’operazione non interattiva (potenzialmente costosa in termini di tempo e risorse) che produce un output (ad esempio un file contenente dati).

Partendo da un codice monolitico, lo analizzeremo per dividerlo in blocchi, che poi verranno integrati come componenti di Luigi per usarli come task della pipeline, valutandone i benefici.

Il programma

  • Cos’è Luigi e i suoi utilizzi
  • Perché utilizzare questa libreria
  • Esempio pratico di riorganizzazione del codice per utilizzare Luigi
  • Considerazioni finali

Obiettivi della sessione

  • Avere una panoramica ad alto livello di cos’è Luigi e le sue possibili applicazioni.

Requisiti per la partecipazione:

  • Basi di python
  • Basi di programmazione ad oggetti

Lo speaker

Nadir Sampaoli è uno sviluppatore web da dieci anni, ha scritto più codice Visual Basic e PHP di quanto gli piaccia ammettere.

Interessato alla teoria dei tipi, alla programmazione funzionale e al reverse engineering di vecchi giochi a 8-bit. Appassionato di basket NBA e giocatore (mancato).

Si è concentrato negli ultimi anni nell’utilizzo di Python per implementare soluzioni performanti nell’ambito dell’ad tech.

Come partecipare o ricevere informazioni

Tutti possono partecipare ai nostri TechLabs gratuitamente: i link per la registrazione a workshop e webinar verranno via via pubblicati sul sito, nei profili social e saranno comunicati a tutti gli iscritti alle nostre newsletter.

Per essere sempre informato sui prossimi TechLabs, puoi iscriverti alla newsletter eventi, oppure seguici nei nostri profili social: