Il team Data Platform di Checkout.com ha affrontato una sfida comune a molte organizzazioni che gestiscono pipeline dati su larga scala: il "Day 2" operativo. Dopo aver costruito la piattaforma, il lavoro quotidiano di manutenzione dell'orchestratore — Apache Airflow self-hosted su un altro hyperscaler — consumava tempo prezioso che il team voleva dedicare allo sviluppo di nuove pipeline.
Il punto di partenza: Airflow self-managed
Nell'ambiente self-managed, Checkout.com doveva gestire:
- Stabilità sotto carico: picchi di traffico causavano interruzioni.
- Gestione dipendenze complessa: aggiornare pacchetti e garantire compatibilità era un processo manuale continuo.
- Tempi di sync DAG lenti: circa 6 minuti dopo il deploy su S3, rallentando l'iterazione.
- Processi manuali: scaling manuale e onboarding team che richiedeva creazione manuale di secret e variabili per dbt.
La soluzione: Managed Service for Apache Airflow (Gen 3) — Cloud Composer
La migrazione a Cloud Composer Gen 3, il servizio Airflow completamente gestito di Google Cloud, ha portato risultati immediati e misurabili su tre fronti: affidabilità, costi e velocity degli sviluppatori.
Scaling dinamico in azione
Nel setup precedente (elastic container service) il team provisionava il numero massimo di worker per i picchi, pagando capacità di picco 24/7. Cloud Composer offre scaling dinamico nativo: l'ambiente adatta automaticamente il numero di worker in base alla domanda reale. Quando i task aumentano, scala up; quando calano, scala down per risparmiare risorse. Il passaggio da provisioning fisso a scaling dinamico ha ridotto i costi mensili di circa il 30%.
Affidabilità e isolamento DAG
Un singolo DAG problematico poteva compromettere l'intero ambiente. Cloud Composer introduce miglioramenti architetturali critici:
- Isolamento DAG: ogni DAG gira nel proprio ambiente di esecuzione. Un fallimento o un consumo eccessivo di risorse non impatta gli altri.
- Operazioni gestite: Google Cloud gestisce patching e upgrade in finestre programmate, eliminando la gestione manuale degli aggiornamenti.
- Visibilità migliorata: integrazione con Cloud Monitoring e Cloud Logging dà visibilità chiara sull'esecuzione dei task. Gli ingegneri possono fare debug in autonomia senza escalation al team platform.
Workflow sviluppatori più veloci
- Deployment più rapidi: l'uso di Cloud Storage per i DAG abilita sync quasi istantanei.
- Onboarding semplificato: i team non necessitano più supporto platform per creare variabili prima dell'onboarding.
- Modernizzazione esecuzione dbt: in precedenza gli ingegneri dovevano installare e gestire manualmente ambienti virtuali complessi per ogni versione dbt supportata. Sfruttando dbt containerizzati, Cloud Composer Gen 3 elimina i colli di bottiglia delle dipendenze, garantendo isolamento completo e permettendo di eseguire qualsiasi modello dbt con setup minimo e zero overhead infrastrutturale manuale.
- Aggiornamenti ambiente: non serve ridistribuire l'intero ambiente Airflow per aggiungere ruoli o aggiornare pacchetti Python.
- Troubleshooting AI-powered con Gemini Cloud Assist: in un ambiente self-managed, un task fallito scatenava una caccia frenetica tra log e metriche frammentati. Con Cloud Composer, Checkout.com può avviare un'investigazione Gemini direttamente dalla UI DAG di Airflow nella console Google Cloud. Gemini non fornisce solo messaggi d'errore generici: genera una scorecard che valuta diverse ipotesi con evidenze a supporto e contrarie, riducendo drasticamente il mean time to recovery.
Conclusione: da manutenzione a innovazione
Per Checkout.com, il passaggio a Managed Service for Apache Airflow (Gen 3) ha segnato uno shift strategico, liberando gli ingegneri per concentrarsi sulla delivery di valore.
"Con Managed Service for Apache Airflow, abbiamo ottenuto miglioramenti significativi in efficienza, scalabilità e affidabilità. Infrastruttura gestita, scaling automatizzato, deployment più veloci e ambienti di esecuzione isolati hanno trasformato il nostro modo di operare." — Keisi Mancellari, Data Platform Engineer, Checkout.com
Con una piattaforma stabile, scalabile ed efficient in termini di costi, Checkout.com può ora concentrarsi sul futuro delle proprie data pipeline, sicura che lo strato di orchestrazione sia pronto per qualsiasi sfida.
Per PMI e MSP che gestiscono ancora Airflow on-premise o su VM, questo caso studio dimostra che il passaggio a un servizio gestito non è solo una questione di comodità: è un leva concreta per ridurre costi, aumentare affidabilità e restituire tempo ai team per attività a maggior valore.
