Checkout.com, noto operatore di pagamento online, ha completato la migrazione del proprio ambiente di orchestrazione dei dati da una istanza self‑managed di Apache Airflow a Google Cloud Managed Service for Apache Airflow (Gen 3).
Perché la migrazione?
Il team di data engineering di Checkout.com ha riscontrato che la gestione manuale dell’infrastruttura di Airflow consumava tempo prezioso, generava interruzioni durante gli aggiornamenti e limitava la capacità di scalare i workload in base alla domanda. Passare a un servizio gestito ha eliminato la necessità di patch, upgrade e monitoraggio continuo, consentendo al team di concentrarsi sullo sviluppo di pipeline di valore.
Benefici concreti
- Affidabilità migliorata: ogni DAG opera in un contesto isolato, così un problema in una pipeline non influisce sulle altre.
- Scalabilità dinamica: il servizio ajusta automaticamente il numero di worker in base al carico, riducendo i costi operativi del 30 % rispetto alla configurazione self‑managed.
- Deploy più rapidi: grazie al supporto nativo di Cloud Storage per i DAG, il tempo di sincronizzazione è passato da circa sei minuti a pochi secondi.
- Onboarding semplificato: le nuove squadre possono attivare ambienti senza richiedere interventi manuali su segreti o variabili.
- Esecuzione containerizzata di dbt: l’uso di container per dbt elimina dipendenze complesse e garantisce ambienti coerenti su tutti i nodi.
- Troubleshooting assistito da AI: l’integrazione con Gemini Cloud Assist permette di avviare indagini direttamente dal UI di Airflow, riducendo il mean time to recovery.
Come funziona la soluzione
Il servizio gestito offre un’interfaccia di orchestrazione completamente gestita, con un orchestratore basato su Kubernetes che gestisce il ciclo di vita dei worker, il versioning dei DAG e la sicurezza a livello di progetto. Le pipeline sono definite con il linguaggio Python standard di Airflow, ma il runtime è ottimizzato per l’esecuzione su infrastrutture cloud, garantendo alta disponibilità e ridondanza geografica.
Prospettive future
Checkout.com prevede di sfruttare le capacità di scaling automatico e di integrazione con strumenti di observability per ulteriormente ottimizzare i costi e the performance. Inoltre, l’adozione di nuove funzionalità di AI‑assisted troubleshooting potrebbe ridurre ancora di più i tempi di risoluzione degli incidenti, rendendo l’intera piattaforma dati più resiliente e pronta per scenari di alta intensità.
