Introduzione: i cold start di AI su Cloud Run rappresentano una sfida cruciale per i team che deploygano modelli di machine learning in ambienti serverless.
Le quattro fasi del cold start
Il cold start si articola in quattro fasi principali: Provisioning dell'infrastruttura (~5 s), Streaming dell'immagine del container (1‑2 s), Inizializzazione del motore (5‑15 s) e Caricamento del modello in VRAM (variabile).
Ottimizzare la fase 4: modello e storage
La chiave è ridurre la quantità di dati trasferiti in VRAM. Utilizzare modelli quantizzati a 4‑bit, formati efficienti come GGUF o Safetensors, e memorizzare i pesi su Cloud Storage con download parallelo tramite gcloud.
Altre best practice
- Attivare Startup CPU Boost per raddoppiare la potenza CPU durante il boot.
- Usare Direct VPC Egress con Private Google Access per ridurre la latenza di rete.
- Configurare la concurrency in base al numero di istanze di modello e alla batch size, mantenendo il GPU saturo.
- Aumentare la soglia di autoscaling (80‑90 %) per evitare scaling prematuri.
Strategie di scaling e reliability
Considerare un approccio "always‑on" in una sola regione per ridurre il ritardo globale, sfruttare il periodo di grazia di 15 minuti e inviare health check proattivi per mascherare i cold start.
Conclusione
Optimizzare i cold start è fondamentale per trasformare un prototipo in una soluzione production‑ready. Con le giuste scelte architetturali e configurazionali, è possibile mantenere la latenza sotto i 2 secondi e garantire un'esperienza utente fluida.
