Intelligenza Artificiale

Memoria di lungo periodo per agenti AI: AlloyDB e Valkey

Google Cloud spiega come combinare Memorystore for Valkey e AlloyDB AI per creare memoria persistente per agenti AI, riducendo token, latenza e rischi operativi.

Composizione astratta di livelli di memoria e agenti AI, con nodi luminosi su sfondo blu scuro

Google Cloud ha pubblicato una guida tecnica su come implementare una memoria di lungo periodo per agenti AI in ambienti enterprise. L'architettura proposta combina Memorystore for Valkey per la cache di sessione a breve termine e AlloyDB AI per lo storage persistente, con l'obiettivo di ridurre i costi token, migliorare la latenza e mantenere regole aziendali stabili durante workflow multi-giorno.

Perché gli agenti AI hanno bisogno di memoria persistente

I grandi modelli linguistici sono senza stato tra una sessione e l'altra. Quando un utente torna dopo giorni, l'agente riparte da un contesto vuoto, a meno che l'applicazione non ricostruisca la memoria precedente. Il metodo più immediato, il cosiddetto sovraccarico del contesto, consiste nel inserire ogni volta nel prompt l'intero storico di chat, log degli strumenti e dettagli operativi. Questo approccio può funzionare nei primi test, ma alla scala reale crea problemi: i costi token crescono a ogni turno, la latenza può superare i 30 secondi e il modello può perdere informazioni importanti seppellite in un prompt troppo lungo.

Un'altra soluzione comune è usare riassunti ricorrenti generati da un LLM per comprimere i messaggi più vecchi. Tuttavia, la compressione comporta inevitabilmente una perdita di informazioni: dopo più cicli, dettagli apparentemente secondari possono sparire e l'agente può violare vincoli definiti all'inizio della conversazione.

Architettura a due livelli

La guida propone di separare la memoria attiva da quella persistente. Il primo livello, a breve termine, usa Memorystore for Valkey per conservare la finestra scorrevole della conversazione attiva. Il secondo livello, di lungo periodo, usa AlloyDB AI per memorizzare fatti, preferenze, eventi e regole con integrità transazionale e ricerca ibrida.

  • Buffer a breve termine: turni recenti della conversazione, con finestra con limite di token, in Memorystore for Valkey.
  • Memoria di riepilogo: storico compresso dei turni precedenti, sempre in Valkey.
  • Memoria episodica: azioni passate, eventi e output degli strumenti, in AlloyDB con ricerca ibrida SQL, full-text e vettoriale.
  • Memoria di entità e regole: preferenze utente, vincoli e divieti, in AlloyDB con ricerca ibrida.

Questa separazione consente all'agente di recuperare solo il contesto rilevante, senza riempire la finestra di prompt con log grezzi.

Flusso di lettura e scrittura

Nel percorso di lettura, l'applicazione recupera la finestra attiva da Valkey, normalizza la query con funzioni AI nel database e interroga AlloyDB per estrarre regole e fatti episodici pertinenti. Nel percorso di scrittura, il turno appena generato viene subito messo in cache in Valkey; un worker asincrono estrae le entità strutturate e le scrive in AlloyDB, dove gli embedding automatici transazionali aggiornano le rappresentazioni vettoriali.

Risultati del benchmark

Google Cloud riporta un benchmark interno su dialoghi multi-turno con più di 45 turni e uso intensivo di strumenti. Rispetto al sovraccarico del contesto, l'architettura a due livelli mostra:

  • prompt attivo al turno 45 ridotto da 747.033 token a 83.262 token, con una diminuzione dell'88,9%;
  • latenza di risposta al turno 45 passata da 33,5 secondi a 6,7 secondi, con un miglioramento dell'80%;
  • tempo di attesa per turno ridotto da 33,5 secondi a 4,2-6,7 secondi;
  • token cumulativi di sessione passati da 17,9 milioni a 4,09 milioni, con un risparmio del 72% su token e costi;
  • richiamo di regole e vincoli stabile, grazie alla persistenza transazionale ACID.

Nota: i valori provengono da un benchmark interno su un workload simulato di programmazione assistita di livello aziendale. I risparmi reali e le latenze variano in base a struttura dei prompt, frequenza di query e volume di dati.

Funzionalità chiave di AlloyDB AI

AlloyDB AI integra funzioni AI direttamente nel motore del database. Tra le capacità principali:

  • Embedding automatici transazionali: genera vettori per colonne testuali fino a 3.000 embedding al secondo e li mantiene aggiornati nella stessa transazione.
  • Funzioni generative nel database: esegue modelli fondazionali, ad esempio Gemini, direttamente da query SQL per decomporre domande complesse e risolvere riferimenti temporali.
  • Ricerca ibrida nativa: combina similarità vettoriale e ricerca full-text con Reciprocal Rank Fusion (RRF) in un'unica chiamata, con filtri per metadati.
  • Integrazione con Agent Platform: connette i modelli tramite rete privata e credenziali IAM, evitando di gestire API key nell'applicazione.
  • Unificazione operativa: dati relazionali, embedding, indici full-text e permessi aziendali in un database PostgreSQL ACID.

Governance e isolamento multi-tenant

Per la produzione aziendale, la guida sottolinea la necessità di isolare la memoria per utente, progetto e ambito. Indica l'uso di indici su user_id, project_id e scope, insieme a Row-Level Security (RLS) di PostgreSQL e viste sicure parametrizzate per ridurre il rischio di prompt malevoli o query troppo ampie. La gestione del ciclo di vita può essere automatizzata con query SQL di compaction pianificate e pruning basato su partizioni temporali.

Perché è utile a PMI e MSP

Per le PMI che introducono agenti AI in CRM, supporto clienti, approvvigionamento o operatività, questa architettura offre un modello pratico per contenere i costi LLM senza sacrificare qualità e controllo. Per gli MSP, rappresenta una base per progettare ambienti di produzione con memoria persistente, audit, isolamento multi-tenant e monitoraggio dei token. La chiave è evitare di trattare la memoria dell'agente come un semplice log di chat: va progettata come un sistema di dati a più livelli, con cache, persistenza transazionale e governance.

Fonte: Google Cloud Blog.

#AI

Articoli correlati

Diagramma astratto di un'architettura a due livelli per memoria AI: cache veloce in primo piano e database relazionale sullo sfondo, colori blu e verde tecnologia
Intelligenza Artificiale

Memoria a lungo termine per agenti AI: architettura a due livelli con AlloyDB e Memorystore per Valkey

Google Cloud presenta un'architettura a due livelli per la memoria persistente degli agenti AI: Memorystore per Valkey come buffer di sessione a breve termine e AlloyDB AI per la memoria a lungo termine. L'approccio riduce i costi dei token fino al 70% e accelera i tempi di risposta dell'80%, mantenendo regole e vincoli aziendali intatti nel tempo.