Microsoft open-sourcează extensia PostgreSQL pentru execuție durabilă direct în baza de date

Microsoft a anunțat deschiderea codului pentru pg_durable – o nouă extensie PostgreSQL care permite execuția fluxurilor de lucru durabile (durable) direct în baza de date. Obiectivul este reducerea dependenței de instrumente externe pentru orchestrare și managementul task-urilor de lungă durată.

Potrivit companiei, pg_durable le oferă dezvoltatorilor posibilitatea de a construi procese SQL complexe fără combinații de cron jobs, background workers, message queues și platforme externe de orchestration. În schimb, fluxurile sunt definite direct în SQL, iar extensia gestionează retries, execuția paralelă, recovery după erori și tracking-ul execuției.

Una dintre caracteristicile principale ale pg_durable este că starea proceselor rulate este stocată integral în PostgreSQL. Informațiile despre progres, checkpoint-uri și istoricul execuției sunt salvate în tabele specializate, ceea ce permite continuarea fluxului din ultimul punct valid în caz de cădere a bazei de date, restart de server sau eșec al unei sarcini individuale.

Microsoft definește funcțiile durable ca un graf de operațiuni SQL pe care PostgreSQL le execută secvențial sau în paralel, în timp ce persistă starea fiecărui pas. Astfel, dispare necesitatea ca dezvoltatorii să reconstruiască manual starea proceselor după incidente.

Extensia oferă un DSL (Domain Specific Language) specializat, care include mecanisme integrate pentru:

• planificarea task-urilor;
• execuție condițională;
• procesare paralelă;
• recuperare automată după erori;
• urmărirea progresului și managementul checkpoint-urilor.
  
  

Microsoft indică mai multe scenarii de utilizare pentru pg_durable. Printre ele se află procese de generare a vector embeddings, în care datele sunt împărțite în loturi, trimise către servicii AI externe și apoi scrise înapoi prin pgvector. Soluția este potrivită și pentru task-uri administrative automate, precum detectarea problemelor în baza de date, trimiterea de notificări, fluxuri de aprobare și execuția acțiunilor ulterioare.

Extensia poate fi folosită și pentru integrare cu API-uri externe, unde execuția proceselor depinde frecvent de răspunsuri din sisteme terțe și necesită recovery fiabil în caz de întreruperi.

Arhitectura pg_durable este construită cu un număr minim de componente. Soluția include o extensie PostgreSQL și un background worker, fără necesitatea unei platforme de control separate. Pentru implementare, Microsoft utilizează două biblioteci Rust:

• duroxide – responsabilă pentru orchestrare, mecanisme checkpoint, timere și re-execuții;
• duroxide-pg – gestionează stocarea stării, istoricul execuției și work queues direct în PostgreSQL.
  
  

Conceptul de durable execution câștigă popularitate ca abordare pentru construirea proceselor fiabile de lungă durată în aplicațiile moderne. Acesta permite reluarea automată a execuției după întreruperi și simplifică semnificativ dezvoltarea sistemelor distribuite, agenților AI și soluțiilor cloud control plane. Concepte similare sunt deja utilizate de platforme precum Temporal și Cloudflare, iar prin pg_durable această funcționalitate devine disponibilă direct în PostgreSQL.

Prin open-sourcing-ul pg_durable, Microsoft oferă comunității PostgreSQL un nou instrument pentru construirea fluxurilor de lucru durabile și scalabile, care pot rula integral în interiorul bazei de date.