Huawei ajută Biblioteca Națională a Norvegiei să transforme patrimoniul cultural în date pregătite pentru AI

Biblioteca Națională a Norvegiei utilizează infrastructură de stocare de înaltă performanță de la Huawei pentru a transforma vastul său patrimoniu cultural digital într-o resursă pentru dezvoltarea tehnologiilor AI. În centrul soluției se află Huawei OceanStor Dorado All Flash Storage, implementat în mediul AI on premises al bibliotecii.

Biblioteca Națională a Norvegiei are obligația legală de a colecta și păstra publicațiile produse în țară. Colecția sa include cărți rare care datează din secolul al XVI-lea, ziare istorice, înregistrări radio și de televiziune, precum și publicații digitale și conținut audiovizual modern.

De peste 20 de ani, biblioteca derulează un program amplu de digitalizare. Procesul depășește cu mult simpla scanare și arhivare și include procesare OCR, corectarea imaginilor, normalizarea formatelor de fișiere, controlul calității și generarea de metadate.

Până în prezent, biblioteca a colectat aproximativ 20 PB de obiecte digitale unice, în timp ce volumul total, inclusiv copiile de protecție, ajunge la aproximativ 60 PB. Pentru protejarea acestor informații, biblioteca utilizează o strategie de protecție a datelor 3+2+1, păstrând trei copii pe două tehnologii diferite de stocare, dintre care una este menținută într-o locație externă.

Pe măsură ce inteligența artificială se dezvoltă, aceste date istorice capătă o valoare suplimentară. Norvegia are aproximativ cinci milioane de vorbitori de limbă norvegiană, două standarde oficiale de scriere și numeroase dialecte, ceea ce creează cerințe specifice pentru antrenarea unor modele AI capabile să reflecte cu acuratețe limba și contextul cultural.

Din acest motiv, Ministerul Culturii și Egalității din Norvegia a încredințat Bibliotecii Naționale dezvoltarea propriilor modele lingvistice de mari dimensiuni. Inițiativa beneficiază de o finanțare anuală de 70 de milioane de coroane norvegiene, iar biblioteca beneficiază și de acorduri pe termen lung cu editorii, care permit utilizarea conținutului protejat prin drepturi de autor pentru antrenarea modelelor.

Aici, Huawei OceanStor Dorado All Flash Storage joacă un rol esențial. Soluția oferă o capacitate de peste 2 PB pentru extragerea datelor din arhive și efectuarea unor operațiuni intensive de procesare, precum curățarea datelor, deduplicarea, formatarea și validarea.

Datorită debitului ridicat și latenței reduse, platforma permite procesarea mai eficientă a unor volume mari de date istorice. Acest lucru contribuie la reducerea blocajelor de stocare și permite utilizarea mai eficientă a resurselor de calcul în etapa de pregătire a seturilor de date pentru AI.

După procesarea prin clustere CPU, seturile de date pregătite sunt transferate către Sigma2, infrastructura națională de e-infrastructură a Norvegiei, unde sunt utilizate pentru antrenarea modelelor AI.

Proiectul demonstrează modul în care infrastructura modernă de stocare poate conecta două medii foarte diferite – păstrarea pe termen lung a patrimoniului cultural și procesarea AI de înaltă performanță. În timp ce mediul de arhivare este optimizat pentru durabilitate și retenție pe termen lung, platforma all-flash de la Huawei oferă performanța necesară pentru procesarea și pregătirea activă a datelor.

Pentru Biblioteca Națională a Norvegiei, această abordare transformă decenii de eforturi de digitalizare într-o bază pentru aplicații AI de nouă generație, capabile să reflecte mai bine limba, cultura și istoria Norvegiei.

ASAP și Huawei – parteneriat pentru o infrastructură modernă

Huawei este partener al ASAP, iar cele două companii colaborează în domeniul infrastructurii IT moderne, al soluțiilor de stocare, al rețelisticii și al tehnologiilor AI. Prin parteneriatul său cu Huawei, ASAP oferă acces la soluții de stocare și infrastructură de înaltă performanță, concepute pentru organizații cu cerințe ridicate privind fiabilitatea, performanța și scalabilitatea.

Implementarea Huawei OceanStor Dorado la Biblioteca Națională a Norvegiei demonstrează modul în care tehnologiile moderne de stocare pot ajuta la transformarea marilor arhive digitale în infrastructuri pregătite pentru AI și pot crea o conexiune practică între patrimoniul cultural și aplicațiile AI ale viitorului.