Nvidia vinde „fabrici de AI”, dar majoritatea firmelor folosesc GPU-urile la jumătate din capacitate

Cât de eficientă este cu adevărat infrastructura?

O anchetă recentă din industrie arată o realitate surprinzătoare: deși Nvidia promovează agresiv conceptul de „fabrică de AI”, majoritatea companiilor care implementează inteligență artificială nu își folosesc hardware-ul la potențial maxim. Datele dintr-un sondaj realizat în septembrie indică faptul că organizațiile care rulează modele de AI în producție utilizează doar jumătate din puterea de procesare disponibilă a GPU-urilor, sau chiar mai puțin.

Această discrepanță între pitch-urile de vânzare și realitatea operațională evidențiază o disconectare clară în modul în care afacerile gestionează resursele de calcul.

Rezultatele provin din sondajul VB Pulse, realizat de VentureBeat Intelligence, care a colectat date de la profesioniști implicați direct în deploy-ul AI. Studiul s-a concentrat exclusiv pe companiile care au depășit faza experimentală și rulează acum modele în producție.

Prin izolarea acestui grup, cercetătorii au încercat să înțeleagă starea reală a eficienței hardware-ului în mediul de business, departe de proiectele pilot sau teoretice.

Dintre participanții calificați, 102 persoane au Din total, 68 de respondenți au confirmat că rulează activ sarcini de AI în producție și au furnizat cifre specifice privind utilizarea GPU-urilor. Analiza acestor numere relevă că 55 dintre cei 68 utilizatori din producție au raportat rate de utilizare ale GPU-urilor de cincizeci de procente sau mai jos.

Asta înseamnă că aproape patru din cinci companii lasă o parte substanțială din hardware-ul lor scump să stea nemișcat. Deși subutilizarea este evidentă, majoritatea firmelor declară că intenționează totuși să adopte infrastructură AI suplimentară în viitorul apropiat.

Va rezolva hardware-ul nou problema de eficiență?

Acest comportament sugerează o dinamică complexă în departamentele IT ale companiilor. Firmele ar putea cumpăra mai mult hardware nu pentru că sistemele actuale sunt saturate, ci din cauza presiunii competitive sau a creșterii anticipate a complexității modelelor.

Datele indică faptul că utilizarea scăzută nu oprește neapărat planurile de expansiune.

În schimb, punctează o strategie în care organizațiile scalează capacitatea în avans față de cerere, pariaz pe creșteri viitoare ale intensității sarcinilor sau pe noi arhitecturi de modele care necesită mai multă putere de calcul.

Rezultatele sondajului ridică întrebări critice privind randamentul investițiilor în achiziții masive de hardware. Dacă GPU-urile actuale stau la jumătate din capacitate, adăugarea de unități noi ar putea agrava problema ineficienței, cu excepția cazului în care fluxurile de lucru se schimbă fundamental.

Experții sugerează că problema poate proveni din modul în care modelele de AI sunt deploy-uite în prezent, multe aplicații ne necesitând throughput-ul susținut complet pe care GPU-urile de centru de date de înaltă clasă pot livra.

Pentru Nvidia, narativul construirii de „fabrici de AI” rămâne convingător pentru investitori și parteneri. Totuși, baza de clienți pare să se lupte să maximizeze valoarea echipamentelor pe care le dețin deja.

De ce GPU-urile Nvidia stau pe jumătate goale în producție?

Tendința spre continuarea adoptării, în ciuda ratelor scăzute de utilizare, implică faptul că piața este condusă de poziționarea strategică pe termen lung, mai degrabă decât de eficiența operațională imediată.

Companiile se pregătesc probabil pentru un viitor în care AI devine centrală pentru operațiunile de bază ale afacerii, necesitând cantități vaste de putere brută de calcul, indiferent de modelele actuale de utilizare.

Câte companii din sondaj au raportat utilizare scăzută a GPU-urilor? Cincizeci și cinci dintre cele șasezeci și opt de companii care rulează AI în producție au raportat utilizarea a jumătate din capacitatea GPU-urilor sau mai puțin.

Acest lucru reprezintă optzeci și unu la sută dintre respondenții calificați care au furnizat cifre de utilizare.

Planifică companiile să cumpere mai mult hardware în ciuda utilizării scăzute? Da, majoritatea respondenților au indicat că încă planifică să adopte infrastructură AI nouă.

Acest lucru sugerează că utilizarea scăzută curentă nu oprește organizațiile să își extindă capacitățile de calcul.