Arm afirmă că noul AGI CPU dublează performanța la nivel de rack față de AMD EPYC 9755

Ce modificări arhitecturale creșterea eficienței?

Arm a anunțat că noul său AGI CPU, proiectat special pentru sarcini de AI agențiale, dublează aproape performanța pe rack comparativ cu AMD EPYC 9755. Compararea se bazează pe un model care include performanța chip-ului și consumul de energie, evaluat la șapte sarcini reprezentative.

Metodologia de evaluare, introdusă de Arm săptămâna trecută, măsoară throughput-ul și consumul de energie al fiecărui chip, apoi le extrapelează la o configurare completă de rack. Rezultatele arată că AGI CPU oferă circa 1,9 ori mai mult throughput modelat decât EPYC 9755, când ambele rulează în aceleași configurări de rack. Arm atribuie avantajului modificările arhitecturale care reduc mișcarea datelor și cresc paralelismul la nivel de instrucțiuni, permițând procesarea de mai multe operații pe wat.

AGI CPU-ul Arm include o nouă ierarhie de cache care minimizează blocajele de memorie.

Prin marirea cache-ului L3 de pe cip și strângerea protocolului de coherență, procesorul păstrează datele mai aproape de nuclee, reducând latența. De asemenea, designul introduce o unitate vectorială ușoară care gestionează operațiile comune de AI cu mai puțină număr de ciclos de ceas. În teste de benchmark, aceste caracteristici au scăzut consumul mediu de energie cu aproximativ 15%, în timp ce au crescut FLOP-urile pe secundă cu 25%.

„Ne-am concentrat pe gârlele care limitează tradițional inferența AI la scară”, a spus un inginer senior de la Arm.

„Prin reghidajul fluxului de date, putem scoate mai multă performanță din același silicium.”

Sapte sarcini folosite în studiu acoperă prelucrarea limbajului natural, vizia computerului și învățarea prin reinforcare.

Cum se compară avantajul modelat cu implementările reale?

Fiecare sarcină a fost rulată pe o configurare de server cu 64 de nuclee, iar modelul la nivel de rack a ținut cont de constrângerile tipice de energie și răcorire din centrele de date.

Proiectat la un rack de 42U, throughput-ul AGI CPU-ului a depășit cel al EPYC 9755 cu aproape un factor de două, conform calculatoarelor interne ale Arm.

Rămâne de vedere dacă avantajul modelat se traduce în medii de producție. „Modelarea este un pas util, dar performanța în lumea reală depinde de stiva de software, infrastructura de răcorire și amestecul de sarcini”, a observat un analist al industriei.

Arm a lansat un set de proiecte de referință pentru parteneri să valideze afirmațiile pe propriul hardware.

Testele pilote timpurie la un furnizor de cloud au arătat o reducere de 12% în costul total de proprietate pentru sarcini de inferență AI atunci când se folosește AGI CPU-ul, în principal din cauza consumului mai scăzut de energie și throughput-ului mai mare.

EPYC 9755, pe de altă parte, se bazează pe arhitectura Zen a AMD și a fost un pilon al sarciniilor de date-center. Numărul ridicat de nuclee și cache-ul mare îl face versatil, dar instrucțiunile specializate de AI ale noului AGI CPU-i oferă un avantaj distinct pentru sarcini agențiale.

Observatorii din industrie sugerează că AGI CPU-ul ar putea deveni o componentă cheie pentru serviciile AI de generație următoare, care necesită Implicațiile pentru operatorii de centre de date sunt semnificative.

Performanța mai mare la nivel de rack înseamnă că sunt necesari mai puțini servere pentru a acoperi aceeași sarcină, ducând la reducerea picioarelor fizice și a consumului de energie.

Cum dublează Arm performanța pe rack față de AMD EPYC?

Anunțul Arm alimentă și competiția continuă între producătorii de CPU pentru a domina piața AI, posibil accelerând adoptarea de procesoare specializate pentru AI.

Ce este o sarcina de AI agențială?

AI agențial se referă la sisteme care pot acționa autonom, luând decizii și învățând din interacțiuni. Aceste sarcini cer viteză mare de inferență și latență scăzută, făcându-le potrivite pentru AGI CPU-uri.

cât de fiabile sunt cifrele modelate de performanță la nivel de rack?

Cifrele se bazează pe benchmarks controlați și măsurători de energie la șapte sarcini. Deși oferă o indicație puternică a performanței relative, rezultatele în lumea reală pot varia în funcție de software și infrastructură.

Va înlocui AGI CPU-ul procesoarele existente în centrele de date?

Nu imediat. AGI CPU-ul este optimizat pentru inferența AI, în timp ce multe sarcini de date-center se bazează încă pe procesoare de uz general. Totuși, pe măsură ce sarciniile de AI cresc, operatorii ar putea trece gradualmente spre procesoare specializate precum AGI CPU-ul pentru aplicații specifice.