Elon Musks AI-start-up, xAI, kondigde onlangs aan dat “Colossus”, ‘s werelds krachtigste AI (kunstmatige intelligentie) trainingssupercomputer, nu online is. Deze nieuwe AI-supercomputer, gevestigd in Memphis, Tennessee, werd in slechts vier maanden (122 dagen) gebouwd.
De nieuwe xAI-trainingscluster is gebouwd met behulp van 100.000 NVIDIA benchmark Hopper H100 GPU’s, een zeer gewilde component voor het trainen van nieuwe AI-modellen. Dit model is ontworpen om de volgende generatie van xAI’s grote taalmodel (LLM), Grok, te trainen.
Het bedrijf is ook van plan om het aantal GPU’s binnen enkele maanden te verdubbelen tot 200.000 door nog eens 50.000 chips van NVIDIA’s nieuwe, geavanceerdere H200-serie toe te voegen, die meer rekengeheugen biedt.
Bovendien beschikken de nieuwe benchmark Hopper H200 GPU’s van NVIDIA over maximaal 141 GB sneller HBM3E-geheugen, terwijl de H100 over maximaal 80 GB HBM3-geheugen beschikt.
Dit weekend is de @xAI team bracht ons Colossus 100k H100-trainingscluster online. Van begin tot eind was het in 122 dagen gedaan.
Colossus is het krachtigste AI-trainingssysteem ter wereld. Bovendien zal het in een paar maanden verdubbelen in omvang tot 200k (50k H200s).
Uitstekend…
— Elon Musk (@elonmusk) 2 september 2024
“Dit weekend heeft het xAI-team onze Colossus 100K H100-trainingscluster online gebracht. Van begin tot eind was het in 122 dagen gedaan. Colossus is het krachtigste AI-trainingssysteem ter wereld. Bovendien zal het binnen een paar maanden verdubbelen in omvang tot 200K (50K H200’s). Uitstekend werk van het team, NVIDIA en onze vele partners/leveranciers,” tweette Musk op X (voorheen Twitter).
“Spannend om te zien dat Colossus, ‘s werelds grootste GPU #supercomputer, in recordtijd online komt. Colossus wordt aangestuurd door @nvidia’s #acceleratedcomputing platform, dat baanbrekende prestaties levert met uitzonderlijke winsten in #energie-efficiëntie. Gefeliciteerd aan het hele team!” schreef de X-handle van NVIDIA Data Centre op zijn platform.
De NVIDIA GPU kost ongeveer $ 30.000, wat erop duidt dat Musk minstens $ 3 miljard heeft uitgegeven aan de bouw van de nieuwe supercomputer, een faciliteit die ook aanzienlijke elektriciteits- en koelbronnen nodig heeft.
Momenteel is Musk’s Grok 2, xAI’s tweede generatie AI-model getraind met 15.000 H100 GPU’s, exclusief beschikbaar voor X premium en X premium plus abonnees met mogelijkheden voor het genereren van afbeeldingen en tekst. Hij zei dat het verwacht xAI’s derde generatie AI-model, Grok-3, in december uit te brengen.