Die Realität sieht viel, viel schlimmer aus.
Die USA könnten an fehlender Energy kaputt gehen und den "Krieg" gegen China verlieren, wenn nicht ganz, ganz schnell ganz, ganz viel zusätzliche Energie bereitgestellt werden kann.
AI ( oder KI auf deutsch ) hängt an der Versorgung mit Energie. Sam Altman sagte in einem Interview im letzten Jahr: OpenAI is heavily GPU-limited
Hier ein Text zu den Gedanken, die derzeit in den HInterzimmern der großen Software und Hardware Firmen umgehen:
Nicht einmal OpenAI - mit der Macht des allmächtigen Microsoft im Rücken - ist in der Lage, genügend GPUs ( Grafic Processor units ) zu bekommen, um seine neuen Modelle einzusetzen.
Und das verzögert den KI-Masterplan von OpenAI erheblich:
Keine multimodalen Modelle (z. B. Bilder und Ton)
Keine Modelle für längere Sequenzen
Kein Finetuning der Ergebnisse
Wie viele brauchen sie denn? Für einen einzigen der nächsten Trainings-Supercomputer von OpenAI werden voraussichtlich mehr als 75.000 Nvidia-GPUs benötigt.
Und die sind einfach nicht verfügbar
Diese Knappheit hat einen massiven Ansturm auf GPUs ausgelöst...
Bytedance, das Unternehmen hinter TikTok, hat Nvidia-GPUs im Wert von 1 Milliarde Dollar bestellt, um seine eigene KI zu entwickeln.
Meta wollte nicht zurückbleiben. Also beschloss man, laut Zuckerberg "genügend GPUs" zu bestellen - und dann "das Doppelte".
Allein in diesem Jahr werden 600.000 weitere Nvidia H100-Chips gekauft, die jeweils 30.000 Dollar kosten können.
Microsoft kauft bis 2024 mehr als 400.000 Grafikprozessoren für KI-Training und -Inferenz.
Und Nvidia kann nicht genug Grafikprozessoren herstellen, damit diese Unternehmen ihre KI-Ambitionen verfolgen können.
Sein Spitzen-GPU, der H100, war fast das ganze Jahr 2023 über ausverkauft, obwohl Nvidia fieberhaft daran arbeitete, die Produktion zu erhöhen.
Das Unternehmen ist dabei, mehr als 400.000 seiner Spitzen-GPUs pro Quartal auszuliefern. Dennoch wird geschätzt, dass die Nachfrage das Angebot derzeit um mindestens 50 % übersteigt.
Nvidias Plan zur Rettung der Welt
Glücklicherweise hat Nvidia damit begonnen, die GPU-Knappheit zu lindern.
Jensen Huang plant, die Produktion bis Ende 2025 zu vervierfachen, wodurch das Unternehmen in der Lage sein sollte, die Nachfrage vollständig zu decken.
Die Lieferfristen für Grafikprozessoren verkürzen sich von 8-11 Monaten auf nur noch 3-4 Monate.
Und die großen Technologieunternehmen beginnen, ihre eigenen zu bauen:
Microsofts Stargate-Projekt zum Beispiel wird maßgeschneiderte Computerchips verwenden.
Meta hat seinen eigenen fortschrittlichen KI-Chip, Artemis, hergestellt, um seine Abhängigkeit von Nvidia zu verringern.
Selbst Tesla stellt seinen eigenen Chip her, der weitaus leistungsfähiger ist als der von Nvidia.
Die Intelligenzkurve mag sich endlich verlangsamen.
Aber die Leistungskurve steht erst am Anfang. Und merken Sie sich meine Worte: Es wird das mächtigste Unternehmen der Welt entstehen.
Die Eine-Welt-Währung: Der Elektrodollar
Das schiere Ausmaß des Wachstums von KI-GPUs ist atemberaubend:
Die Rechenleistung, die online geht, verzehnfacht sich jetzt alle neun Monate.
Und jede dieser GPUs benötigt Strom. Aber die Stromerzeugung wächst nicht alle neun Monate um das Zehnfache.
Selbst die Halbleiterhersteller schlagen Alarm:
"Das Wachstum der KI übersteigt bei weitem die Fähigkeit, dafür sauberen Strom zu erzeugen."
- Nvidia-CEO Jensen Huang
Die Verkaufszahlen machen den Gesamtenergieverbrauch von KI-GPUs einfach zu berechnen.
Nvidia hat im Jahr 2023 100.000 Einheiten ausgeliefert. Diese Geräte werden jährlich 7,3 TWh verbrauchen.
Bis 2027 wird Nvidia voraussichtlich 1,5 Millionen KI-Servereinheiten ausliefern, die jährlich mehr als 85 TWh verbrauchen.
Das gilt allerdings nur, wenn der Stromverbrauch pro Einheit gleich bleibt. Stattdessen haben die aufeinanderfolgenden GPU-Modelle immer mehr Strom verbraucht.
In nur zwei Jahren hat Nvidia den Stromverbrauch eines einzelnen Chips vervierfacht.
Sein neuester Chip - Blackwell - verbraucht 1.200 Watt Strom. Und die Entwicklung der nächsten Generation von KI-Modellen erfordert Millionen von immer leistungsfähigeren Chips, die alle immer mehr Strom verbrauchen.
Das Haupthindernis für die Zukunft der KI ist nicht mehr die Technologie.
Es ist die Leistung.
Aber verlassen Sie sich nicht auf mein Wort. Mark Zuckerberg wurde gefragt, ob es etwas gibt, wofür Meta nicht die Ressourcen hat - etwas, das das Budget von Meta um das Zehnfache übersteigt.
Seine Antwort: "Energie."
Mit anderen Worten: Der gleiche Eifer und die gleichen Mittel, die in die GPUs geflossen sind, werden jetzt für die Energie eingesetzt.
Intelligenz hat Nvidia scheinbar über Nacht zu einem Multimillionen-Dollar-Unternehmen gemacht.
Energie wird ein weiteres Multimilliarden-Dollar-Unternehmen schaffen, und zwar genauso schnell.
Und das kommt schneller, als Sie denken.
"Die Chip-Knappheit mag hinter uns liegen, aber... die Welt wird im nächsten Jahr mit Lieferengpässen bei Strom und Transformatoren konfrontiert sein." - Elon Musk
Musk, Altman, Bezos und eine Handvoll anderer einflussreicher Weltmarktführer haben im Stillen an der Technologie gearbeitet, die die KI von ihren Energiebeschränkungen befreien wird.
Es ist der KI-Kill-Schalter.
Der Kernsatz ist: "Und jede dieser GPUs benötigt Strom. Aber die Stromerzeugung wächst nicht alle neun Monate um das Zehnfache."
die gibt es derzeit nicht. Schon überhaupt nicht, wenn im Sommer alle Amerikaner ihre Wohnungen kühlen wollen....
|
Thread abonnieren
