News Cerebras CS-3 mit WSE-3: AI-Beschleuniger in Wafergröße hat 4 Billionen Transistoren

[Viper816]

Wie ist denn der Preis für so einen kranken Sch..ss? So ein Wafer war ja früher mal allein bei 20.000$. Aktuelle Zahlen hab ich auf die Schnelle nicht gefunden.

Auf jeden Fall Gut ab. Ein echtes Monster. Und so wie ich's verstanden habe deutlich effizienter als eine entsprechende Anzahl an H100.

Die leicht längeren Latenzen, die so Riesenchips gemeinhin oft haben spielen da auch keine Rolle mehr.

 

[Boimler]

Skynet

Mein erster Gedanke als ich die Kommentare hier gelesen habe. Wir diskutieren hier alle die Kühlung, während das Ding "arbeitet".

 

[catch 22]

So eins ins MacBook packen!

du willst doch nur weitere dieser Memes sehen

 

[LamaMitHut]

Ob die folgende Generation schon auf einen GAA - Prozess mit Backside Power Delivery basieren wird? Oh Junge, die nächsten Jahre werden wild.

 

[Asustuftuf]

Englisch Trillionen = Deutsch Billionen

Im Englischen gibt es keine Milliarden

Quatsch,

billion ist englisch für miliarde.

 

[Ozmog]

Im Englischsprachigen ist es tatsächlich "korrekt" - so, wie auch das originale im Latein gedacht ist. Million, Billion, Trillion, Quadrillion, Quintillion, Sextillion, Septillion ... abstammend von "Bi" = 2, "Tri" = 3, "Quad" = 4 ... you get the idea

Warum sollte es im Englischen korrekt sein? Million ist 1x10^6, Billion im englischen 1x10^9 und Billion im quasi Rest der Welt 1x10^12. Bei letzterem passen die Präfixe Bi, Tri, etc deutlich besser (6, 12, 18, 21...), im Englischen macht es weniger Sinn.

 

[tochan01]

Mein erster Gedanke als ich die Kommentare hier gelesen habe. Wir diskutieren hier alle die Kühlung, während das Ding "arbeitet".

Weiß leider nicht mehr wo das war. In einem Artikel zu cs1 / cs2 wird drauf eingegangen. Ist auch ne Menge hirnschmalz reingeflossen. Müßte aber cs1 sein. Das Dingen ist ja noch in einem Case "Stand alone".

Edit:
Gefunden auf Hardwareluxx.de.de

Bilder cb-1
Wird eine Weiterentwicklung dessen sein was die külung angeht.

Also in dem Chip hat NV seinen Meister gefunden vidia-GPGPUs sind zu gut für Konkurrenz. Nicht so groß rum poltern Herr Huang .

Bin gespannt wann der mal sowas zerlegen wird... der8auer

 

[latiose88]

oh cool, ich freue mich auf die kommenden CPUS. Da ist noch lange keine Grenze erreicht. Mit sowas kann man also weitere Steigerungen auf dem Desktop erwarten. Endlich bringt diese Ki Zeug auch mal Vorteile. Ich brauche noch immer mehr CPU Leistung. ALso wir sind noch außerhalb der Verkleinerung noch lange nicht am Ende. Hier geht mit dieser Methode noch mehr auf CPU Seite. Da wird bei der Packdichte also Intels CPU geschlagen. Das freut mich. Allerdings je dichter gepackt wird desto heißer wird das ganze. Bin gespannt ob man sowas noch mit Luftkühlung kühlbar ist oder ob man da immer dann bei 100 Grad Grenze sich befindet.
Auf so engen Raum mit noch mehr Transistoren als Aktuelle CPUS so bieten in der üblichen Größe wie die CPUS so aktuell sind. Es wird mit Luftkühlung ne Herausforderung aber es ist nicht unschaffbar.
Vielleicht kommt ja bald eine CPU die doppelt so viel hat wie ein Ryzen 9 7950x wer weis, mit der selben Größe wie einer der 7950x so hat oder doppelt so viel wie der I9 14900k. Ja ich habe vor das mit Luftkühler zu kühlen. Vielleicht werden die CPUS ja größer.Dann kann man noch größere Luftküher drauf packen. So 2x200 mm oder 2x 250 mm Luftkühler. Nur das Gehäuse muss halt dann sich Verdoppeln bei der Breite und auch die Mainbaords. Das ist dann fast so gut wie Wasserkühlung.
Nur noch größer wird wohl nix mehr. Irgendwann geht es halt nicht mehr. Ich gehe also so weit bis die Grenze erreicht ist.
Denke mal das die dreifache Größe dann schon eng wird. Momentan ist ja Pro Chiplet ja bei 75mm².Hart wäre es wohl wenn es 175 mm² Pro Chiplet CPU wäre. Denn dann würde ein Mittelklasse CPU bei 2x175 mm² groß sein.

So ein 600 oder 800 mm² CPU wird keiner Bauen, es sei denn es kommt dann ein 300 oder mehr Kerner als CPU.
Ich begnüge mich in Zukunft sogar nur mit 24 Kernern. Das heißt es wird zwangsweise mehr Transistoren auf die CPU kommen.Bis 24 Kerner im Mainstream kommt, begnüge ich mich bis dahin mit 16 Kernen.

 

[MaverickM]

so muss man den Wafer wenigstens nicht mehr auseinanderschneiden....

Dafür muss auch der gesamte Wafer einwandfrei sein... Teildefekte Prozessoren kann man nicht einfach rausschneiden oder beschnitten als kleinere Version verkaufen.

 

[DJMadMax]

Warum sollte es im Englischen korrekt sein?

Weil du hier mit einem simplen Präfix, nämlich Bi, Tri, Quad etc. sofort weißt, was Phase ist. Im Deutschen reicht der Präfix allein eben nicht aus, weil du nicht weißt, om am Ende "ion" oder "iard" steht, hier brauchst du zwingend Präfix und Suffix. Das macht die deutschsprachige Variante zwangsweise und unnötig kompliziert.

 

[shaadar]

4 Billionen Transistoren. Wenn man bedenkt, dass NVidias Offline-KI trainierbar ist und mit einer 100 GB SSD und ner GTX 3050 klarkommt - kommen bald Androiden, die mit uns "vernünftig" sprechen können.

Gut dass man mit Regulierung ein Auge drauf hat. Leute, es tut sich was!

 

[calluna]

Weil du hier mit einem simplen Präfix, nämlich Bi, Tri,

Du hast ihn falsch verstanden… bei uns stehen die Präfixe für die Potenzen von einer Millionen.
Das ergibt also mathematisch mehr Sinn - finde ich.

10^6*1, 10^6*2, 10^6*3, 10^6*4…

Und wer Eindeutigkeit und Internationalität möchte verwendet die SI-Präfixe.

Davon abgesehen lernt ein Muttersprachler das für seine jeweilige Sprache auswendig, weswegen eine Systematik dahinter egal ist.

 

[Relak]

Wie schaut der Sockel für so ein Teil aus? Wie viele Pins hat der dann?

 

[Boimler]

Das macht die deutschsprachige Variante zwangsweise und unnötig kompliziert.

Die deutsche Zählweise ist genau so logisch wie die englische. Sie orientiert sich eben nur an anderen Vorgaben. Darüber hinaus würde aber auch jeder in einem Paper oder für die Gemeinschaft gedachten Text einfach die Zahl in Potenzschreibweise verwenden.

Jetzt aber genug mit dem Fachsimpeln. Die viel wichtigere Frage ist: Wie halten wir das Ding davon ab, die Weltherrschaft zu übernehmen, wenn es online geht?

 

[foofoobar]

Machen sich auch sehr schön in der Küchenzeile an der Wand.

Annähernd 0. Denn wir haben noch keinen High-End Prozess mit 100% Yieldrate.

Wenn das fertige Produkt 100 xPUs haben sollen und auf dem Wafer 110 belichtet werden dürfte der Yield ziemlich gut sein. Spielekonsolen sind auch so konzipiert.

Ergänzung (14. März 2024)

Skynet

Wenn 100 mal mehr Transen eine KI nur 10% schlauer machen wird das kein Skynet.

Ergänzung (14. März 2024)

Du hast ihn falsch verstanden… bei uns stehen die Präfixe für die Potenzen von einer Millionen.
Das ergibt also mathematisch mehr Sinn - finde ich.

10^6*1, 10^6*2, 10^6*3, 10^6*4…

Und wer Eindeutigkeit und Internationalität möchte verwendet die SI-Präfixe.

Davon abgesehen lernt ein Muttersprachler das für seine jeweilige Sprache auswendig, weswegen eine Systematik dahinter egal ist.

Kilotransen, Megatransen, Gigatransen, Teratransen ........

 

[Weyoun]

Ein Chip in Wafergröße? Wenn ich aus einem Kreis das größtmögliche Quadrat säge (ohne weitere Verluste, was nicht sehr realistisch ist), habe ich bereits einen Verlust von 36,5 Prozent! Der Gesamtverlust an teuer hergestelltem monokristallinem Silizium dürfte somit bei über 40 % liegen. Wie sinnvoll ist es, einen solchen "Brummer-Chip" zu produzieren? Warum dann nicht gleich den kompletten runden Wafer als Chip nehmen und auf das PCB löten? Das ergibt zwar zusätzliche Arbeit für den Chipdesigner und das Packaging, doch wäre der Verschnitt am Ende ungleich weniger und auch die thermische Abwärme dürfte beim Kreisförmigen Chips nicht schlechter ausfallen als bei quadratischer Form.

 

[=dantE=]

Zwar nur ein Ringkernspeicher,

Möchte ich melden ... gehört in den Retro Thread ^^ ...
SCHEERRRZZ, ist schon ziemlich geil .

 

[stefan92x]

Wenn ich aus einem Kreis das größtmögliche Quadrat säge (ohne weitere Verluste, was nicht sehr realistisch ist), habe ich bereits einen Verlust von 36,5 Prozent! Der Gesamtverlust an teuer hergestelltem monokristallinem Silizium dürfte somit bei über 40 % liegen.

Tatsächlich liegt der "reale Verlust" schon noch geringer, da ja nicht der ganze Kreis nutzbar ist, sondern die kompletten Randbereiche mit nur teilweise belichteten "Segmenten" (ich weiß gar nicht, wie man das da am besten nennt) gefüllt sind. Allein dadurch fällt schon einiges Weg. Trotzdem bleibt ein gewisser Verschnitt übrig, aber da würde ich vermuten, dass der dann so klein ist, dass sich der Aufwand nicht mehr lohnt ihn zu nutzen, sondern das drumherum zu kompliziert machen würde.

Schon jetzt sehen wir ja, dass Cerebras WSE deutlich weniger elektrische Leistung pro Fläche nutzen als die kleineren Chips von Nvidia etc, da kann ich mir gut vorstellen, dass man da bei einem größeren Chip endgültig in Schwierigkeiten läuft und das ganze weiter runtertakten müsste, was den Vorteil der größeren genutzten Chipfläche wieder aufheben würde.

So oder so kann man sicher sein, dass eine Cerebras WSE eine effizientere Nutzung von Siliziumwafern darstellt als klassische Beschleuniger, allein schon dadurch dass sie eben sehr viel weniger Fläche für Kommunikation zwischen Chips verwenden müssen (und die ganze Infrastruktur drum herum wie PCIe Retimer, -Switches, speziellere Lösungen wie NVSwitch, sowas fällt auch alles weg). Gilt natürlich nur, wenn der Anwendungsfall für die WSE passt, da sind andere Chips ja durchaus vielseitiger anwendbar, aber dann halt eben schon.

 

[[wege]mini]

könnte man auch einfach eine (internationale) mathematische oder computer-mässige Form nutzen

Macht man. Wer über 10 hoch -9 und kleiner oder 10 hoch 9 und mehr redet und dieses im Bereich der "Macher" baut, bedient sich nicht mehr Namen wie Batzilliarden.

Das ist nett, um Menschen zu begeistern, die sich solche Mengen sowieso nicht vorstellen können, bringt aber nicht weiter, wenn man nicht nur eine Nachricht schreiben will.

Dann ist es sowieso egal. Dann nimmt man auch gerne das Wort "Trölfionen".

btt:

So langsam bewegen wir uns in einem Bereich, der das Gehirn eines 2-3 jährigen Kindes abbilden kann. Aktuell sind wir noch eher bei Mäusen.

mfg

 

[tdklaus]

Ein Chip in Wafergröße? Wenn ich aus einem Kreis das größtmögliche Quadrat säge (ohne weitere Verluste, was nicht sehr realistisch ist), habe ich bereits einen Verlust von 36,5 Prozent! Der Gesamtverlust an teuer hergestelltem monokristallinem Silizium dürfte somit bei über 40 % liegen. Wie sinnvoll ist es, einen solchen "Brummer-Chip" zu produzieren? Warum dann nicht gleich den kompletten runden Wafer als Chip nehmen und auf das PCB löten? Das ergibt zwar zusätzliche Arbeit für den Chipdesigner und das Packaging, doch wäre der Verschnitt am Ende ungleich weniger und auch die thermische Abwärme dürfte beim Kreisförmigen Chips nicht schlechter ausfallen als bei quadratischer Form.

Das Rohsilizium ist das billigste am ganzen Wafer, und wird auch bei "normalen" High-End-Chips ganz am Ende von hinten auf <100µm Dicke abgeschliffen (=90% Verlust) um auch von hinten gut kühlen zu können. Bis dahin dient es nur als robuster Träger.
Nur eine einzelne WSE könnte man natürlich auch rund bauen. Aber wenn man hunderte in einem Supercomputer zusammenschalten will, dann wird die rechteckige Form doch wieder kompakter und billiger.
PCBs gibt es bei den Wärmebilanzen nicht mehr, das werden Silizium- oder keramische Interposer sein.