Datentypen, Zahlenformate und CPU-Rechenleistung | Bit-Rauschen 2026/21

00:00:00: Herzlich willkommen zu Bittrauschen, der Prozessor-Podcast von CT.

00:00:05: In dieser Folge geht es um ein kniffliges Thema nämlich Zahlenformate für Computer.

00:00:12: Wer wenigstens ein bisschen programmieren kann, er kennt sicherlich Begriffe wie Integer oder Float also Datentypen für ganze Zahlen und Gleitkommarzahlen Also unterschiedliche Datentypen dafür.

00:00:24: Aber es gibt noch sehr viel Mehrauswahl an Formaten, etwa für besonders genaue Berechnungen mit FP-IV.

00:00:32: Und seit einigen Jahren auch kompakte Varianten speziell für KI-Modelle, etwa INT-Acht oder FP-Vier und mein Kollege Carsten Spille erklärt uns gleich was es damit auf sich hat und was eine Quinkwa Gintillion ist.

00:00:47: Bis gleich!

00:01:03: Hallo, mein Name ist Christoph Windeck Und heute spreche ich mit meinem geschätzten CT-Kollegen Carsten Spille, der schon viele KI-Beschleuniger mit ganz vielen verschiedenen Zahlenformaten vermessen hat.

00:01:16: Hallo Carsten!

00:01:17: Moin Christoph, hallo!

00:01:19: Ja schön mal wieder auf dieser Seite vom Mikrofon zu sitzen.

00:01:23: Genau wir wechseln uns ja gerne ab.

00:01:25: Bevor wir jetzt in dieses sehr knifflige Thema reingehen möchte Ich betonen dass das hier die Idee eines Zuhörers war Und ich hoffe, wir haben es zu seiner Zufriedenheit gelöst oder werden das jetzt gleich tun.

00:01:39: Aber an Sie alle die uns zuhören.

00:01:40: also wenn sie Themen Ideen haben für unseren Podcast dann schicken Sie uns die Bitte an bit-rauschenetct.de und gerne auch alle anderen Kommentare und Ideen, die Sie so haben!

00:01:55: Also erstmal die allererste Frage Karsten Datenformat oder Zahlenformat?

00:02:00: Was ist denn überhaupt die richtige Bezeichnung deiner Meinung nach.

00:02:03: Ich glaube, so ein richtig deutsches Wort dafür gibt es nicht so richtig, oder?

00:02:06: Ja, es kommt ja von Data Formate also aus dem Englischen.

00:02:09: wie so viele Begriffe in der IT und im Prinzip ist das ein Datenformaat wird aber tendenziell für Zahlen benutzt.

00:02:17: In unserem Fall würde ich mal sagen wir sagen uns einfach beides abwechselnd und meinen aber das Richtige.

00:02:25: Ich finde wenn ich mich jetzt mal ganz zurücklehne Eigentlich finde ich die ganze Sache sehr verwirrend, weil Computer ja bekanntlich mit Eins und Nullen rechnen.

00:02:36: Also zumindest die digitalen Computer, die wir so alltäglich benutzen also im binären System oder Dualsystem Und sie zeigen uns die Zahlen ja zum Glück nicht als Eins-und-Nullen an am Ende sondern in dem für uns doch einfacheren Dezimalsystem.

00:02:56: Die ganz harten können vielleicht noch BCD oder Hex-Zahlen oder so, aber ich finde Benärzahlen doch extrem unübersichtlich.

00:03:04: Das heißt es ist irgendwie schon klar wenn man drüber nachdenkt dass die Computer diese Zahlen irgendwie intern umrechnen müssen.

00:03:10: das kann ich jetzt so nachvollziehen.

00:03:13: das ist ja schon beim Taschenrecht also gewesen in der Schule.

00:03:17: weniger verständlich ist aber warum es dann so unglaublich viele verschiedene zahlenformate gibt Zwischen denen die Komprogrammierer auch noch wählen sollen.

00:03:27: Warum ist das so, Carsten?

00:03:29: Das liegt hauptsächlich eigentlich daran dass Computer sehr viele verschiedene Dinge können und sie unterscheiden sich halt extrem.

00:03:40: Und dazu sind halt unterschiedlichste Typen von Berechnungen nötig.

00:03:44: und wenn ich einfach nur Rechnung schreibe dann würden auch sehr einfache Datentypen genügen, eine Festkommazahl mit zwei Nachkommastellen vielleicht für die Supermarktkasse und da kommen ja zum Beispiel selten Beträge von mehr als einundzwanzig Millionen Euro vor.

00:04:03: Die lassen sich nämlich noch mit einem Zwei-Einrassibit Integer also mit Ganzzahlen darstellen.

00:04:10: Und für wissenschaftliche Berechnungen auf Supercomputern

00:04:12: z.B.,

00:04:13: da benutzt man oft Gleitkommarzahlen weil sich damit sechzehn Nachkommachstellen darstellen lassen und der Wert, werte dann über dreihundert Nullen erreichen können.

00:04:27: Und die sind dann entsprechend dem was du vorhin, du hast es wahrscheinlich geübt ich hab's nicht geübte eine quinquagintillion.

00:04:38: ja das habe ich auch ganz einfach bei Wikipedia nachgekommen.

00:04:42: also wenn das jetzt falsch ist dann ist das von Wikipedia Genau.

00:04:47: Ich wusste nicht so recht, wie es nach der Billiarde

00:04:51: weitergeht.

00:04:52: Trillion und so weiter.

00:04:54: Trion

00:04:54: hätte ich noch gewusst... Da fängt man ja immer an mit irgendwelchen Fantasiebezeichnungen wenn man gerade nicht weiß.

00:05:02: Jetzt ist schon klar natürlich man kann ein kleineres Format nehmen.

00:05:07: dann also das hier gesagt.

00:05:08: einmal sind eben die Nachkommastellen also wir genau zeige ich einen Wert an Und rechnen weiter, da habe ich ja oft dann Rechenfehler später.

00:05:18: Wenn nicht also wenn ich durch Rundungen komme ja Fehler rein und das ist das eine die Genauigkeit und das andere ist der Wertebereich.

00:05:26: Also es kann ja riesige Zahlen geben vollkommen klar.

00:05:29: aber was ich so jetzt erstmal auch wieder naiva Standpunkt wieso rechne ich denn dann mit kurzen zahlen wenn ich hier auch mit den langen?

00:05:36: rechnet man es ist ein computer.

00:05:38: Wir leben im KI-Zeitalter, verballern Rechenreistungen ohne Ende.

00:05:42: Warum soll ich denn überhaupt... warum nehme ich nicht immer die maximale Genauigkeit?

00:05:47: Ja also ganz kurz will ich vielleicht noch mal einwerfen was ist eben ja schon so'n bisschen angeschnitten?

00:05:54: Zahlenbereich und Genauigkeit unterscheiden sich Und ich hatte vorhin von verschiedenen Bitwerten geredet.

00:06:00: Also das wird dann aufgeteilt in verschiedenen Gleitkommarformaten Wie viele jeweils für die, für den zahlenbereich reserviert werden wie viele bitt und wie viele zahlen wie viel bitt.

00:06:15: Für die genauigkeit aber fangen wir mal an wieso ich nicht immer mit der maximalen genauigkeit rechne.

00:06:24: das sind eigentlich naheliegende gründe wenn man es einmal weiß.

00:06:29: dass ist speicher platz und rechengeschwindigkeit.

00:06:32: Wir nutzen heutzutage ja üblicherweise Computersmartphones, Tablets und viele Leute auch Smartwatches mit Viele internen Rechenwerke und Bussysteme, auch der Arbeitsspeicher sind in diesen sixty-fünf Bitteppchen organisiert.

00:07:04: Und dadurch können theoretisch viele Bittbittechnungen auch in einem einzigen Taktschritt ablaufen.

00:07:12: Aber ich kann anstelle einer solchen sixty-Fünf Bitten Portion alternativ diese sixty-Bit unterteilen in jeweils zum Beispiel zwei mal zweiundreißig Bit viermal sechzehn oder acht Mal acht Bit Und im Idealfall werden die in einem einzelnen Takt Schritt verdaut, wenn dann nicht großartig was konvertiert werden muss.

00:07:33: Ich habe zum Beispiel bei acht Bittgenauigkeit einfach acht Berechnungen statt einer also die achtfache Geschwindigkeit.

00:07:41: und wenn ich diese acht Zahlen brauche, dann spare ich natürlich auch Speicherplatz oder ich kann eben acht Zahlen für den Platz von einer Speicher.

00:07:51: Okay das heißt es würde ja auch sozusagen bei der Smart Budgets hätte man großes Interesse.

00:07:56: Da ist die Akkulaufzeit hier das größte Problem.

00:07:59: Ich muss die Dinger irgendwie jeden Abend laden, also ich hab gar keine.

00:08:02: Ich frag für ein Freund.

00:08:03: Rein theoretisch ja?

00:08:05: Rein theoretische!

00:08:05: Das heißt ich würde da also Platz sparen... Also auch Rechenzeit und somit wenn ich Taktzyklen spare, spare ich ja auch echte Rechenarbeit und Datentransferater.

00:08:17: Also da würde es mir zum Beispiel bei der Akkulaufzeit helfen.

00:08:21: Genau, so kann man das einschätzen.

00:08:24: Das ist aber nur einer der Aspekte.

00:08:27: Es gibt ja auch verschiedene Zahlenformate gleicher Breite also zum Beispiel verschiedene sechzehn Bit-Formate Verschiedene zweiundreißig Bit Formate die sich eben in dieser Genauigkeit und dem Wertebereich unterscheiden.

00:08:39: Und der einfachste Fall ist ja schon wenn mein Integer, also sagte vorhin ja schon ganze Zahlen Im Vergleich zu Gleitkommazahlen Die eine wissenschaftliche Darstellung mit Mantisse und Exponent bedeuten unterscheidet um das mal konkret zu machen.

00:08:55: also eine integer zahl mit sechzehn bit bedeutet dass sich ganze zahlen also zum beispiel ein zwei drei vier fünf von minus zwei hoch fünf zehn bis plus zwei hoch fifteen darstellen kann.

00:09:09: Also aus multipliziert sind es dann vom minus zwei und dreißig tausend siebenhundert achten sechzig bis plus zweiein Dreißig Tausend Siebhundert Sechzig, also da fehlt noch eins.

00:09:20: Warum fehlt da einer?

00:09:22: Weil wir auch einen Bit benutzen müssen, um das Vorzeichen zu codieren.

00:09:29: Und weil der ganze Wertebereich die Null enthält, weil ohne Null lässt sich ein bisschen schwieriger rechnen geht der positive Wertebereich nur bis zu einereißigtausend siebenhundertsechzig.

00:09:43: Und wähle ich jetzt statt Integer mit sechzehn Bit Glide Komma Zahl Floating Point oder FP-Sechzehn Dann reicht der Wertebereich bis zu unsächsigtausendfünfhundertvier, also bis zum Doppelten.

00:09:57: Das klingt auf den ersten Blick komisch weil ich habe ja nur die gleiche Bitzahl.

00:10:04: Das liegt aber daran dass das bei Floating Point Zahlen in Exponent und Mantisse, also Basizahl und Exponent unterteilt ist.

00:10:19: Aber zurück zu unserem eigentlichen Anliegen.

00:10:24: Wenn ich jetzt sage, warum nehme ich nicht einfach ein anderes Format?

00:10:30: Mein Programm zum Beispiel kann Dezimalzahlen nur bis auf drei oder vier Stellen genau darstellen und bei großen Exponenten wird die Darstellung einfach weniger genau.

00:10:42: Die größte, ungerade Ganzzahl die FP-sechzehn Darstellen Kann ist zum Beispiel zwei tausend sieben und vierzig.

00:10:49: Und Danach wird der Abstand Zwischen den Zahlen mindestens Zwei.

00:10:53: Also ich habe

00:10:54: also ich kann mit FP-Sechszehn nicht zweitausend achten vierzig hinschreiben

00:10:58: Nicht so genau also nicht so direkt.

00:11:01: okay ein bisschen schwieriger und Das macht sich dann auch noch in anderen Bereichen bemerkbar zum Beispiel wenn ich mit Pi rechne, mit der Kreiszahl.

00:11:16: Da weiß ja jeder die wichtigen Nachkommastellen, drei Komma eins vier eins fünf neun zwei sechs fünf drei fünf.

00:11:24: nein Die habe ich mir jetzt aufgeschrieben Aber manche Leute wissen ja viel mehr zu stellen noch und geht ja da noch endlos so weiter.

00:11:33: aber als FP-sexten repräsentiert kann Ich die beste Ernährung die ich dahin bekomme ist Das ist also schon eine ganz schöne Abweichung.

00:11:46: Also wenn ich jetzt richtig hingehört habe, bei der dritten Nachkommastelle hab' ich schon ne Abweicherung?

00:11:52: Genau!

00:11:52: Bei der driten Nachkomma-Stelle ist es nicht mehr genau.

00:11:56: Ja blöd!

00:11:59: Gibt es ja noch andere Sechzehn-Betypen?

00:12:02: Ja da gibt's noch einige... Wir hatten eben zwischen Floating Point und Injector unterschieden Und dann gibt es noch Brain Float Sechzin kurz BFsechzin.

00:12:12: Da hat man statt üblicherweise zehn Bit für die Mantisse, nur sieben.

00:12:18: Aber acht Bit statt fünf Bit für den Exponenten.

00:12:21: Das heißt da reicht der Wertebereich dann wie bei FP³³, bis zu zehn hoch, auf Kosten eben der Genauigkeit.

00:12:30: Ich habe jetzt nicht nachgeschaut was das für Pi genau bedeutet aber wahrscheinlich hat man dann noch etwas weniger genaue Nachkommastellen.

00:12:38: Also Brainfloat-VI ist fatal für Pi kann man sagen?

00:12:41: ...

00:12:43: ist anzunehmen, ja.

00:12:44: Man kommt da aber irgendwie drum rum...

00:12:47: Wenn ich jetzt meine Rechenwerke Akkuleistung Performance Speicherplatz irgendwie in Einklang bringen will als Programmierer Jetzt habe ich diese starren Formate ne?

00:12:59: Du hast jetzt bei Werten Int-Sechzehn zum Beispiel gesagt FP-Sächzehn also je nachdem ob ich dann Nachkommenstellen darstellen möchte oder nicht Oder einen größeren Wertebereich.

00:13:09: wieso kann ich das denn nicht komplett frei Einstellen, also kann ich da nicht neun Bit mit sechs Bit irgendwie.

00:13:15: Neun Bit für die Mantisse und sechs für den Exponenten nehmen und mein eigenes CF.

00:13:21: Also Christoph Flood XVI irgendwie erfinden?

00:13:25: Ja wenn du alles komplett selber neu programmieren willst und dich auch nie mit anderen Programmen austauschen willst dann könntest du das machen.

00:13:33: Nein!

00:13:34: Das ist aus guten Gründen standardisiert.

00:13:38: fangen wir mal standardmäßig bei ganz normalen x- und achtzig Prozessoren an.

00:13:42: Da möchte man ja auch nicht, dass man plötzlich andere Ergebnisse hat wenn man von AMD auf Intel oder in die andere Richtung wechselt.

00:13:50: Die Rechenwerke müssen auch diese Zahlen ja korrekt dekodieren können.

00:13:54: da wird das noch weiter zerlegt.

00:13:57: Die verarbeiten ja Folgen aus zum Beispiel sixty Nullen und Einsen Und dann müssen sie ja auch dann wissen wenn ich ein bestimmtes Datenformat definiere Welche Stellen davon man Tisse und Exponent sind, um dann halt so weiterzurechnen dass da vernünftiges Ergebnis rauskommt.

00:14:15: Das kann man nicht so richtig per Software nachträglich umdifinieren.

00:14:21: Da müssen sozusagen die Transistoren in den Rechenwerken passend verdrahtet sein.

00:14:28: Diese ganzen Standardisierung da das gibt es Industriegremien.

00:14:33: die wichtigsten Zahlenformate sind zum Beispiel seit.

00:14:39: In der Norm, wir heißen die Institute of Electrical and Electronics Engineers IEEE Nummer siebenhundert vier und fünfzig standardisiert.

00:14:52: genau das hat mich sehr gefreut.

00:14:54: Ich glaube, es ging da nur um Floating Points.

00:14:56: Denn mein einziger Programmierkurs, den ich hier gemacht habe der war in fourtyen achtzig und vortran siebenundseitig.

00:15:01: Das ist ja noch glücklich!

00:15:02: Was heißt?

00:15:03: Ich bin von der Norm gar nicht betroffen aber als Elektroingenieur finde die iTriple ihn natürlich sowieso super.

00:15:08: Ich bin aber kein Mitglied.

00:15:09: Achso Ja

00:15:13: Aber Es gibt doch immer wieder auch proprietary Daten Typen für die Hardware von bestimmten Herstellern.

00:15:18: Es gibt auch Hersteller, die so eigene Formate erfinden.

00:15:21: wie klappt das denn dann?

00:15:23: Oder kannst du Beispiel nennen?

00:15:25: Ja, also für KI gibt es ja zum Beispiel sehr viele... Das ist jetzt auch gerade das aktuelle Thema.

00:15:32: Sehr viele eigene Formate.

00:15:35: da hat Vorreiter NVIDIA gerne mal sich irgendwas ausgedacht was dann besonders speziell für KI passend sein sollte z.B.

00:15:44: TENSORFLOAD-XXII, TF-XVIII oder auch NVFP-IV.

00:15:51: Also NVIDias Interpretation von FPV, Floating Point vier und zum Beispiel Spezial Berechnung auf irgendwelchen FPGAs.

00:16:00: da kann man auch super spezielle Datentypen definieren.

00:16:04: Und zum Beispiel ganz früher ich weiß gar nicht ob das heute noch so ist aber vor mehreren Jahrzehnten wurde im Bankensektor zb mit irgendwelche Achtzig Bit Integer Formaten gerechnet.

00:16:15: die brauchen ja keine Gleitkommar Stellen.

00:16:20: Ja, das habe ich mir auch nicht so klar gemacht dass du bei Integer also bei der alten Registrierkasse wenn du implizit die beiden letzten immer dissent sind oder früher die Pfennige.

00:16:31: Klar dann kannst du das natürlich einfach so da rein nageln.

00:16:35: Da musst du dir gar nichts.

00:16:36: Genau, da ändert sich nichts.

00:16:42: Ich würde gerne nochmal an den Punkt nachfragen.

00:16:44: Du hast gesagt, die kompakteren Zahlenformat.

00:16:47: Die sparen Speicherplatz und steigern potenziell die Verarbeitungsgeschwindigkeit pro Takt Schritt.

00:16:54: weil ich dein Beispiel war ja in einen Sechzig-Bit Rechenwerk kann ich auch acht Bittwerte hintereinander schreiben.

00:17:02: aber wieso muss jetzt der Prozessor speziell dazu ausgelegt sein?

00:17:07: Also wenn wir berichten ja immer wieder Kommt nur neue Grafikkarte raus, oder ein neuer Prozessor hat eine neue Neural Processing Unit und dann steht dann ah die kann jetzt auch in vier.

00:17:18: Und früher in acht.

00:17:21: Wieso kann ich ja nicht in der alten Einheit einfach auf dem Altenprozessor meine In-Vierwerte da reinschreiben?

00:17:29: Also kannst du schon.

00:17:30: aber das wird dann etwas schwierig wenn die Rechenwerke für ein bestimmtes Datenformat nicht ausgelegt sind also der Prozessor das quasi nicht unterstützt.

00:17:41: Dann kann der Compiler die Daten nur in das nächste größere Kompatible verpacken.

00:17:45: Also er kann dann zum Beispiel einen In-Sechzenwert, ein In-Zweindreißigtyp einschreiben und die unbenutzten Stellen filtert, muss er einfach mit Nullen auffüllen.

00:17:56: Du kannst es zwar verarbeiten aber du hast keinen Nutzen davon.

00:18:01: Es geht nicht schneller und du sparst auch keinen Platz!

00:18:04: Okay, also der das Rechenwerk arbeitet damit sehr viel nutzlosen Nullen.

00:18:09: Genau im Idealfall.

00:18:10: es gibt da die Berechnung.

00:18:11: vielleicht wenn du ganz viel Glück hast und verbrauchst dann zumindest keine zusätzliche Energie.

00:18:16: aber ja Speicher sparst du dadurch nicht.

00:18:20: okay jetzt haben wir Eingangs hast Du das Beispiel genommen.

00:18:29: Klar, wir reden über VX-Bit Prozessoren.

00:18:31: Das ist ja einerseits damit gemeint.

00:18:33: dass vor allem die Adressierung des Ramm VX Bit weit geht ist schon klar.

00:18:41: aber auf der anderen Seite berichten wir auch immer wieder schon seit Jahrzehnten eigentlich von diesen Vektorformaten also diese Advanced Vector Extensions zum Beispiel AVX mit hundertzwanzig Bit.

00:18:54: dann kam AVX zwei mit zweieinhalbzig Bits Und seit einiger Zeit gibt es in einem Teil der Prozessoren verwirrende Impletierung von AVX-Fünfhundertzwölf mit Fünfhundert zwölf Bit.

00:19:08: Wie funktioniert das denn da?

00:19:10: Ja, im Prinzip genauso nur breiter.

00:19:14: Diese Vektorechenwerke, AVX steht ja für Advanced Vector Extensions Die können nicht nur vektoren, sondern die wurden im laufe der jahre auch immer flexibler und verarbeiten jetzt eben solche datentypen wie fp sixty oder integer eight.

00:19:32: Das hängt aber immer so ein bisschen von der generationen- oder baureihe des processors ab Aber tendenziell können sie eben immer mehr.

00:19:40: War das eigentlich dann so ein bisschen der Hintergrund als Intel diese A, VNNI, AVX-VNNI-Vektor Neural Network Instructions?

00:19:51: Das heißt... So ein bisschen eine Verzweifelungsreaktion.

00:19:55: Wir haben zwar keinen KI-Beschleuniger aber dafür kann jetzt unser AVX Rechenwerk auch KI-Datentypen.

00:20:00: Kann man das so sehen?

00:20:02: Ja also die Bezeichnung!

00:20:04: Die Rettersein-Namensschema, das haben Sie bestimmt aus dem Grund dazu reingepackt.

00:20:09: Aber ja, das ist halt die Aufsplittung der doch sehr breiten, fünfhundert zwölf Bit Rechenwerke in sechzehn Bit Untergrüppchen.

00:20:20: aber dazu kamen ja auch noch zusätzliche Befehle, die verschiedene Dinge mit den Daten dann anstellen.

00:20:26: also es ist nicht nur damit getan dass sie mit sechzen Bit Werten umgehen sondern auch was sie damit machen können.

00:20:34: Okay, das heißt also es gibt auch komplexe Befehle die was weiß ich.

00:20:38: Also nicht nur geteilt mal plus und minus sondern auch irgendwie vergleichen oder... Ich muss immer mein Lieblingsbefehl ist eigentlich mal Pop count, den fand ich so toll.

00:20:53: Population Count das heißt irgendwie kommt da wird dann Wert interpretiert.

00:20:57: wie viele nullen oder einsen oder Einsen wahrscheinlich sind da drin oder so?

00:21:00: Ich habe es nie genau verstanden, aber ich fand Popcount immer so toll

00:21:04: klingt auch so kann man sich auf allen Dingen merken von dem Namen her ne?

00:21:07: Ja

00:21:09: ja ich glaube dass kam ursprünglich.

00:21:11: oder ob's ursprünig daher kam weiß ich nicht aber es gab ja mal diese Data Type Inversion wo dann geguckt wurde, wenn da mehr Nullen als Einsen sind.

00:21:25: Beziehungsweise mehr Einsen als Nullen, dann wurde das gespiegelt quasi und mit dem gespiegelten Wert weitergerechnet um einfach Energie zu sparen.

00:21:34: Das sind aber super spezielle Spezialitäten die du jetzt haus hast?

00:21:37: Ja, das war sehr speziell!

00:21:39: Alles klar.

00:21:41: Was ich mich bei der ganzen Geschichte noch frage, merkt der Prozessor denn eigentlich automatisch welche Datentypen da ankommen und verteilt die dann auf die Rechenwerke?

00:21:48: oder wie funktioniert das?

00:21:50: Nur teilweise.

00:21:51: Also für AVX hatte ich ja schon gesagt muss sich da spezielle AVX Befehle benutzen um die Rechnwerke anzusprechen?

00:22:00: Das sind dann halt diese Vektorbefehle sonst würde das auf die normalen und viel langsameren Rechenwerk der CPU aufgehetsch bzw.

00:22:11: gescheduled, sagt was gibt es da auf Deutsch zugeteilt?

00:22:15: Aber sowas entscheidet dann der Compiler.

00:22:18: beim Programmablauf

00:22:21: Kann man da so ein bisschen sagen.

00:22:22: das hängt jetzt auch von der Programmiersprache oder der Programmierumgebung ab wie weit man da optimieren kann.

00:22:28: also

00:22:29: Ja also die jeweiligen Sprachen müssen das natürlich unterstützen.

00:22:33: Das ist ja ganz klar.

00:22:36: Wenn irgendeine Sprache nichts mit Intvier anfangen kann, dann kannst du da auch nicht sehr viel... Kann der Compiler zumindest selber nicht so viel optimieren.

00:22:44: Du müsstest dann selber wahrscheinlich Register zusammenpacken und so.

00:22:51: Das heißt man kann also ganz klar sagen um davon zu profitieren muss man den Code auch neu kompilieren.

00:22:56: Also das nutzt ja nix ein altes Programm auf einem super tollen Prozessor laufen zu lassen der die tollsten Formate erkennt sondern der Code muss dafür schon gemacht sein.

00:23:05: Ja, der Code muss gemacht sein.

00:23:06: Da muss ich auch entsprechend parallelisieren lassen.

00:23:09: Das ist ja einer der Gründe, warum man oft sagt, oh!

00:23:12: Ich habe jetzt einen neuen Rechner mit einem neuen Prozessor gekauft und ich merke gar nicht dass er so viel schneller geworden ist.

00:23:18: Also nicht der einzige Grund aber Einer der Grunde

00:23:21: Wie ist es denn mit diesen modernen KI-Datentypen über die wir jetzt schon ein bisschen Brainfloat, Tenser Float, Zweiunddreißig, NVIDIA, FPV laufen die nur auf KI Rechenwerken?

00:23:32: Ja das hängt davon ab Und zwar vom jeweiligen Prozessor.

00:23:40: Moderne Prozessoren können die sowohl ihren normalen CPU-Kern verarbeiten, als auch in der Neural Processing Unit oder NPU wenn sie so eine haben.

00:23:51: also haben ja die modernen Desktop und Mobile Chips haben fast alle einen kleinen KI.

00:23:58: Spezialchip.

00:24:01: GPUs können das zum Beispiel auf ihren Tensor, so heißt es bei Nvidia oder Matrix Multiplikation Einheiten schieben.

00:24:12: Welcher Datentyp nun wo am schnellsten läuft?

00:24:18: Welche Einheit?

00:24:19: Das hängt auch ein bisschen vom jeweiligen Prozessor ab.

00:24:23: Einige Server-Prozessoren haben ja zum Beispiel Spezialinstruktion, zum Beispiel AMX Advanced Matrix Extensions.

00:24:31: Die gibt es seit, ich glaube, Sapphire Rapid seit drei Jahren oder vier bei Intel in den Serverprozessoren und bei ARM gibt es die Entsprechung Scalable Matrix Extentions SME.

00:24:43: Ah ja das stimmt!

00:24:44: Das haben wir mal geschrieben dass Apple die z.B.

00:24:46: in die M-Prozessoren schon seit, seit MIV glaub' ich schon einbaut ne?

00:24:52: Ja okay

00:24:53: da sind... Das sind also solche Spezialeinheiten, die speziell für diese KI-Datentypen gedacht sind.

00:25:02: Und die muss der Compiler dann aber dem Prozessor auch sagen... Ich habe hier übrigens was, das würde jetzt super darauf laufen.

00:25:08: und da kommt wieder dieser Apple Vorteil, die ja sehr eng auf die Programmierumgebung kontrollieren sozusagen und den Programmierern sagen, wenn du solche Berechnungen machen willst, dann nimm doch hier schon mal diese Blaupause.

00:25:24: Und die sorgt dann auch dafür, dass das dann wirklich an der richtigen Stelle auf dem Prozessor oder Beschleuniger je nachdem auf welchem Mac das dann läuft.

00:25:32: Auch genutzt wird.

00:25:33: genau und da geht es ja sogar noch weiter.

00:25:36: ich meine das ist jetzt Apple rückt sowas ja öffentlich nicht raus.

00:25:42: aber Es ist durchaus denkbar dass zum Beispiel die apple npu manche Befehle manchen müssen.

00:25:48: ja trotz niedriger geringwärtiger, in Einführungszeichen gering zahliger Datenformate müssen ja manche Berechnungen trotzdem irgendwie in höheren Datenformaten zum Beispiel im Zweiundreißig-Bit erfolgen.

00:26:01: Dass Apple das einfach automatisch dann auf die CPU oder auf den normalen GPU Kerne schiebt und sagt Die NPU macht nur die acht Bittberechnung oder vier Bit.

00:26:10: Okay!

00:26:11: Das heißt da sind also noch Optimierung sozusagen unter der Haube möglich?

00:26:15: Und das ist gar nicht so sehr mehr zum zu Fuß programmieren gedacht, sondern man nutzt dann eben solche Frameworks oder CUDA.

00:26:22: Wer es ja bei Nvidia wo man das dann entsprechend anpasst, wo dann auch schon viele Optimierung in den Compiler und diese ganzen Frameworks erlaufen.

00:26:31: Also dieses Assemblerprogrammieren was man früher mal die Gugus früher gemacht haben ich glaube dass machen heute echt nur noch ganz ganz wenige Leute.

00:26:41: Kannst du mal ein paar besondere KI-Datentypen beschreiben und deren Vor- und Nachteile?

00:26:47: Ja, können wir machen.

00:26:49: Brainfloat hatte ich ja schon gesagt alias BF-XVI.

00:26:54: Der Vorteil da ist man hat den Wertebereich wie bei dem doppelsobreiten FP-XVII nur halt mit geringerer Genauigkeit.

00:27:05: also Ich habe einen Exponenten der so groß ist wie bei FP-xVII Aber die Mantisse ist halt kleiner, sodass ich die Zahlen nicht ganz so genau darstellen kann.

00:27:16: Aber immer auch den halben Speicherplatz?

00:27:20: Genau!

00:27:20: Ich kann entweder doppelt so viele Werte speichern oder ich brauche nur halb so viel.

00:27:24: Je nachdem auf was es hinausläuft, spare ich dann natürlich auch viel Energie.

00:27:30: und viele NPUs haben ja eben auch schon angerissen Rechenwerke, die für Multiplikation riesiger Matritzen ausgelegt sind die aber nur mit acht Bit Integer-Werten maximal bestückt sein dürfen, also in acht.

00:27:46: Und manchmal oder häufig geht auch in sechzehn dann eben nur halb so schnell und manche können halt auch FP vier oder FP Acht und das wiederum dann so schnell wie mit in acht oder FP Vier dann doppelt so schnell im Idealfall.

00:28:01: Jetzt hast du uns vorher das mit dem bei FP Sechzehnt dass da schon bei Pi an der dritten Nachkommaststelle ein Fehler ist.

00:28:10: Dann stelle ich mir bei FPV, aber vor ja was kann ich denn damit überhaupt noch darstellen?

00:28:15: Ich meine das sind doch da ist doch irgendwie nur noch ein paar Zahlen oder nicht.

00:28:19: Da

00:28:20: bleibt nicht mehr viel übrig.

00:28:21: also da kommt aber immer noch einen kleiner Skalierungsfaktor zum Einsatz.

00:28:26: Also bei FPv kannst du eigentlich theoretisch ja nur fünfzehn verschiedene Werte darstellen außer null.

00:28:33: die zahlen Null Komma Fünf eins Eins Komma fünf zwei drei und vier und sechs wie plus oder minus.

00:28:41: Das ist dieses signbit plusminus, da kommt ja immer noch dazu.

00:28:46: und dabei kommt wie gesagt noch dieser Skalierungsfaktor der für einen ganzen Block deswegen heißen das sind auch sogenannte Blockformate Der für ein ganz block dieser werte gilt also mal zwei mal dreißig oder mal tausend was auch immer.

00:29:02: Und beim micro scaling format mx fpv Enthält ein block jeweils.

00:29:08: Zwei und dreißig fpv vierwerte also hundert achtundzwanzig bitt Und ein achtskalierer kommt dazu, sodass dieser block dann hundertsechsunddreißig mit groß ist.

00:29:17: das wirkt auf mich jetzt irgendwie Kontra intuitiv wenn ich ja mit vielen sechzig bitt oder fünfhundert zwölf bet rechnwerken arbeit.

00:29:25: aber wahrscheinlich habe Ich dann immer pakete aus so vielen blöcken dass das dann wieder irgendwie durch diese Durch die Pipelines passt.

00:29:34: Also es geht hier nie darum mit einem einzelnen Wert zu rechnen, sondern es geht ja um riesige Datenmassen, die dadurch gepumpt werden.

00:29:42: Ich finde das immer noch unfassbar, dass mittlerweile diese NPUs wenn man diese TerraOps auflöst also ich habe hier so ein Billigprozessor für hundert Euro und da ist eine NPU drin bei den Einfachsten hat dann zum Beispiel dreizig TerraOps was er bedeutet dreißig Billionen Operationen pro Sekunde in meinem blöden, zehn Watt Prozessor.

00:30:08: Das finde ich schon sehr beeindruckend!

00:30:10: Es

00:30:10: sind enorme Datenraten, ja?

00:30:13: Okay.

00:30:15: Gibt es noch andere durch diese MX-Formate?

00:30:17: die sind ja in jüngerer Zeit erst so hochgepoppt.

00:30:20: Ich hatte gelesen dass das diese Open Compute Foundation irgendwie also für die die auch bei KI Rechenzentren erheblichen Einfluss haben Dass die da irgendwo so ein unter Standardisierungsgremium hatten, weil sie vielleicht nicht unbedingt in fp also nicht Nvidia von Nvidia fpv etwas ab unabhängiger werden wollten.

00:30:42: Genau was gibt es dann noch mehr Formate?

00:30:45: Ja also mxf pv hatte ich ja eben schon angesprochen den gibts noch mx fp-sechs das ist so ein bisschen speziell.

00:30:53: und m x fp acht Und die gibt's dann auch noch in varianten.

00:30:57: Also fp sechs gibt es zum beispiel mit entweder zwei Bit Exponent und drei Bit Mantisse plus Vorzeichenbit oder andersrum mit drei Bit Exponent und zwei Bit Mantise, also E-III MII.

00:31:15: Okay!

00:31:15: Da gibt es noch untage-Schmacksrichtung?

00:31:17: Ja das kann man noch umkonfigurieren quasi und bei MX FP-Acht gibt's das halt als E-IV M III oder als E V, also mit fünf Bit Expontant und zwei bit Mantisse.

00:31:28: da hat man dann halt bei letzterem einen relativ großen Wertelbereich, aber der Völkigenauigkeit.

00:31:36: Das ist dann fast schon eine Ja-Nein-Entscheidung!

00:31:40: Diese für mich tatsächlich überraschende Erkenntnis dass das bei FPVI schon mit P schwierig wird?

00:31:49: Lässt

00:31:50: ein Jahr so bisschen... Also schon mein hat ich ein TI oder HP Taschenrecht in den achtziger Jahren in der Schule?

00:31:57: Ich weiß es nicht mehr Der konnte P jedenfalls besser.

00:32:00: Das ist aber vielleicht nochmal eine andere, da müsste man glaube ich noch ne längere Sendung was Quatsch-Vogel zu machen.

00:32:09: Wie man eigentlich dann mit so nem vierbetrechenen Werk auch genaue Zahlen rechnen kann?

00:32:13: Weil das geht ja auch!

00:32:15: Aber bloß eben nicht in einem Takt, also man muss dann eben lange dran rumorgeln.

00:32:19: Ja... Aber umgekehrt.

00:32:23: hier geht es ja darum diese ganzen Kompaktformate sind ja gerade dazu da dass man eben in möglichst wenig Takten und mit möglichst wenig geringer Belastung der Datenbusse, mit möglichst wenigen Daten im Ramm die möglichst viele einzelne Zahlenwerte durchorgelt.

00:32:45: Weil diese KI-Modelle ihre Gewichte, um die jedes Jahr in diesen Daten reingepackt haben.

00:32:52: dann Warum klappt das denn überhaupt so gut bei den KI-Modellen?

00:32:56: Kannst du das ein bisschen erklären.

00:32:59: Ja, das ist eigentlich schwierig zu erklären.

00:33:04: Man muss es ziemlich abstrahieren.

00:33:07: KI Modelle codieren ihre jeweiligen Gewichte für die unterschiedlichen Ebenen der neuronalen Netze einzeln und das sind ja auch keine exakten Algorithmen also sondern eher so mittelgenaue Filter.

00:33:22: vielleicht ein bisschen böswillig sagen und dabei hat sich gezeigt, dass die Trefferquote der Antworten erstaunlich wenig leidet wenn man die Gewichte auf grobe Nährungswerte reduziert.

00:33:33: Das nennt man dann Quantisierung.

00:33:35: das haben da eine oder andere vielleicht schon mal gehört.

00:33:38: Man wandelt dann zum Beispiel einen FP-II Wert in den nächsten liegenden BF-VI oder gar MX-FP-III Wert um und am Ende verliert man zwar ein bisschen Genauigkeit Aber es ist für die KI insgesamt die KI-Leistung deutlich besser mit möglichst vielen Gewichten zu rechnen, auch wenn sie klein bisschen ungenauer sind als mit ganz wenigen aber dafür sehr genauen Gewichten.

00:34:05: Weil irgendwann spielt das keine Rolle ob... Keine Ahnung, ich abstrahiere jetzt mal dass Bild eine Katze oder eine Katz?

00:34:15: Genauer wird's nicht!

00:34:17: Okay Und das spart dann natürlich, wenn man mit vielen quantisierten Gewichten bzw.

00:34:22: wenn man stark quantisiert und auf kleine Datenformate runterbricht sehr viel Speicherplatz und wie wir eben auch vorgerechnet haben erhöht das natürlich auch die Geschwindigkeit weil einfach mehr Berechnungen zugleich durchgeführt werden können.

00:34:39: Kann man sagen dass dadurch lokale KI überhaupt erst möglich wird?

00:34:43: auf vielen System?

00:34:44: Möglich weiß ich nicht aber auf jeden Fall wird sie bezahlbar

00:34:48: Okay.

00:34:49: Also für mich war ja der Hammer an KI, wo ich um mich immer noch ein bisschen schwer, weil mein Gehirn irgendwie anders strukturiert ist.

00:34:57: aber als hier Peter Siring das haben wir auch nur in das Wohnach gebaut mit diesem ESP-XXII also Wegchen Chip für Achtzig Cent oder man das ganze Ding in China für zwei Euro kaufen kannst mit nach zwei Euro Kamera dran dann aus dem VGA Bild von dem Deinen Gaszähler und zwar den analogen Gaszählern, die Werte von dem Ding ablesen kann.

00:35:22: Und in digital da verwandelt habe ich gedacht okay an der KI.

00:35:26: Da scheint ja doch was dran zu sein.

00:35:27: Kann man doch benutzen finde ich irre.

00:35:31: aber es liegt natürlich daran dass das Bild was der sieht weil du genau Du hast halt nur Es ist klar wo die Stellen sind von dem Gaszählar und es gibt nur die Bilder von null bis neun.

00:35:47: Andere Bilder kommen nicht vor andere Objekte und die kann man halt dann offenbar selbst auf.

00:35:53: so einem Nichts kann.

00:35:55: Der ASP ist ja taktet ja erstaunlich hoch und so, aber das finde ich schon irre

00:36:00: sind gar nicht so leistungslos diese Dinger.

00:36:03: Aber es ist, genau wie du sagst.

00:36:04: Du hast halt neun unterschiedliche Zustände für jeden einzelnen Ziffer und da hilft dir nichts wenn du rein theoretisch mit Werten rechnest die auch dreißig oder fünftausend Zustände unterscheiden könnten.

00:36:18: Ja klar und das kommt doch keine Katze vorbei.

00:36:20: also jedenfalls wenn die Katze vorbeikommt Hickt der ESP nichts davon mit?

00:36:25: Ich glaube

00:36:25: Katzen kann mittlerweile jedes KI-Modell in jeder Genauigkeit eindeutig erkennen.

00:36:31: Der kann das nicht, weil einer der Witze an dem Gastzeller ist ja auch dass die Zahlen sich nur sehr langsam bewegen und ziemlich lange dastehen so dass er also der Rechte erkennt jetzt eben nicht vierhundert Mal pro Sekunde den Gastzeler wird sondern es schafft das nur einmal in der Minute oder so.

00:36:47: Ja, genau da reicht es.

00:36:50: Und die Katze ist glaube ich zu schnell für diese Art der Bilderkennung also.

00:36:54: Einmal pro Minute reicht auch wenn man nicht gerade BASF-Lugitazen ist oder so.

00:37:01: Okay jetzt gehen wir mal in die andere Richtung.

00:37:04: Früher Trademark als wir noch jung und knusprig waren.

00:37:11: Da war ein Topf Fünfhundert Supercomputer noch was Tolles

00:37:15: heute.

00:37:16: Diese

00:37:16: KI Dinger rauchen dir an der Pfeife Ja, aber da war FP-IV'en das große Ding.

00:37:24: Also diese doppelt genauen Teile.

00:37:27: Hype Performance Computing HPC FP-VI.

00:37:31: Da hört man jetzt immer weniger davon geht es nur im KI.

00:37:35: Rauschen unter oder täuchter mal in Eindruck?

00:37:39: Im Rausche geht's schon unter die mediale Berichterstattung.

00:37:42: Selbst dieses Jahr in den Mainstream Medien schon angekommen also kommt ja auch in der Tagesschau jeden zweiten Tag.

00:37:49: Da drückt KI natürlich eindeutig den HPC-Bereich aus dem Fokus, das ist ganz klar.

00:37:57: Aber es hat auch noch andere Auswirkungen.

00:38:02: denn zum Beispiel durch diesen KI Boom, dem die Hardware Hersteller ja auch hinterherrennen sag ich mal, optimieren sie auch immer mehr auf diese geringen bitigen Datenformate und Fp.

00:38:17: sixty Performance, die sinkt bei modernen Beschleunigern zum Teil oder steigt zumindest gar nicht mehr weil bei der KI liegt halt das große Geld.

00:38:28: und HPC Rechenzentren ja da gibt es dann vielleicht drei vier fünf oder vielleicht zehn pro Kontinent aber das war's dann auch schon.

00:38:40: Und Die die Betreiber selbst selbst der Topf, einiger Topf Fünfhundert Systeme von HPC.

00:38:51: Die haben ja schon Schwierigkeiten manchmal die Stromrechnungen oder könnten die Strom Rechnung von so einem dicken KI-Rechenzentrum kaum noch bezahlen weil die einfach dadurch dass sie meistens öffentlich finanziert sind gar nicht so viel Geld in dahinter handhaben.

00:39:09: Jetzt ist es aber auch so das Teil der Algorithmen oder der Probleme wo man früher versucht hat mit HPC nummerische Lösungen zu finden, ja durchaus sich auch mit KI bewältigen lassen und gar nicht so schlecht.

00:39:25: Ich glaube die Wetterfeuersage ist da ein Beispiel, die halt vorher mit diesen Gittermodellen gerechnet haben und jetzt eben also das tun sie natürlich nach wie vor aber zum Teil Optimierung dann auch mit AI machen.

00:39:39: Das sehe ich doch richtig oder?

00:39:41: Also die KI kommt ja auch im wissenschaftlichen Rechnen an

00:39:43: Genau.

00:39:44: Also da ist es ja häufig so, wir hatten eben schon mal darüber gesprochen wie wenig genau KI oft ist sondern dass das eher eine Art mehr oder weniger genauer Filter ist.

00:39:57: dann wird dann vereinfacht gesagt oft quasi ein KI-Modell auf ein Problem angewandt und wenn man dann eine mögliche Lösung hat wird genau diese Lösung nochmal mit höherer Präzision überprüft.

00:40:11: Okay

00:40:13: Das ist ganz so schnell, als wenn man nur die KI rechnen lässt.

00:40:16: Aber immer noch um Faktoren schneller, also wenn man alles jeden einzelnen Rechenschritt in allerhöchster Genauigkeit laufen lässt.

00:40:24: Jetzt komme ich zu einer Frage, die mich schon lange interessiert hat und wo ich gar keine Antwort wusste.

00:40:29: aber ich glaube du hast sie rausgesucht.

00:40:31: FP-Film-Sächsig da haben wir immer Double Precision DP auch gerne hingeschrieben.

00:40:39: Ja Gibt's da eine Quelle, woher das kommt und warum heißt es Double?

00:40:45: Und was ist dann Single?

00:40:48: Das hatte ich vorhin schon mal ganz kurz angesprochen.

00:40:50: Du bist ja auch ein bekennender Fan hast du gesagt aber nicht Mitglied.

00:40:54: Das kommt aus dem Standard der IEEE, siebenfünfjahr aus dem Jahr neunzehnundachzig.

00:41:02: Das hat...das ist einfach eine Setzung gewesen.

00:41:04: man hat gesagt zweiunddreißig Bit Das ist der Normalfall, also ganz normale einfache Genauigkeit.

00:41:11: Daher kommt die Single Precision sozusagen und dann ist sie ja ganz klar zweimal.

00:41:18: Zwei mal sind vierundsechzig.

00:41:20: Das kriege ich ganz ohne Floating Points

00:41:25: hin.

00:41:25: Das schafft

00:41:25: mein analogisches Gehirn gerade noch so mit ein bisschen zögern.

00:41:30: Ist halt das doppelte, also Doppelprecision und FP-Sechzen kann man sich jetzt denken schon fast ist die Hälfte, also Half Precision.

00:41:39: Und es gibt auch noch Formate da drüber, die werden aber in der Praxis eher selten benutzt zum Beispiel FP-Hundert-Achternzwanzig als Quadrupled Precision und ... Es gibt auch nog Extended FP-Zweiund-Reißig

00:41:56: usw.,

00:41:57: Also es gibt wirklich einen Haufen Datenformat, aber die werden dann immer Obskura und auch weniger verbreitet.

00:42:03: Ach so!

00:42:04: Es gibt noch andere, ja noch andere Kodierung.

00:42:09: Also gab es schon immer oder was?

00:42:10: Also auch schon in dieser IEEE-Siebendottfünfzig

00:42:13: oder was.

00:42:14: Da gab's schon einiges.

00:42:15: Es gibt auch verschiedene Binarys zum Beispiel also Binary Formate.

00:42:23: Okay.

00:42:23: Binary Zweiunddreißig, Binary Vierundsechzig die gibt das dann auch noch als Extended Version Die dann z.B.

00:42:32: im Fall von Binary-XXII muss dann nicht mit XXII, sondern mindestens mit XXIII betrechnen darf aber auch mehr.

00:42:40: Also da wird's schon etwas esoterisch.

00:42:43: Hab ich echt

00:42:45: von nie gehört?

00:42:46: Nach siebenundzwanzig Jahren Computerberichterstattung ist mir tatsächlich völlig neu, dass Binary XXII extended mit XXIV bitt hat.

00:42:55: anscheinend nichts... So eine Verbreitung

00:42:57: hat sich nicht ganz durchgesetzt.

00:42:59: Ne, genau so bin ich wie octuple precision mit zweieinhalb sechsundfünfzig bitt oder sowas.

00:43:04: ok ja

00:43:06: und du hast vorhin mal erwähnt alte mainframes konnten noch tolle sachen.

00:43:10: Ja also das weiß ich leider nicht aus eigener erfahrung.

00:43:13: dass habe ich mal mit einem bekannten aus diskutiert der bei sowas dran mitgearbeitet.

00:43:21: er hat mir erzählt wie gesagt zum beispiel im bankensektor gibt es, die ja hauptsächlich in Ganz-Zahlformaten rechnen.

00:43:33: Festkommar

00:43:34: ist das glaube ich dann?

00:43:36: Nee eben nicht!

00:43:37: Also doch ja, Fest-Kommer, ja Nicht-Gleitkommer, genau also ganz Zahl Format rechnend aber mit vierundsechzig Bit irgendwann nicht mehr ausgekommen sind weil's zu viel Geld gibt.

00:43:48: Da gibt es dann noch Achtzig-Bit Integer Formate, wo man eben so gut wie alles für die Genauigkeit nutzen konnte im Gegensatz zu den Floating Point Formaten.

00:44:00: Die ja auch immer mindestens ein paar Bit für die Range brauchen.

00:44:05: und wenn man Tisse nicht alles üblich bleibt.

00:44:08: Dann binär kodiert zahlen da BCD, da gab's vor früher manchmal so ganz alten Rechner in dem Museum sieht man doch so Drehrädchen Wo man dann so mit so ein bcd encoder was einsetzen kann.

00:44:20: das war ja sechzehner system dann typischerweise oder nicht?

00:44:25: Ja Das nutzte man also vier wird sechzent Man halbes beid und einen nibbel um die zahlen von null bis neun zu kurdieren.

00:44:36: Und da Mit den vier weit bleiben aber dann noch sechs möglichkeiten natürlich ungenutzt.

00:44:44: Darum ist BCD auch relativ ineffizient, ne?

00:44:48: Okay.

00:44:49: Kannst du ganz kurz erklären wie man mit einem Zweiunddreißig-Betrechenwerk beispielsweise vierhensichtig bezahlen verarbeiten könnte?

00:45:00: Das habe ich ja eben schon mal so ganz grob angedeutet.

00:45:02: das geht in eine ähnliche Richtung wie wenn man wissenschaftliche Berechnung mit KI machen will.

00:45:08: Man macht einfach mehrere Schritte nur hier macht man mehrere relativ gedauere Schritte also rechnet mit Übertrag und mehreren Registern.

00:45:19: Das bedeutet aber eben nicht, man braucht nur ein bisschen länger um die Daten zu laden sondern es sind wirklich mehrere Rechen-Durchgänge und das dauert dann auch entsprechend länger.

00:45:30: zum Beispiel wenn man die Hardware dafür ein bisschen optimiert kann man auch das noch deutlich beschleunigen.

00:45:37: Zum Beispiel war's so AMD hatte ja mehrere Zen Generation die sich bei AVX-Fünfhundert zwölf Operationen auf AVX zweisprich zweihundert sechsund fünfzig Rechenwerke verteilt haben, aber brauchten dann halt mehrere Tatschritte dafür.

00:46:00: Okay das heißt es ist auch so ein bisschen eine Optimierungsfrage beim CPU Design?

00:46:05: Welche Formate baue ich alles ein?

00:46:08: Das braucht ja auch ein bisschen extra Platz, um alle das...

00:46:11: Genau.

00:46:12: Und wenn irgendwas nur selten genutzt wird dann ist es vielleicht effizienter lieber den Platz für einen zusätzlichen CPU-Kern zu nutzen statt in dem Kern noch immer mehr einzubauen.

00:46:23: Genau!

00:46:23: Das hat Intel ja auch irgendwann eingesehen und ihre AVX-Fünfhundert zwölf Einheiten die das eben im Eimtaktschritt konnten im Desktopprozessor wieder zurückgebaut sozusagen.

00:46:37: Okay Wenn ich jetzt aber... und das finde ich immer so schwer zu verstehen.

00:46:42: Also wenn ich jetzt im Prinzip mit jedem Rechenwerk ja auch andere Zahlen verarbeiten kann, dann würde ich jetzt mal ganz naiv denken, wenn ich eine NPU habe, also so ein Neural Processing Unit, einen KI-Beschleuniger Kern der hat sich nur in Acht zum Beispiel können.

00:47:01: Aber eben mit Terra, also Billionen

00:47:05: Durchsatz

00:47:06: pro Sekunde Dann könnte ich denen auch wie doch früher mein zum vier, sechsten, achtziger Zeiten meinen Matheco-Prozessor.

00:47:14: Dann kann ich den noch vielleicht für Kleidkommar nutzen oder nicht?

00:47:19: Ja wahrscheinlich oder möglicherweise.

00:47:21: Ich will mich da nicht zu weit aus dem Fenster lehnen geht das irgendwie aber eben nicht wie man so schön sagt in Hardware sondern das müsste man quasi mit einem Makro programmieren dass das in mehreren Schritten gemacht wird.

00:47:36: Das eigentliche Problem ist aber noch ein bisschen anders gelagert, denn diese NPU-Rechenwerke sind leider total unflexibel.

00:47:45: Für sowas jetzt blöd, aber genau deshalb sind sie halt so effizient.

00:47:48: Sie können eine sehr speziell umrissende Aufgabe sehr effiziente erledigen, aber können sich nicht so gut an andere Dinge anpassen.

00:48:03: Die sind halt für eine ganz bestimmte Art von Matrix-Matrix Multiplikationen ausgelegt und idealerweise liegt die auch immer in einer bestimmten Blockgröße vor, das ist dann halt von NPO zu NPO ein bisschen verschieden.

00:48:18: Und wenn da jetzt andere Datentypen mit rein strömt also irgendeine, keine Ahnung, FP-Aufgabe oder so... Dann wird das wahrscheinlich ähnlich ablaufen wie vorhin gesagt mit den zu großen Datentypen.

00:48:32: Das

00:48:33: kann man dann irgendwie abbilden, aber man schleppt sehr viele nutzlose Nullen

00:48:38: durch.".

00:48:39: D.h.,

00:48:39: also kann irgendwie gehen?

00:48:41: Aber ist dadurch nicht unbedingt... d.h.

00:48:44: da sind die althergebrachten Einheiten, die das gleich in einem Rutsch können, möglicherweise deutlich schneller und auch effizienter wieder?

00:48:51: Das kann schon sein ja!

00:48:53: Genau.

00:48:55: Gut Bestimmt könnte man jetzt noch dreißig verschiedene ex-weiterer ex-hubs Dattypen ausgraben über die wir reden.

00:49:05: Aber ich glaube, wir haben hier so einen kleinen Überblick gebracht.

00:49:08: was warum ist auch so zerfasert in den Prozessoren mit diesen ganzen verschiedenen Rechenwerken?

00:49:16: Ich denke das wird jetzt allmählich esoterisch oder sehr speziell und KI ist die große Aufgabe, für die jetzt alle optimieren und das wissenschaftliche Rechnen muss sozusagen sehen wo es bleibt.

00:49:29: Mangels Kapitalkraft.

00:49:32: Ich danke dir erstmal, Karsten!

00:49:34: Vielen herzlichen

00:49:34: Dank für

00:49:34: dieses Gespräch.

00:49:37: Vor allem aber danken wir Ihnen liebe Zuhörerinnen und Zuhöhrer für Ihr Interesse und ihr Zuhören.

00:49:44: Wir freuen uns über Feedback.

00:49:45: haben wir ja schon gesagt dass hier war ein Die Idee kam von einem Hörer, dass wir dieses Problem mal aufdröseln oder diese Frage gerne mails an bit-rauschen at ct.de.

00:49:58: Wenn Sie immer noch Lust haben auf Podcasts, jetzt finden Sie ganz viel Auswahl unter heise.de slash podcast.

00:50:05: Ganz zum Schluss danken wir unserem Producer Ralf und sagen Tschüss!

00:50:10: Und bis zum nächsten Mal zur nächsten Folge von Bit Rauschen.

00:50:14: Wir kommen jeden zweiten Mittwoch Früher morgen.