Leidige Benchmark-Tricksereien | Bit-Rauschen 2025/23

00:00:00: Herzlich willkommen zu Bittrauschen der Prozessor Podcast von CT.

00:00:05: In dieser Folge geht es um ein Saukontroversystem, nämlich Benchmarks.

00:00:10: Die sind eigentlich für den möglichst objektiven Leistungsvergleich gedacht, etwa von PCs oder Smartphones oder auch Supercomputern.

00:00:19: Manchmal geht es auch um einzelne Komponenten wie Grafikkarten, Prozessoren, SSDs.

00:00:24: Spannend ist aber, dass sie vermeintlich so objektiven Benchmarks zum tricksten Täuschen und Betrügen einladen.

00:00:31: Wieso das so ist, besprechen wir gleich.

00:00:50: Hallo, mein Name ist Christopher Findek.

00:00:52: Heute spreche ich mit meinem CT-Kollegen Carsten Spille, der schon Abertausende Benchmarks durchgenudelt hat.

00:00:58: Hallo Carsten.

00:00:59: Moin Christoph.

00:01:00: Mit Abertausenden in der Piste, aber noch auf der unteren Seite der Konservatierzeit.

00:01:06: Ich würde fast sagen, das geht schon eher Richtung Millionen als Tausend, wenn man jeden einzelnen Durchdauf mal zählt.

00:01:11: Ah

00:01:12: ja, hast du echt mal drüber nachgedacht, wie viel du schon gemacht hast?

00:01:14: Ja, das stimmt.

00:01:15: So,

00:01:15: ich mach das ja auch schon ein paar Jahre, zwar nicht ganz so lange wie du, aber... Okay.

00:01:19: Da kommt was zusammen.

00:01:20: Ja.

00:01:23: Fangen wir mal an mit den Benchmarks.

00:01:25: Das ist ja nur ein komisches englisches Wort.

00:01:28: Wieso heißt das eigentlich so?

00:01:30: Ja, also Bench ist eigentlich das englische Wort für Bank im Sinne von der Sitzbank zum Beispiel.

00:01:37: Gemeint ist hier aber ein Sitz oder einen Anschlag für eine Messlatte, der markiert wurde.

00:01:42: Da kommt das Mark her, also die Benchmarkierung, die Bankmarkierung.

00:01:48: Ursprünglich kommt das wohl aus dem britischen Landvermessungswesen im neunzehnten Jahrhundert.

00:01:52: Da meiselte man in Vermessungspunkte kleine Markierungen, meine sogenannten Liverdierlatte einzulegen, für Höhenmessung.

00:01:59: Und das hat sich dann irgendwie wohl verselbstständigt.

00:02:02: Also der ist ein Begriff geworden wie, was weiß ich, Hansa Plast für Pflaster oder Thesa für Klebeband sozusagen.

00:02:10: Also bitte besuchen

00:02:11: Sie auch die Webseiten unserer Sponsoren.

00:02:12: Also

00:02:15: man sagt das halt so hinten.

00:02:17: Zollstock für Messband und so weiter, also irgendwie so ein Begriff, den kann man nicht, also der kommt aus dem englischen Sprachgebrauch.

00:02:26: Ja, aber wie hat sich denn die heutige Bedeutung dann daraus entwickelt?

00:02:30: Also für den IT-Bereich versteht man unter dem Benchmark ja ganz spezielle Dinge, aber ich kenne es auch ein bisschen aus der Wirtschaft, oder?

00:02:37: Ja, genau, das ist nicht ganz einheitlich gemeint.

00:02:39: Also in der Wirtschaft und in anderen Bereichen spricht man eben auch von Benchmarking, aber dort eigentlich im allgemeineren Sinne im Vergleich mit anderen.

00:02:49: Und bei uns in der Computerei, in der IT, ist der Begriff ein bisschen schärfer fokussiert.

00:02:54: Und da geht es fast immer um einen zahlenmäßigen Vergleich anhand von irgendwelchen Messwerten.

00:02:59: Und mit einem Benchmark meint man dann auch ganz konkret eine konkrete Testsoftware wie der drei D-Mark zum Beispiel oder die Sysmark oder die Spec.

00:03:11: Bei allem schwingt aber auch immer die Bedeutung von einem standardisierten Vergleich mit.

00:03:15: Das heißt, man erwartet bei Benchmark eigentlich schon eine gewisse Objektivität, weil man ja irgendwas ausführt, was auf allen Systemen dann vielleicht gleich ist und dann kommen vermeintlich gleiche Zahlen oder vergleichbare Werte daraus.

00:03:28: Kann man sagen, es geht um einen Leistungsvergleich?

00:03:31: Ja, also in den meisten Fällen geht es um Performance, Rechenleistung und so weiter.

00:03:36: Aber es kann sich auch um Datentransferraten und Latenzen bei SSDs oder früher mal Festplatten handeln oder um die Leistungsaufnahme oder Effizienz oder sogar um bestimmte Markierung bzw.

00:03:49: Messpunkte für Antwortqualitäten bei einer KI.

00:03:53: Stimmt, die KI-Benchmarks, die habe ich schon ganz vergessen.

00:03:55: Ja, die

00:03:55: verdrängt man gerne mal, ne?

00:03:57: Genau, ja.

00:03:58: Da ist es besonders schlimm.

00:04:00: Ja.

00:04:01: Wie funktioniert denn Benchmarking grundsätzlich, kann man das tatsächlich, gibt's eine einfache Beschreibung, die die allgemein zutrifft?

00:04:08: Ja, es gibt keinen Lehrberuf Benchmark oder so.

00:04:13: Einfachstens schall und das stellen sich viele wahrscheinlich auch so als den Regelfall vor.

00:04:18: Startet man irgendeine Benchmarksoftware, ich hatte ja schon ein paar genannt eben und wartet ab bis die Messung gelaufen ist und dann steht da irgendeine Zahl auf dem Bildschirm oder auf dem Messgerät, gibt ja auch andere Messgeräte und das ist dann der eigentliche Messvorgang.

00:04:31: Man kann aber auch einfach so zu Fuß-Benchmarken sozusagen und ganz normale Software benutzen, da einen bestimmten Workload-Staten mit der Stop-Uhr danebensetzen und messen, wie lange das dauert, bis ich irgendwie ein Batch von dreißig Bildern entrauscht habe in Photoshop oder irgendeine bestimmte Datenmenge komprimiert oder so.

00:04:53: Und dazwischen gibt es halt auch noch ein weites Feld von Mischform.

00:04:58: Aber es gibt auch einige Tücken.

00:05:01: Okay.

00:05:01: Und welche Tücken wären das speziell?

00:05:03: Also gibt es wenige oder viele?

00:05:07: Wenn es so einfach wäre, es gibt leider Haufenweise von Tücken.

00:05:11: Es ist oft nicht sehr trivial, den Messwert einzuordnen, also mit den Ergebnissen anderer Systeme sinnvoll zu vergleichen.

00:05:18: Und es ist auch nicht automatisch klar, was ein beständener Messwert überhaupt über die praktische Nutzung des Systems aussagt.

00:05:27: Außerdem, so als kleines Beispiel, ich mache ja in letzter Zeit viele Grafikkarten-Bandschmarks und wenn irgendwann der Grafikkartenspeicher einfach nicht mehr ausreicht, dann messe ich am Ende nicht mehr die Leistung der Grafikkarte, sondern wie schnell diese folgelaufender Grafikspeicher, wie schnell der aus dem Hauptspeicher dann seine Daten wiederbekommen kann, also die Anbindung ans System.

00:05:47: Okay, das heißt also, da müssen die Randbedingungen stimmen.

00:05:50: Genau, die Randbedingungen müssen stimmen, die sind halt bei vielen Bandschmarks einfach oft nicht genau vorgegeben.

00:05:56: Und deswegen muss das auch alles genau protokolliert werden.

00:05:58: Also zum Beispiel, was für Systemparameter gab es?

00:06:02: War das System übertaktet, liefen parallel noch andere Softwareprogramme?

00:06:07: Wie war die Umgebungstemperatur zum Beispiel?

00:06:10: Und dann gibt es natürlich noch einfach auch schlichten Betrug.

00:06:15: Also Firmen und Privatleute, die manipulieren dann vielleicht den Benchmark oder halten sich nicht an die Vorgaben zur Ausführung.

00:06:22: Ein sehr simpler... Aber wirksamer Trick ist schon die Auswahl der öffentlich präsentierten Benchmarkergebnisse.

00:06:29: Da nimmt man logischerweise jene, die als Firma zum Beispiel das eigene Produkt möglichst gut dastehen lassen und die Konkurrenz möglichst schlecht.

00:06:37: Damit das weniger auffällt.

00:06:39: Dass ich jetzt einen tollen Wert mir ausgesucht habe, greifen viele Firmen auch zu einem Riesensammelsurium an Benchmarks, veröffentlichen möglichst viele Ergebnisse und teilweise auch irrelevante Teilmessungen.

00:06:52: Das sieht dann auf den ersten Blick noch sehr objektiv aus, oh, so viele Messwerte, das muss ja irgendwie wissenschaftlich haltbar sein und so.

00:06:59: Aber dass die Auswahl schon tendenzieus war, das fällt dann erst beim genaueren Hinsehen auf.

00:07:07: Und dann sind Firmen leider auch ziemlich erfinderisch darin, die Benchmark-Ergebnisse möglichst irre Firmen zu präsentieren.

00:07:14: Okay, okay.

00:07:17: Das sind ja jetzt eine Menge von Aspekten.

00:07:20: Ein paar gucken wir uns gleich vielleicht noch, oder sprechen wir noch genauer drüber.

00:07:23: Aber würdest du denn, also mal gleich vorab, sind denn Benchmarks unter diesen Voraussetzungen deiner Meinung nach dann überhaupt sinnvoll, wenn man so viel Schinkluder damit treiben kann?

00:07:32: Also, man kann natürlich mit allem Schindelutter treiben, insofern finde ich Benchmarks auf jeden Fall sinnvoll.

00:07:37: Nur, man muss als jemand, der die Benchmarks durchführt, genau verstehen, was der überhaupt leistet, was er misst und unter welchen Bedingungen sich die Ergebnisse mit anderen Systemen vergleichen lassen.

00:07:49: Also, einfach gesagt, man muss eine Menge vorwissen und am besten sogar Erfahrung haben, um einen Benchmark sinnvoll nutzen zu können.

00:07:57: Okay, dann würde ich sagen, fangen wir nochmal ganz vorne an.

00:08:01: Was meinst du damit?

00:08:02: ein Benchmark Messwert einordnen?

00:08:05: also wie würdest du das beschreiben?

00:08:07: ja ich habe das eben ja schon mal gesagt.

00:08:10: Wenn ich ein Programm laufe, das steht dann irgendwann eine Zahl auf dem Bildschirm.

00:08:13: Und es gibt einen beliebten Spruch, ein Benchmark, der misst genau das, was er selbst tut.

00:08:19: Damit ist gemeint, dass die Übertragung von Benchmark-Ergebnissen auf die praktische Nutzung manchmal ein bisschen heikel ist.

00:08:26: Nimm mal als Beispiel den Cinebench, den benutzen wir ja auch in der ZG.

00:08:30: Der

00:08:30: kommt bei uns ja sehr oft vor,

00:08:32: ne?

00:08:32: Genau, genau.

00:08:33: Und der Multithreading-Teil nutzt z.B.

00:08:36: sämtliche vorhandenen CPU-Kerne sehr gut aus und zeigt das Multithreading-Potenzial eines Prozessors sehr gut.

00:08:43: Aber er sagt so gut wie nichts aus, darüber, wie schnell sich ein PC mit dieser CPU in Spielen anfühlt oder mit Office-Software.

00:08:52: Man muss also quasi verstanden haben, was der Benchmark genau tut.

00:08:56: und am besten auch ein bisschen Erfahrung damit haben, wie er sich auf unterschiedlichen Systemen verhält, um das Ergebnis dann zu bewerten.

00:09:03: Und das muss man dann natürlich auch dem Leser oder dem Zuschauer, Zuhörer zugänglich machen und nicht einfach nur diese Benchmarkergebnisse in Excel schmeißen, dann schickes Diagramm basteln und den Leser quasi damit erschlagen.

00:09:17: Also lange Balken produzieren ist einfach gemacht, aber man weiß ja nicht automatisch, was sie überhaupt bedeuten.

00:09:23: Ja, genau.

00:09:24: Also, ich sag mal so, wenn man bei uns wo ein KV liest, zum Beispiel, also ein kurz vorgestellten Kurztest, da steckt quasi bei Grafikkarten, kann ich das zum Beispiel sagen, da steckt dieselbe, derselbe Messaufwand her hinter wie hinter einem fünfseitigen Artikel.

00:09:40: Nur wir präsentieren diese Benchmarkergebnisse dann halt nicht in jedem kleinen Detail, sondern ordnen das ein und fassen das zusammen.

00:09:49: Okay.

00:09:51: Jetzt gibt es natürlich Leute die viel Erfahrung haben, die gibt es ja auch, das sind ja nicht nur wir, sondern auch wer sich genauer mit Prozessoren auseinandersetzt, der guckt auf diese Benchmark-Bike, nehmt sagt das dann Beispiel,

00:10:02: der

00:10:03: weiß zum Beispiel das aktuell, gibt es ja gerade ein aktuelles Beispiel, zum Beispiel der Apple M-Five, da sieht man dann zum Beispiel, dass der jetzt als erster, Ja, sagen wir mal, Mobilprozessor in dem Single-Fedding-Benchmark vom Cinebench, den es zum Glück auch noch für verschiedene Plattformen gibt, aber das ist ja auch noch ein Thema, weil unter Mac OS und mit einem ARM-Prozessor ist es vielleicht anders als unter Windows mit dem X-Xen-Achtzig-Prozessor.

00:10:28: Aber gut, die Werte scheinen vergleichbar zu sein.

00:10:31: Das ist zum Beispiel der erste, der irgendwie dicht an zweihundert Punkte rankommt.

00:10:34: im Stilverling oder sogar drüber in diesem aktuellen Cinebench ist, glaube ich, vierundzwanzig.

00:10:41: Was dann doch sehr beeindruckend ist, wenn man dann halt weiß, dass die schnellsten, ich sag mal, Intel-Prozessoren bei hundertvierzig oder hundertsechzig oder so liegen.

00:10:52: Aber dann ist er hat man ja trotzdem gut a ist schneller als b. jetzt hat man irgendeine information kann man gibt es allgemein kann man irgendwie sagen ab wann man eine kaufentscheidung also wann man dann überhaupt praktisch merkt dass der prozessor schneller ist.

00:11:04: denn ich sage ich gehe mal davon aus wenn er zwei prozent schneller ist

00:11:08: würde ich jetzt

00:11:08: nicht erwarten dass man davon was merkt.

00:11:10: aber gibt seine faustregel wo man sagen kann ab dann lohnt es sich überhaupt mal schneller im prozessor zu nehmen

00:11:17: also.

00:11:17: Über alle Benchmarks kann man das nicht pauschal sagen, pro Benchmark ist es ein bisschen unterschiedlich.

00:11:23: Also beim Cinebench reden wir immer so ungefähr von dreißig Prozent Unterschied, die man im Alltag dann merken würde.

00:11:30: Würdest du das aus deiner privaten, also würdest du das auch so sagen, dass wenn du ein Testsystem hast, also du machst ja auch manchmal Vergleichszeits von mehreren Pizzisen,

00:11:39: also

00:11:39: gibt es da tatsächlich die Sachen, wo du da Unterschiede schon mal gemerkt hast, dass das System ... dann tatsächlich also dass man dann sagt ja okay da merkt man was und da noch nicht.

00:11:49: also ist das aus deiner Meinung nach von der praxis gedeckt?

00:11:52: ja das kann man schon so sagen.

00:11:53: also man merkt den unterschied ganz besonders natürlich.

00:11:56: da kommt wieder die erfahrung wenn man halt den vergleich hat wenn ich jetzt zum beispiel gewohnt bin einem schnellen system zu arbeiten bekommen dann langsam ist dann merke ich schon dass sich gewisse sachen träger anfühlen.

00:12:07: zum beispiel jemand, der jetzt aufrüstet und sagt, mein alter PC hat mir zehn Jahre treu gedient, sprich war Technik von vor zehn Jahren und kauft sich dann aktuellen PC.

00:12:18: Der würde nicht merken, ob er jetzt den schnellsten oder den drittschnellsten kauft zum Beispiel.

00:12:22: Okay.

00:12:24: Und gibt es andere Benchmarks, wo kleinere?

00:12:26: oder gibt es andere Bereiche?

00:12:28: Wir reden ja schon von Benchmarks, aber es geht ja darum, was bedeuten sie in der Praxis.

00:12:32: Gibt es Bereiche, wo auch kleinere Unterschiede schon spürbaren Unterschiede?

00:12:36: Ja,

00:12:36: durchaus.

00:12:36: Also speziell beim Gaming ist es ja so, die meisten Leute spielen ja mit verticeiler Synchronisation, wie Sync.

00:12:44: Und wenn man da auf der Monitorfrequenz ist und drüber, dann kriegt man zu jedem neuen Bild, was der Monitor darstellt, auch ein frisch gerendertes.

00:12:52: Dann ist alles gut.

00:12:54: Wenn man aber nicht mit variabler Refreshrate spielt, sondern mit dem klassischen Wiesn als Beispiel, und das System schafft nicht die Sechzig FPS, die so ein typischer Monitor hat oder Hundertzwanzig, sondern bleibt drunter, dann halbiert sich direkt die Bildrate.

00:13:09: Und das merkt man dann schon, dass es dann auf einmal stottert.

00:13:12: Das heißt, es gibt solche Grenzen, über die man kommen sollte, das System, da würde man dann harten Unterschied bemerken.

00:13:17: Genau, da wird es so einen harten Unterschied bemerken.

00:13:19: Auf der anderen Seite gibt es auch die Gegenbeispiele.

00:13:22: Zum Beispiel bei SSDs, ob ich da jetzt sieben Gigabyte pro Sekunde oder vierzehn Übertrage, das fällt in der Praxis so gut wie nie auf.

00:13:33: Okay.

00:13:34: Das ist natürlich auch eine harte Aussage.

00:13:35: Also ich habe die doppelte Performance, aber ich merke nichts davon.

00:13:39: Also man kann es zwar ertesten sozusagen, man kann auch Transferratenmesserungen, da sieht man es dann auch, aber in der Praxis, wann hat man überhaupt mal solche Mengen an Daten, wenn man acht K-Videoschnitt betreibt mit mehreren Spuren vielleicht oder so was.

00:13:53: Okay,

00:13:53: wenn du jetzt aber zum Beispiel ein super schneller Externe ist, ist das die, aber da sind wir schon bei vierzehn Gigabyte, kann ja keine externe Schnittstelle

00:13:59: sich sehr...

00:14:00: Bisher noch nicht.

00:14:00: Bisher noch nicht, aber zwischen einer... wenn du dann auf eine Externa kopierst, dann würdest du es merken, wenn du sehr viele Daten kopierst.

00:14:10: Wenn

00:14:10: ich sehr viele Daten kopiere, ja.

00:14:12: Wenn es große Dateien sind, bei kleinen Dateien kommen wieder

00:14:15: andere Effekte.

00:14:16: Andere Effekte zum Tragen.

00:14:18: Das heißt auch da ist ja eigentlich die Zusammenfassung, man muss schon verstehen, was der Benchmark gemessen hat und auf was sich das bezieht.

00:14:25: Genau.

00:14:26: Es ist nicht automatisch besser, wenn das System da viele Punkte.

00:14:30: Besser ist es schon, aber ob man was davon hat, ist die Frage.

00:14:32: Ja.

00:14:35: Gut, vorhin haben wir über die Randbedingungen gesprochen, die bei der Durchführung von Benchmarks eingehalten werden sollen.

00:14:43: Und die sind... mal genau definiert.

00:14:46: Du hast, also weiß ich ja auch, du hast vorhin die Speck angerissen, also Speck-CPU.

00:14:51: Da gibt

00:14:51: es

00:14:52: ja riesen Regelwerke, was alles eingestellt sein muss.

00:14:56: Bei anderen ist es ziemlich kommentalos, kann man mal durchführen.

00:15:00: Hast du Beispiele für solche Randbedingungen?

00:15:02: Ja, also... Zum Beispiel das erste ist Übertakten, also das Overclocking.

00:15:07: Das klingt erstmal logisch, dass ich Messwerte von zwei ansonsten Leichenprozessoren nicht direkt vergleichen kann, wenn der eine übertaktet ist und der andere nicht.

00:15:15: Aber in der Praxis ist das viel komplizierter, weil vor allem Intel hat das in den vergangenen Jahren lange gemacht und die Zügel bei den Grenzen quasi schleifen gelassen.

00:15:26: Viele Mainboards hatten BIOS-Voreinstellungen mit Hirnrissig hohen Grenzwerten für die Thermal Design Power, TDP.

00:15:34: Und wenn der eine Prozessor also nur kurzzeitig mal fünfzig Prozent mehr ziehen darf, anstatt hundert, dann hundertfünfzig Watt als Beispiel, der andere aber auf Dauer zweihundert Watt, dann kann man das natürlich nicht direkt vergleichen.

00:15:47: Und sowas lädt natürlich zum Trichsen ein.

00:15:50: und diese schleifenden Zügel bei Intel, die waren durchaus auch gewollt.

00:15:57: Das heißt, hat man den im praktischen Nachteil?

00:16:01: Also ich habe ja erstmal doch ein Vorteil davon, dass ja eine Prozessor schneller rennt, wenn ich jetzt so ein System kaufe, zum Beispiel.

00:16:08: Theoretisch, ja.

00:16:09: Also im Prinzip... hast du dann ein schnelleres System.

00:16:12: Es werden ja auch Systeme tatsächlich verkauft, die abwerkübertaktet sind.

00:16:16: Da steht es dann auch drauf, overclockt sowieso.

00:16:19: Das wird dann entsprechend auch alles getestet und geprüft, dass es so in den üblichen Anwendungsszenarien stabil läuft.

00:16:27: Aber das Problem ist, zweierlei.

00:16:30: Erstens braucht der Rechner dann auch viel mehr Strom, zumindest in den kurzen Zeiten, in denen der Einfall Last läuft, wird in der Regel dann auch viel, viel lauter, weil der Lüfter die zusätzliche Abwärme irgendwie los werden muss.

00:16:44: Und drittens kann es auch noch ein Problem geben, wenn das mit dem übertakten und dem dauerhaft unter Volllast laufen, soweit an den Grenzwerten des individuellen Prozessors oder der individuellen Spannungswandler ist, dass die überhitzen und dadurch zum Beispiel schneller verschleißen und nach einem Jahr schon die Grätsche machen.

00:17:03: Das heißt, man muss dann eben auch noch auf weitere Randbedingungen gucken, wenn man die Benchmarks vergleicht, dass man dann sagt, okay, Der lief zwar schneller, trotz ähnlicher Spezifikation, war dann aber eben teurer oder lauter oder fraß eben auch mehr Strom.

00:17:17: Deswegen machen wir ja auch diese, also viele unserer, der Auswahl von unseren Messwerten, die wir machen, dienen ja auch genau diese Eingrenzung.

00:17:24: Genau.

00:17:24: Und was man dann sieht, okay, war zwar schneller, braucht aber auch wesentlich mehr.

00:17:28: Meistens ist es ja so, ist zehn Prozent schneller, braucht doppelt so viel Strom.

00:17:32: Ja,

00:17:33: bei klassischem Overclocking-Stift.

00:17:34: Ja.

00:17:35: Ja.

00:17:36: Ja, gibt es noch andere typische Skibereien bei solchen Sachen?

00:17:39: Ja,

00:17:39: etliche.

00:17:40: Also, Notebooks zum Beispiel, da bestimmt, das ist so ein bisschen eine Anlehnung dessen, was wir eben gesagt haben.

00:17:46: Da bestimmt das Kühlsystem eigentlich über die praktisch nutzbare Leistung von CPU und GPU.

00:17:52: Zum Beispiel kann ein gut gekühlter Core i-V schneller sein als ein schlecht gekühlter Core i-V.

00:17:58: Bei mobilen GPUs gibt es eine TDP Range, also eine eine Spanne zwischen der die Hersteller die TDP frei wählen können und die TDP bestimmt quasi eins zu eins auch die Leistung, wenn ich dann also, ich sag mal ein Beispiel, eine RTX-Fünfzig Achtzig mit Neunzig Watt habe und eine RTX-Fünfzig Neunzig mit Achtzig Watt, dann wird die RTX-Fünfzig Neunzig trotz des besseren Namens und der höheren Einstufung langsamer laufen.

00:18:26: Okay.

00:18:29: Bei Notebooks gibt es ja auch noch das Problem, was Florian ja immer wieder darauf hinweist, unser Kollege, dass es ja auch noch verschiedene cool Profile gibt.

00:18:38: Genau.

00:18:39: Das hat mich sehr verwirrt.

00:18:40: Das war ja vor allem jetzt, war es letztes oder schon vor letztes Jahr?

00:18:43: Nee, es war letztes Jahr, wo dieser Snapdragon X gestartet ist.

00:18:48: Da hatte ja spezielle ASUS auch Notebooks mit verschiedenen Lautstärkeprofilen.

00:18:52: Ich finde das dann immer ein bisschen schwierig.

00:18:55: Was man vergleicht, also ich finde das ein bisschen tricky, wenn man dann sozusagen sagt, man vergleicht den eigentlich zum Beispiel mit einem lüfterlosen MacBook Air und ich habe jetzt vier verschiedene Lüfterprofile in meinem Windows Notebook.

00:19:08: Das macht es ja für Tester auch wahnsinnig schwierig.

00:19:12: Mit welchen Profil soll man jetzt vergleichen?

00:19:14: Du

00:19:14: musst eigentlich für jede Kenngröße in eine ganze Matrix, meistens in drei-dimensionale Matrix an Messwerden anlegen, wenn du wirklich alles durchtesten willst.

00:19:23: Aber das ist eben auch genau das, was wir vorhin schon gesagt haben.

00:19:26: Die Hersteller sagen dann ab tu, also bis zu viermal schneller, dass es dabei dreimal so laut ist und doppelt so viel Strom braucht, sagen sie nicht.

00:19:34: Und dann sagen sie auch im gleichen Atemzug wieder, aber das System kann auch ganz leise, wenn du es einstellst, aber dass dann die Performance halt für ein allerwertesten ist, das wird dann natürlich in dem Zusammenhang gerne verschwiegen.

00:19:47: Ist es bei Notebooks nicht auch so, dass die maximale Leistung sowieso nur abrufbar ist, wenn das Gerät am Netzteil hängt und nicht am Akku?

00:19:54: Bei den leistungsfähigeren Gaming Notebooks ist das auf jeden Fall so.

00:19:57: Das hatten wir gerade erst im Test wieder.

00:20:01: Am Netzteil mit aktuellen Top-Mobil-Prozessoren mit einer RTX-Fünfzig-Ninzig waren am Netzteil so rasend schnell, muss man wirklich sagen, für solche... Räumlich schon etwas beschränkten Geräte, die sind ja, haben ja relativ kleine Kühlkörper und kleine Kühlflächen.

00:20:20: Aber sobald ich das Netzteil abziehe, ist das mit Spielen eigentlich, kann man es fast vergessen.

00:20:27: Also man kann dann froh sein, wenn man innerhalb von einer Stunde an die nächste Steckdose kommt, bevor das Ding dann alle ist und die Performance ist halt auch nicht mehr, nicht mehr brauchbar, kann man eigentlich ganz krass so sagen.

00:20:39: Okay, und die spielt auch die Umgebungslefton.

00:20:42: Umgebungs-Luft-Temperatur eine Rolle?

00:20:45: Ja,

00:20:46: natürlich.

00:20:47: Ab dreißig Grad Raumtemperatur braucht man eigentlich gar nicht mehr messen.

00:20:51: Machen wir ja auch nicht.

00:20:52: Aber es gibt ja auch zum Beispiel eine ATX-Spezifikation, eine Obergrenze für die Luftansaugtemperatur, damit das eben vergleichbar ist, damit sichergestellt ist, dass... PC ist einfach nicht überhitzen und dadurch dann drosseln oder andere, die halt super gut gekühlt sind, ständig an ihrer elektrischen Leistungsaufnahmegrenze fahren können.

00:21:12: Das hat ja auch eine praktische Auswirkung.

00:21:14: Das bedeutet ja sozusagen in den Ländern, typischerweise USA oder Asien, wo viele der Hersteller sitzen, aber auch zumindest im Büro Klimaanlagen üblich sind.

00:21:25: Habe ich tendenziell kein Problem.

00:21:27: Aber wenn man sozusagen dann der klassische sprichwörtliche Student, der in seiner Dachgeschosswohnung wird, dem Hochsommer, der wird dann an seinem Gaming Notebook nicht so viel Freude haben, ne?

00:21:38: Nee, es ist einer, der hat einen guten Kopf für ein neues Cancelling vielleicht.

00:21:42: Wenn das überhaupt noch schafft, das auf Temperatur zu halten, aber das ist tatsächlich ein Problem.

00:21:47: Daher kommt übrigens ja auch das, worüber wir uns immer gerne aufregen.

00:21:52: Warum sind die Komponenten oder PCs so laut?

00:21:55: Die werden halt von asiatischen Herstellern oft auf den asiatischen Markt angepasst, wo im Schnitt höhere Temperaturen herrschen als bei uns und wo es halt auch sehr viel Klimaanlagen gibt.

00:22:06: Das heißt, so leise Räume, wie es hier bei uns ... üblich ist, sind da gar nicht typisch und da hörst du dann auch ein etwas lauteren pc gar nicht so toll.

00:22:13: Ja,

00:22:14: fällt mir mal wieder auf, wenn man mal auf Dienstreise ist, dass es wie lautes oft in den Räumen ist.

00:22:19: Da hat man nie seine Ruhe.

00:22:23: Was ich mich wundere, steht das denn dann nicht in den Nutzungsbedingungen der Benchmarks?

00:22:26: Also, ich meine, wenn ich doch... Also, wir sind es ja gewohnt, es gibt ja viele implizite Regeln.

00:22:33: Also, wenn ich dir einen Euro gebe, dann habe ich den ja auch nicht, oder zehn Euro habe ich ja den Schein auch nicht selber gemalt, sondern man geht schon davon aus, dass das dann echtes Geld gemeint ist.

00:22:43: Und wenn ich jetzt so einen Benchmark mache, dann würde ich ja denken, das steht dann darunter.

00:22:48: Ist das so oder ist es eher nicht so?

00:22:52: Also es ist ja so ein bisschen wischig über vielen Benchmarks, da gibt es keine richtigen, in dem Sinne Nutzungsbedingungen außer, dass du die Software halt nicht raup kopieren darfst oder so.

00:23:05: Solche Nutzungsbedingungen gibt es natürlich immer.

00:23:07: Aber so Run Rules nennt man das, also wie ich das durchzuführen, unter welchen Umgebungsbedingungen?

00:23:14: die gibt es nur bei den allerwenigsten Benchmarks.

00:23:16: Also guck dir mal die Datenbank vom beliebten Geekbench an.

00:23:19: Da steht die, wie die Randbedingungen bei der Messung waren.

00:23:22: Oft fehlen sogar Taktangaben oder da steht dann halt der ausgelesene Leerlauftakt von irgendwas.

00:23:30: Du hattest zum Beispiel gesagt, es gibt natürlich auch Gegenbeispiele, präzise Anforderungen, die gibt es vor allem bei Profi-Bandschmars.

00:23:35: Du hattest ja schon die Spec-CPU-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-Chip-C.

00:23:58: Also die Spec, zum Beispiel, ist ja ein Reinhard-CPU Benchmark, wie der Name sagt, für Server.

00:24:06: Und den gibt es halt im Quelltext.

00:24:08: Die muss man auf seinen Betriebssystem der Wahl portieren.

00:24:12: und kompilieren.

00:24:13: Und da kommt es dann erheblich auf den Compiler an, was der so kann.

00:24:18: Und zum Beispiel kommen wir wieder auf das Beispiel Intel.

00:24:22: Die haben da eine lange Tradition mit ganz besonderen Compiler-Optionen, die wie rein zufällig sehr schöne Benchmarker-Ergebnisse liefern auf den eigenen Prozessoren, weil da kennt man sich ja aus, da kann man diese Optimierung auch validieren und so.

00:24:37: Aber diese tollen Benchmarkoptimierungen, nenne ich sie mal, die fallen dann, also dagegen wäre nichts zu sagen, wenn sie auch normales Software beschleunigen würden.

00:24:49: Aber in der Praxis ist da außerhalb des Benchmarks oft nicht viel von zu merken.

00:24:55: Und das ist erlaubt?

00:24:56: In gewissen Grenzen schon.

00:24:57: Also ich bleibe jetzt mal bei der SPEC-CPU-II.

00:25:02: Da hat man zwei Grenzwerte sozusagen, was die erlaubten Compiler Optimierung angeht.

00:25:07: Das gibt einmal den Base Wert, das ist einer mit wenig Optimierung und und sehr strengen Regeln.

00:25:14: Und dann gibt es noch den Peak Wert, da gibt es sehr große Freiheiten.

00:25:17: Zum Beispiel kann jeder Subtest, die CPU-IIII besteht ja aus vielen verschiedenen Einzeltest, darf zum Beispiel jeder Subtest mit verschiedenen Compiler Optionen laufen.

00:25:27: Okay.

00:25:29: Hat das denn auch ein Vorteil, dass das erlaubt ist?

00:25:32: Naja klar, als bei der Spec-CPU jetzt zum Beispiel nicht, aber bei anderen Tests zum Beispiel, kann man als Anwender natürlich auch sehen, okay, wenn ich wirklich mein System genau tune auf dieser und jener Anwendungsszenarien, kann ich da noch einiges herausholen.

00:25:46: Also wenn ich wirklich maximale Leistung für einen Zweck haben will, sehe ich dann schon, okay, da geht noch so und so viel oder das Ding bei dem lässt sich nicht mehr so viel rausholen.

00:25:57: kann natürlich auch ein Nachteil sein, weil, ja, es läuft.

00:26:01: dann, wenn ich viel rausholen kann, bedeutet, dass ja es läuft in diesem Szenario nicht an seiner Performance-Grenze.

00:26:07: Das

00:26:08: heißt, da liegt sozusagen das Tuning-Potenzial?

00:26:10: Das

00:26:10: Potenzial zeigt es, aber es zeigt halt auch, dass da quasi im Normalbetrieb noch viel Optimierungspotenzial einfach brach liegt.

00:26:20: Okay.

00:26:21: Und gibt es ähnliche, ja sagen wir mal Benchmark Varianten oder sowas, ist das auch für Desktop PCs und Notebooks, also die sogenannten Kleinsysteme üblich?

00:26:30: Ja, also da gibt es das auf jeden Fall.

00:26:34: Grafiktreiber zum Beispiel für Grafikkarten, die optimieren schon seit vielen Jahren die... GPU-Shader-Ausführung für bestimmte Spiele.

00:26:43: Mittlerweile sind bestimmte Settings, also vorgeschlagenes Settings, vom Grafikkartenersteller in eigene Apps ausgelagert.

00:26:50: Also da wird dann gesagt, okay, wir haben das jetzt ausprobiert.

00:26:53: Dieses Spiel läuft mit diesen und jenen Einstellungen super gut auf, in Full HD für sechzig FPS mit deiner Grafikkarte und so was.

00:27:01: Und dann gibt es auch noch tatsächlich Erkennungen.

00:27:05: Grafiktreiber erkennen zum Beispiel, da läuft Spiel X und Y und dann setzen die da bestimmte Optimierung ein.

00:27:15: Früher war es mal so, das nannte sich, das war dann ein großer Aufreger, als das rauskam, nannte sich Shader Replacement, da wurde dann erkannt, okay, da kommt dieses und jenes Spiel zum Einsatz, das benutzt vielleicht ein Datenformat, was auf unserer Grafikkarte nicht so gut läuft.

00:27:30: Das wurde dann quasi geändert in ein anderes Datenformat.

00:27:33: Und im Idealfall sieht man als Anwender keinen Unterschied.

00:27:36: Aber oft wurde es dann halt so übertrieben, dass man tatsächlich auch schlechtere Bildqualität dabei hatte.

00:27:43: Auf zugunsten der Geschwindigkeit.

00:27:45: Zugunsten der Geschwindigkeit.

00:27:46: Ich meine, das ist ja einigermaßen legitim, wenn man das selber einstellen kann.

00:27:50: Wenn man sagt, das mir egal, wie hässlich das aussieht, Hauptsache läuft wahnsinnig schnell.

00:27:54: Aber wenn das quasi hinterm Rücken gemacht wird und man hat ja auch nicht den Vergleich als als jemand, der zu Hause sitzt und seinen eigenen Computer hat, dann denkt man, das Spiel soll so hässlich sein.

00:28:04: Das will man ja auch nicht.

00:28:06: Das ist ja sowieso das Problem, dass die Leute zu Hause typischerweise einen Computer und eine Grafikkarte haben.

00:28:11: Und wir haben dann viele.

00:28:12: Und wie kommt man jetzt anhand von Benchmark zur Auswahlkriterien?

00:28:17: Aber bei Spielen scheint es mir sowieso in diesem irrsinnigen Wuss der Verstellenmöglichkeiten Total schwierig zu sein, auf irgendeinen Common Sense, also irgendeine Vernunft Linie zu kommen.

00:28:31: Kannst du da was zu sagen?

00:28:32: Also was macht man da üblicherweise.

00:28:34: oder wie kommt man da hin?

00:28:35: Na ja, also bei Spielen muss man einfach sagen, weil die allermeisten Spiele heutzutage, da kommt es hauptsächlich auf die Grafikkarte an.

00:28:45: An sich ist ein Spiele-Benchmark, also ein Leistungstest, wie ein PC ein Spiel in der Front, immer ein Test vom ganzen System.

00:28:55: Aber bei Grafikkarten zum Beispiel muss man auch ein bisschen vorsichtig sein, wenn ich jetzt ein Benchmark in einem Spiel habe und es ist jetzt nicht exakt die Karte, die getestet wurde, die ich dann kaufen möchte, muss man auch mal ein bisschen vorsichtig sein, ob man die anderen Benchmark-Werte von Grafikkarten oder von anderen Karten auch darauf übertragen kann.

00:29:17: Hatte die eine Karte mehr oder schnelleres Rahmen oder manche Karten, selbst wenn sie der gleiche Typ sind und die gleiche Rahmenausstattung haben, haben unterschiedliche Lüfter oder Übertaktungskennlinien.

00:29:30: Und dann kommt es natürlich, wie ich sagte, auch auf die anderen Tests einer sich kann jetzt nicht.

00:29:35: oder in der Regel nicht vergleichen, einen Test von einer Grafikkarte mit CPUX und mit einem mit CPUY, wenn die halt nicht da, ich sag mal, ein Beispiel, einen Dualcore mit einer modernen Achtkerner-Vergleiche.

00:29:48: Du, in deinen Grafikkartentests erwähnst du auch manchmal den Treiberstand, also erwähnst immer den Treiberstand, aber du erwähnst manchmal, wir haben jetzt extra den Test nochmal mit diesem Treiberfunk genommen.

00:30:00: Genau.

00:30:01: Wie groß ist, also... Also der Einfluss des Treibers ist groß, das haben wir ja gerade erklärt.

00:30:06: Kann man denn überhaupt Grafikkarten, kurz nachdem sie erschienen sind, schon sinnvoll testen oder muss man, kann man davon ausgehen, dass sie da noch zulegen im Laufe der Zeit?

00:30:16: Es ist besser geworden.

00:30:17: Also mittlerweile ist es so, dass die Grafikkarten meistens schon direkt zum Launch ordentlich optimierte Treiber haben.

00:30:24: Andersrum ist es ein Problem.

00:30:26: Spiele, die gerade neu rausgekommen sind.

00:30:29: Dass man die direkt mit einem sagt voll Grafikkartentest und sagt so, das ist jetzt das Performance Bild.

00:30:34: Das ist deutlich schwieriger, weil obwohl die Hersteller auch mit den Spieleentwicklern zusammenarbeiten und die Treiber oft schon vorab optimieren, wird da häufig auch noch im Nachhinein was gefunden, wo man sagt, okay, da und da können wir noch was als ich die Instruktionsreinfolge umsortieren oder diesen und jeden Datenbereich in diesen Speicherbereich verschieben und dann schneller drauf zugreifen und dann steigt die Bildrate.

00:30:59: Jetzt möchte ich nochmal auf echt Betrug sozusagen und falsche Darstellungen kommen.

00:31:04: Also das vorher haben wir uns ja drüber unterhalten, was gibt es alles für Hürden und Randbedingungen, die das die Benchmark-Ergebnisse quasi beeinflussen.

00:31:13: Aber wir haben ja Eingangs schon erwähnt, es gibt ja auch wirklich, also es gibt ja wirklich tatsächlich verblüfft häufig echt Betrug und falsche Darstellung, die dann auffassen, nennen wir ein paar Beispiele doch bitte.

00:31:26: Ja, zum Beispiel viel vor ein paar Jahren auf, ich glaube fünf, sechs Jahre war es ja.

00:31:31: Also ungefähr glaube ich.

00:31:32: Dass einige Android-Smartphones mit den damals noch noch nicht so verbreiteten Mediatec-CPUs so eine Art Sports-Mode hatten.

00:31:41: Ah, verdächtig.

00:31:42: Ja, das klingt schon super, ne?

00:31:44: Der wurde dann zufällig genau dann automatisch aktiv, wenn eine Benchmark-App läuft.

00:31:49: Dann darf der Chip, also was wir eben gesagt haben, deutlich mehr Leistung ziehen, also das mit seine TDP überschreiten und auch heiß... werden als normalerweise, denn gerade im Smartphone soll er eigentlich ja Strom sparen und den Akkuschon.

00:32:01: und wenn man jetzt aber ein Benchmark laufen lässt, dann will man eine hohe Leistung haben und dann lässt man den in der Regel ja auch nicht drei Stunden laufen, sondern guckt, was da für eine Zahl am Ende steht.

00:32:13: und dann war es das wieder.

00:32:16: Da gibt es aber auch noch eine lange, lange Geschichte über Benchmarks, zum Beispiel stand, am demal, so ein bisschen am Benchmark Pranger, weil die für die drei D-Mark Messungen an Atlonsystemen, die damals gerade neu waren, eine speziell kompilierte Dynamic Link Library ausgetauscht hatten, also eine DLL-Datei, um die drei D-Now-optimierten Befehle, die der Atlon konnte, dann auch da auszunutzen.

00:32:43: Ja, aber das ist ja schon wieder so ein Grenzfall, ne?

00:32:45: Das ist

00:32:45: ein Grenzfall.

00:32:46: Ja.

00:32:47: Aber wenn es halt schlecht kommuniziert ist, also auch ein Sportsmodus.

00:32:51: Ich kann dir auch noch einen Fall nennen, wo man nicht mehr sagt, das ist ein Kanal.

00:32:55: Zum Beispiel gab es den Skandal, den Nvidia an drei D-Markt zero drei hatte.

00:33:01: Da wird ja die FPS Leistung gemessen von verschiedenen Szenen.

00:33:06: Da wird irgendeine Szene per Kamera durchfahren.

00:33:08: Da kannst du als Nutzer halt quasi nichts dran ändern.

00:33:11: Das ist immer die gleiche Kamerafahrt.

00:33:13: Und Nvidia hat dann im Treiber hinterlegt so... In dieser Szene ist das und das und das nicht zu sehen, was aber in der Szene eigentlich mit berechnet wurde.

00:33:22: Das machen viele Benchmarks, die erzeugen einfach zusätzliche Last dadurch, dass sie nicht so gut optimiert sind.

00:33:29: Und Nvidia hat diese Optimierung im Treiber halt mal einfach eingebaut und es gab dann so eine Art Demo-Modus für diesen Benchmark.

00:33:36: und wenn man dann diesen Demo-Modus angemacht hat und von dieser... von dieser vorgegebenen Kamerafahrt abgewichen ist, hatte man überall schwarze Flächen, wo dann einfach Objekte rausgelöscht wurden.

00:33:45: Das ist schon eine kernige Eingrümpel.

00:33:49: Und das ist nämlich gerade in so einem Industrie-Bandschmark, wo man sagt, okay, das Ding ist der Dreidemarkt, das war ja der Standard sozusagen.

00:33:56: Und das war schon übel, wenn man da eine höhere Leistung vorgaukelt dadurch.

00:34:03: Okay, dann kann ich mich noch erinnern und tue dich vielleicht auch, dass sich AMD und Intel jahrelang um diesen Office-Benchmark-Babkursismus dritten haben.

00:34:13: Worum ging es da eigentlich?

00:34:14: Ja,

00:34:15: da war es allerdings weniger Betrug oder Cheating, da ging es mehr um die Gewichtung, also der einzelnen Sub-Task, beziehungsweise der Ausrichtung des Benchmarks.

00:34:25: Intel Prozessoren lieferten jahrelang, das hat sich auch ein bisschen geändert jetzt, eine deutlich höhere Single Threading Performance als die konkurrierenden Produkte von AMD.

00:34:34: Und da freute sich Intel natürlich, dass der Sysmark viele Teile enthielt, die besonders von starken Einzelkernen profitierten.

00:34:41: Kann natürlich sagen, okay, Office Software, da war das lange Zeit so.

00:34:46: Aber andererseits ist es auch so, wir sehen das ja, das hast du ja auch vorhin gerade erwähnt.

00:34:55: Sie sehen es heute wieder, Apple Chips, die M-Chips, die ein sehr gutes Single-Swelling-Performance haben.

00:35:02: Die zeigen halt auch in sehr, sehr vielen Anwendungen die berühmte CT-Kreation, Schwub, die CT, also fühlen sich einfach sehr responsiv, also sprechen sofort an,

00:35:14: spritzig

00:35:15: und nicht träge und so.

00:35:17: Ja.

00:35:18: Aber das ist ja in dem Benchmark eben immer die große Schwierigkeit, was gewisse ich wie.

00:35:23: Also es ging ja, glaube ich, mehr um die Aussage, das ist die Office Performance in irgendeinem Durchschnittswert, der dann als gleitendes Mittel über, nein, über als, was war das?

00:35:33: Es war ein geometrisches Mittel aus weiß Gott, wie viele Teilbenchmarks, die aber ja auch schon irgendwie ein bisschen willkürlich gewählt waren, weil ich glaube, es wurden auch in Excel irgendwo Bilder eingefügt, wo ich dann immer ein bisschen, oder?

00:35:46: Ja, das nicht, dass du deine... Monoton, Excel ist mit schönem Bildchen auf.

00:35:52: Also das finde ich halt immer ein bisschen schwierig.

00:35:55: Ja, das kommt vor, aber dann würde ich ja vielleicht auch die Performance quasi in Kauf nehmen, dass das jetzt mal in Excel vielleicht ein bisschen langsamer geht, wenn ich da mit Bildern hantiere.

00:36:05: In Excel hätte mich jetzt mehr die Rechen-Performance.

00:36:08: Aber ich fand das Gegenstück, was einem D dann zusammengebaut hat, auch ein bisschen schräg, die dann irgendwie so selbstgeschriebene Office Anwendungen hatten die aber toll parallel Dinge taten.

00:36:19: was ich was ich jetzt irgendwie

00:36:21: die hatten doch irgend so ein ein ein Skript oder ein ein Open Office Skript damals genau was als als eins der ersten irgendwie per Open CL irgendwie GPU mit einbricht.

00:36:34: Was

00:36:34: ja schön ist als Technik aber für den Alltag jetzt nicht sonderlich relevant

00:36:38: wäre halt schön gewesen wenn es sich durchgesetzt.

00:36:40: Ja, aber da kam dann nicht mehr viel Exelkanz war oder oder.

00:36:45: und ob man auf das Könstvermultiswedding, aber die GPU bleibt da dann doch meistens im Schlafmodus.

00:36:51: Aber das ist ja vielleicht auch eine philosophische Frage, die man vielleicht auch nochmal anreißen muss.

00:36:56: Ich meine, was soll der Benchmark überhaupt messen?

00:36:58: Soll er jetzt die Realität abbilden?

00:37:00: Also, ich kann ja auch gar nicht alles messen, was Menschen mit einem PC tun möchten.

00:37:06: Nein.

00:37:07: Dann kann ich ja nur jeden Einzeltask.

00:37:10: Wir haben ja auch oft die Frage, zum Beispiel, wie stark hilft eigentlich GPU?

00:37:14: Beschleunigung, jetzt zum Beispiel bei Photoshop, also drei.

00:37:17: Aber das hängt ja genau davon ab, was du mit deinem Photoshop machst und da mag ihr jeder was ganz anderes.

00:37:22: Der eine nimmt den Filter, der ist jetzt zufällig beschleunigt, der nächste Filter ist eben nicht beschleunigt und dann kann man ja auch herzlich wenig sagen, oder?

00:37:30: Ja, also ganz generell kann man es halt immer sehr schwer sagen.

00:37:33: Das ist immer das Problem, wenn du komplexe Sachverhalte einfach runterbrechen willst, wie das halt Benchmarks gerne versuchen.

00:37:41: Die wollen die in Anführungszeichen Systemleistung mit einer Zahl wiedergeben.

00:37:45: Das ist ohne das berühmte Wenn und Aber eigentlich zum Scheitern verurteilt.

00:37:51: Das muss man immer einordnen, immer in Kontext setzen und immer sagen, okay, für diese und jene.

00:37:58: Anwendung, Umgebung, Benutzungsart ist dieser Benchmark zum Beispiel zu gebrauchen.

00:38:04: Okay.

00:38:05: Dann hatten wir noch erwähnt manipulative Darstellung.

00:38:08: Kannst du das mal ein bisschen erklären?

00:38:09: Ja,

00:38:10: das kriegen wir als Journalisten viel viel häuschiger vor die Nase gesetzt als zum Glück unsere Leser oder überhaupt, wenn man zum Beispiel damit anfängt, wie die Benchmarks ausgewählt werden.

00:38:26: Es gibt ja zum Beispiel reichlich Tests, sodass ich locker dreißig Stück aus irgendeinem Bereich nehmen kann, die Produkt X vor Produkt Y zeigen.

00:38:34: Aber vielleicht einfach in Kategorien, die für die Praxis wenig relevant sind.

00:38:39: Und dann kommt so eine Fülle von angeblich objektiven Messwerten, meinem Publikum an, die aber von vornherein schon ein schiefes Bild zeichnen.

00:38:47: Und dann kommt es natürlich auch noch drauf an, wie ich das Ganze optisch oder grafisch präsentiere.

00:38:53: Okay, kannst du es genauer?

00:38:55: Ja,

00:38:56: der verbreitete Trick ist eigentlich die Kurven oder eben Balken nicht bei null anfangen zu lassen.

00:39:02: Dann sehen eben zehn Prozent Vorsprung, wo man sagen würde, wenn die Balken nebeneinander stehen, das ist aber nicht viel.

00:39:10: Wenn der Balken aber erst bei neunzig Prozent anfängt oder sogar bei hundert, dann sieht natürlich dieses zehn Prozent Stück viel, viel größer aus wie ein Riesenvorteil.

00:39:22: Dann gibt es natürlich auch noch beliebte Mittelwertbildung, wie im Schnitt zwanzig Prozent schneller, aus geschickt ausgewählten Einzelmessungen.

00:39:31: Und das ist so eine Wundertüte, die sagt eigentlich gar nichts.

00:39:38: oft wird auch gerne mal ein völlig irrelevanter Benchmark hergenommen.

00:39:42: Also irgendein Feature, das in der breiten Masse kaum genutzt wird, wird dann groß herausgestellt.

00:39:47: Das war lange bei KI-Rechenwerken, zum Beispiel der Fall, den Neural Processing Units, NPUs.

00:39:53: Da hieß es dann, hey, wir haben irgendwie sechzig TerraOps oder irgendwas, vierzig war, glaube ich mal, die Grenze für Copilot Plus, aber es gibt halt nur wenig sinnvolle Anwendungen dafür.

00:40:04: Und zum Teil ist es halt auch so, Manchmal verpufft die Mehrleistung auch einfach.

00:40:09: Wenn ich jetzt zum Beispiel eine Videokonferenz habe, die jemand spricht in der fremden Sprache, dass das live übersetzt wird.

00:40:16: So, da brauche ich eine gewisse Anwendung, da brauche ich eine gewisse Rechenleistung für.

00:40:19: Aber wenn ich doppelt so viel habe, redet der ja nicht auf einmal doppelt so viel.

00:40:22: Ja.

00:40:23: Du weißt ja, dass wir korrigieren ja unsere Texte gegenseitig.

00:40:27: und meins ist immer, ich habe immer ein bisschen ein Problem mit Videobeschleunigern, weil man ja Videos eigentlich genau in der vorgeschriebenen Geschwindigkeit sehen möchte.

00:40:34: Da

00:40:35: spart man doch unheimlich viel Zeit, auch so schlechte Filme, dann ist der Hälfte der Zeit, wo ich durchgucken kann.

00:40:41: Genau.

00:40:41: Und andererseits, es machen ja viele Leute, die stellen sich jetzt

00:40:45: langsam

00:40:45: Podcast, wenn Leute langsam und bedächtig reden, so wie wir, stellen die das einfach auf zweifare Geschwindigkeit und zack, fertig.

00:40:52: Dann

00:40:52: stimmt, da hast du recht, dann ist es ein Videobeschleuniger.

00:40:55: Gut.

00:40:55: Jetzt haben wir aber eine halbe Stunde oder noch länger über die Nachteile von Benchmarks gequatscht.

00:41:02: Aber du hast ja eingangs gesagt, du hältst im Prinzip schon für sinnvoll, oder?

00:41:05: Ja, ja, auf jeden Fall.

00:41:07: Also ganz ohne Benchmarks geht es eigentlich nicht.

00:41:09: Das ist das alles andere, wäre ja irgendwie so Kaffeesatzleserei.

00:41:13: Korrekt durchgeführte Benchmarks sind ja auch die einzige Möglichkeit wirklich unterschiedliche Systeme einigermaßen fair miteinander zu vergleichen.

00:41:20: Und wenn man Genügend Erfahrung hat und das schon ein bisschen macht.

00:41:24: Dann verschaffen einem auch schon wenige Werte einen guten Eindruck.

00:41:28: Natürlich kein Gesamtbild, aber halt einen guten Eindruck.

00:41:31: Und in welcher Performance Klasse das System zum Beispiel liegt.

00:41:34: Wie sieht das mit der Konkurrenz aus im Vergleich dazu?

00:41:38: Und zum Beispiel helfen Benchmarks auch bei der Diagnose von Problemen und deren Ursachenforschung.

00:41:44: Also ein PC fühlt sich lahm an, dann fühle ich mal der CPU oder der SSD auf den Zahn oder der Grafikkarte.

00:41:50: Und wenn alles dann mit diesen low-level Benchmarks okay ist, dann muss ich halt weiter suchen, ob da vielleicht irgendeine Software im Hintergrund quer schießt oder der Lüfter nicht geht oder irgendwas.

00:42:02: Hast du da Beispiele für ein Alltag, also jetzt auch praktische Tipps für unsere Zuhörerinnen und Zuhörer?

00:42:08: Den Cinebench haben wir ja zum Beispiel schon erwähnt.

00:42:12: Da findet man viele Vergleichswerte, dass man sagen kann, okay, im Schnitt von zig Systemen läuft ein PC mit meinem Prozess so und so und so schnell.

00:42:21: Wenn ich da jetzt eine große Abweichung habe, also ich sage mal mehr als zehn Prozent, dann lohnt sich das da mal genauer zu gucken.

00:42:28: Weil ich gehe der Lüfter gar nicht.

00:42:30: Vielleicht geht der Lüfter gar nicht, vielleicht hat der Hersteller auch gesagt, oh, das ist ein passives System, das ist ganz toll.

00:42:36: Aber die Sechzig-Watt-CPU läuft nur noch mit Fünfzehn, weil ein Viertel so schnell... Vergleichswerte, Geekbench zum Beispiel, den haben wir ja vorhin schon ein bisschen kritisiert, weil da nie irgendwas beisteht oder wenig dabei steht, aber der liefert halt als einer der wenigen Benchmarks-Vergleichswerte über viele verschiedene Plattformen.

00:42:55: Dreidemark ist für die Grafikkarten einigermaßen wichtig.

00:42:58: Die... Top-Fünfhundert der Supercomputer, die hängen zum Beispiel am High-Performance-Linpack.

00:43:03: Aber auch der HPCG, also die sind sich dessen bewusst, dass das eine sehr eindimensionale Aussage ist und machen jetzt immer mehr mit HPL Mixed Precision, was jetzt die KI-Beschleuniger besser ins Boot holt oder mit dem HPCG oder HPCG, wie auch immer, wenn man das aussprechen will, High-Performance Conjugate Gradient Benchmark.

00:43:27: Der spielt auch eine Rolle.

00:43:29: zielt hauptsächlich auf die memory performance, also das Speichersystem von so Supercomputern.

00:43:35: Und für SSDs zum Beispiel nehmen wir gerne mal als ersten Anhaltspunkt den Crystal Disk Mark, der misst Transferraten in verschiedenen Szenarien und tiefer.

00:43:43: bohren kann man dann immer noch mit IOMETER oder FU und beim Netzwerkdurchsatz zum Beispiel iPerf.

00:43:48: Da nehmen wir immer iPerf, der ist ja schon einfach, da finde ich auch am wenigsten Probleme.

00:43:55: wir haben gerade hatte ich wieder mit andre an gesprochen wegen nests bench und so immer.

00:44:00: naja eigentlich.

00:44:03: So genau muss man bei dem nests jetzt auch nicht gucken.

00:44:06: Aber ich habe klar.

00:44:07: also zu gucken ob die Verbindung wenn da ein gigabit steht und es gehen nur dreißig megabyte durch dann muss man sich schon mal wundern.

00:44:14: Okay dann war es nicht ja.

00:44:16: Dann mal die letzte frage.

00:44:19: wir sind ja schon eine weile am reden jetzt über riesige thema.

00:44:22: viele wünschen sich ja eigentlich ein benchmark.

00:44:25: mit dem man nagelneue Technik mit uralten Geräten vergleichen kann.

00:44:28: Also zum Beispiel jetzt, wenn ich mir jetzt ein neues Notebook kaufen will.

00:44:32: Computer werden hier immer länger genutzt.

00:44:33: Wir haben jetzt gerade den Windows-Elv-Zwangsumstieg für manche.

00:44:37: Da würde man sich natürlich wünschen.

00:44:40: Ja, ich will mir jetzt einen neuen Mini-PC in den Notebook kaufen.

00:44:43: Wie viel schneller ist das denn jetzt im Vergleich zu meinem zwölf Jahre alten Desktop-PC?

00:44:47: Die

00:44:47: Frage kriegen wir immer wieder.

00:44:48: Genau.

00:44:48: Wieso geht das nicht?

00:44:50: Mit Einschränkungen geht es ja manchmal, aber mal ganz praktisch begonnen.

00:44:54: Manche aktuellen Benchmarks oder zu Ministersionen von Benchmarks, die starten auf alten Rechner gar nicht.

00:44:59: Wir haben vorhin über den Cinebench zwanzig, vierundzwanzig gesprochen.

00:45:02: Der braucht eine sixty-Bit CPU mit AVX-II Befehlsterzerweiterung und auch ein sixty-Bit Betriebssystem.

00:45:13: Das schaffen schon mal nicht alle.

00:45:14: Also alles, was kein AVX-Zweih hat, also die ersten Core-Prozessoren bis zum, ich glaube, Core-I, Dreitausender-Generation, die sind da schon mal automatisch außen vor.

00:45:25: Braucht es ja nicht auch sechsten Gigabyte dran?

00:45:27: Das war, glaube ich, die Babkursys-Mark, ne?

00:45:29: Ach so,

00:45:29: ach so, ja.

00:45:30: Kann auch sein, dass der Cinebench das inzwischen auch fordert, das weiß ich gerade gar nicht.

00:45:36: Gut, aber das sind schon mal so harte Beschränkungen, wo man sagt, also auf dem alten System kann ich den schon mal gar nicht warten.

00:45:41: Ja, teilweise

00:45:41: gar nicht.

00:45:42: Genau, da muss man dann zusätzlich noch ältere Version laufen lassen oder so.

00:45:46: Machen wir ja oft genug, oft genug auch unsere Kollege Florian Müssig, der seine Notebook-Test ist, der lässt ja auch immer gerne noch den älteren Scene-Eventsch damit laufen.

00:45:54: Mit dem gehen sogar noch mit ein paar kleinen Tricks noch ein paar Pensionen.

00:45:57: Ja, aber

00:45:58: dann könnte ich doch die Zahl von dem Alten nehmen.

00:46:00: In dem Fall kann man die Zahl von dem Alten nehmen, ja, genau.

00:46:03: Aber ... Viele Vorteile moderner Prozessoren, die lassen sich halt auch nur mit angepasstem Code nutzen.

00:46:09: Also viele CPU-Kerne, war jetzt das Paradebeispiel Cinebench, aber andere Tests nutzen halt diese CPU-Kerne nicht.

00:46:17: Multiswagging.

00:46:19: Neue Befehlsätze.

00:46:19: AVX-II haben wir angesprochen, kann die Rechenleistung verdoppeln, AVX-Fünfhundertzwölf kann sie nochmal verdoppeln, muss aber entsprechend auch genutzt werden.

00:46:30: KI und GPU-Beschleunigung.

00:46:31: Wir hatten über Grafikkartenbeschleunigung bei Bildbearbeitung gesprochen.

00:46:35: Viele haben da immer noch von vor fünfzehn Jahren im Hinterkopf, weil es auf einmal per OpenGL, was mittlerweile alle Grafikkarten in der entsprechenden Version oder in der ausreichenden Version könnte, konnte man auf einmal Bilderflüssig drehen im Fotoshop.

00:46:48: Das war vor, ich glaube, fünfzehn, zwanzig Jahren war das ein Ding.

00:46:51: Handless

00:46:52: Rotation oder wie das lief oder sowas.

00:46:53: Genau.

00:46:54: Das ging vorher halt irgendwie in langsamen Ritten.

00:46:57: Da war es dann auf einmal.

00:46:58: Von der Grafikkarte beschleunigt.

00:46:59: Heute sind das ein paar Filter, die mehr oder weniger häufig zum Einsatz kommen, die von der Grafikkarte beschleunigt werden.

00:47:06: Entrauschen wird gerne über KI-Einheiten beschleunigt oder von der Grafikkarte.

00:47:10: Solche Dinge.

00:47:12: Und das würde die alte Software halt gar nicht können?

00:47:14: Das würde alte Software... gar nicht können.

00:47:16: und neue Software ist dann teilweise oder beziehungsweise alte Prozessoren.

00:47:22: Wer oder alte Grafikkarten werden dann halt so weit hinten dran, dass diese Funktionen gar nicht unterstützt werden, zum Beispiel.

00:47:32: Gut, Karsten, lassen wir es mal gut sein.

00:47:34: Vielen herzlichen Dank für das Gespräch.

00:47:37: Genau, aber vor allem danken wir Ihnen, liebe Zuhörerinnen und Zuhörer, für Ihr Interesse.

00:47:43: Wir freuen uns über Feedback per Mail an bit-rauschen at ct.de.

00:47:49: Wenn Sie jetzt noch mehr Lust auf Podcasts haben, dann finden Sie große Auswahl unter heise.de Podcasts.

00:47:56: Und ab und zu kommt auch mal was Neues dazu.

00:48:00: Jetzt zum Beispiel können Sie die Deutschen Darknet Diaries hören.

00:48:05: Das ist der investigative Podcast von Jack Rice Rider, heißt er, glaube ich.

00:48:10: Da geht es um Hacker, Botnetz, Kryptografie, Hektivismus, Cyberkriminalität und all die Dinge, die in den verborgenen Ecken des Internets lauern.

00:48:19: Also gerne reinhören.

00:48:21: Ganz zum Schluss auch herzlichen Dank an unserem Producer Ralf und ich sage tschüss und bis zur nächsten Folge von Bit Rauschen, jeden zweiten Mittwoch, Früh am Morgen.