KI lokal auf dem Selbstbau-PC | Bit-Rauschen 2026/5

00:00:00: Herzlich willkommen zu Bittrauschen, der Prozessor-Podcast von CT.

00:00:06: In dieser Folge erzählt mir mein Kollege Carsten Spille welche Erfahrung er mit lokalen KI Modellen gemacht hat und zwar auf einem aktuellen Desktop PC.

00:00:18: Dazu hat er natürlich nicht irgend einen genommen sondern den PC-Baufallschlag der CT, den optimalen PC in dem Jahr.

00:00:26: Mit einem AMD Ryzen und einer AMD Radeon Grafikkarte.

00:00:31: Bis gleich!

00:00:48: Hallo, mein Name ist Christoph Windeck.

00:00:50: Mein heutiger Gesprächspartner im Podcast ist mein CT-Kollege Carsten Spille.

00:00:55: Hallo Carsten!

00:00:56: Moin Christopher und moin an alle die zuhören.

00:00:59: Ja heute

00:00:59: geht's mal wieder um KI Modelle, die sind ja in aller Munde... Aber eben nicht die, die man irgendwie in der Cloud meetet und seine ganzen Daten nach Amerika morst.

00:01:11: Sondern die man auf dem heimischen PC installiert.

00:01:16: Jetzt habe ich schon ein bisschen vorgegriffen.

00:01:18: aber außer jetzt beim Datenschutz warum will man das vielleicht noch machen dass man die lokal betreibt?

00:01:25: Ja das kann viele Gründe haben.

00:01:27: also Datenschuss hast du ja schon angesprochen.

00:01:31: Manche Leute wollen auch Geld sparen.

00:01:34: Ich sag mal, guten Webdienste die KI Services anbieten.

00:01:39: Die kosten ja leider auch manchmal was.

00:01:42: und in den Milliarden Investitionen, die die KI-Industrie so tätigt, die wollen ja irgendwie auf versuchendes Geld wieder reinzubekommen.

00:01:50: aber ich glaube viele von unseren Lesern und Zuhörern, die reizt da einfach das Basteln und sie wollen sehen was einfach zu Hause so geht.

00:01:59: Und wie gesagt, Datenschutz ist ja auch ein sehr wichtiges Thema.

00:02:03: Nicht jeder will irgendwie die, keine Ahnung, Taufe Fotos von seinen Kindern in die KI schieben um eine schicke Einladungskarte zu basteln sondern das soll dann lieber doch auf dem heimischen Rechner bleiben.

00:02:15: erst mal bis sie selbst über ihre Daten entscheiden können finde ich auch absolut richtig.

00:02:19: Viele assoziieren ja... niedrige Preise sozusagen für Software mit Open Source.

00:02:26: Geht es dabei auch um Open Source KI Modelle oder ist das keine Option?

00:02:31: Zum Teil, also nur zum Teil viele KI-Modelle die man lokal installieren kann sind nicht im strengen Sinne Open Source oder teilweise gar nicht.

00:02:43: Man darf die meisten zwar frei nutzen aber sie sind also nicht offen gelegt und bei manchen wiederum Das Modell zwar offengelegt, aber nicht die zum Training genutzten Daten.

00:02:54: Also insofern auf keinen Fall erfüllt es die strengere Definition von Open Source.

00:03:00: Okay also das ist nicht Software, die man selber modifizieren kann oder in die Details gucken und abändern kann?

00:03:06: In

00:03:07: den meisten Fällen nicht.

00:03:08: Ja dazu machen ja unsere Kollegen von der CT relativ häufig was, also speziell die Andrea Trinkwalder, die das auch schon mehrfach erklärt hat Wo da diese Detailunterschiede liegen und was wirklich offen ist.

00:03:21: Und wo auch die Daten, die zum Training verwendet werden zum Beispiel aufgelegt sind.

00:03:25: Denn das ist ja... Na gut!

00:03:27: Das wird mir jetzt bei privaten Nutzungen, die man auf dem heimischen PC macht, vielleicht nicht so im Detail drauf ankommen ob da ein ethischer Bayer drin ist oder sonstwas?

00:03:36: Also das kann man ja vielleicht mal vorausschicken dass man natürlich immer berücksichtigen muss für diese Ergebnisse dann auch selbst verantwortlich ist und sie unter Umständen gar nicht, also zumindest nicht kommerziell weiter benutzen darf.

00:03:48: Aber in die Details bist du auch nicht eingestiegen oder?

00:03:50: Nee, also Trainingsdaten zu verändern ist auch so ein bisschen außerhalb des üblichen, übliche Rahmens, was man noch Zuhause machen kann.

00:04:00: Also

00:04:00: ich meinte jetzt mit, ähm... Die mit so einem Modell erzeugten Ergebnisse, die darfst du ja nicht unbedingt aufvermarkten oder das ist ja nicht immer abgedeckt von dieser kostenlosen Nutzung oder?

00:04:12: Nee, also die gewerbliche Nutzungen ist in der Regel an bestimmte Bedingungen gebunden.

00:04:17: Also da gibt es auch Ausnahmen.

00:04:18: aber in diese rechtlichen Aspekte wir haben uns mehr auf die Technik konzentriert und was damit so geht.

00:04:25: Okay, aber das sieht man halt wie schnell...also wie riesig dieses Feld ist.

00:04:29: Ja sehr vielschichtig!

00:04:31: Genau, wie vielschichtig das ist Damit geht es jetzt leider auch weiter, da können wir die Zuhörerinnen und Zuhöhrer nicht raus entlassen.

00:04:38: Das ist eine ganz schön vertragte Geschichte.

00:04:40: Denn die nächste Frage ist ja... Es gibt ja nicht das eine KI-Modell sondern leider kommen jede Woche irgendwie zwanzig neue heraus und es gibt welche, die sind optimiert für ganz verschiedene Dinge.

00:04:52: Und welche KI Modelle laufen denn überhaupt auf so einem Desktop PC?

00:04:55: Ist das jetzt eher ein großes Sprachmodell also diese berühmten Large Language Models ALIAS LLM Oder eben Bilderzeugung oder Video, Audio oder eben Programmierhelfer fürs Vibe-Coding.

00:05:08: Was kann man so bitten mal?

00:05:10: Also im Prinzip lässt sich so gut wie fast alles auch lokal betreiben solange das halt irgendwie in den Speicher passt.

00:05:17: also alle Bereiche die du eben genannt hast die kann man tendenziell auf einem PC daheim machen und hast ja auch schon gesagt es kommen täglich neue Modelle hinzu.

00:05:30: Das ist ein sehr dynamisches Hochdynamische Gemengelage sozusagen.

00:05:35: Und das macht das Ganze auch extrem komplex und vielschichtig, was wir eben schon gesagt haben.

00:05:41: Also

00:05:42: es macht deine Empfehlungen schwierig?

00:05:44: Ja also das ist jetzt nicht so dass ich am Ende sagen kann, dass eine so geht und dann damit bist du glücklich sondern das ist halt sehr schwierig und verschieden.

00:05:55: Eine der größten Einschränkungen auf dem PrivatPC wie leidensfähig man ist, wie lange man einfach auf die Ergebnisse einer Karriereinfrage warten möchte.

00:06:06: Ah okay also das ist zum Beispiel ein Parameter der sich da unterscheiden kann?

00:06:11: Ich hätte noch eine Frage davor bevor wir jetzt reingehen auch um welche Ressourcen es eigentlich geht beim privaten PC.

00:06:19: Das wäre aber sind alle mögliche Modelle kostenlos verfügbar?

00:06:23: ne

00:06:24: Also alle möglichen im Sinne von sehr, sehr viele und und sehr breit gefächert.

00:06:30: Ja aber nicht alle möglichen Modelle die man ist überhaupt gibt.

00:06:36: Das heißt also man muss schon man muss dann auch so ein bisschen wenn man da was ausprobieren möchte Da muss man gucken Man hat von irgendeinem modell gehört Dann kann man gucken gibt es das auch in einer freien variante und gibt Es doch auch in eine version die ich installieren kann

00:06:51: genau.

00:06:52: Und da gibt es

00:06:53: Webseiten da lädt man die dann runter quasi.

00:06:55: Also grundsätzlich funktioniert das so.

00:06:57: Grundsätzlich,

00:06:58: ja die werden aus dem Web runtergeladen sind dann etliche Gigabyte groß.

00:07:01: und die Tools mit denen wir uns so beschäftigt haben und die auch dafür empfehlen damit man nicht irgendwie selber irgendwelche URL scrapen muss oder so Die nehmen einen auch so ein bisschen an der Hand und zeigen einem dann auch, okay das läuft vermutlich auf deinem System ganz gut.

00:07:18: Das hier sind kuratierte Modelle, die sind empfohlen vom Entwickler des Tools oder da sind verifizierte Entwickler dabei gewesen, die dieses Modell erstellt haben usw.

00:07:30: Also darauf kommt mir klar eine andere Frage meinem Kopf auf.

00:07:34: also ich lade es irgendwo runter.

00:07:36: Das heißt Ich lade also im Prinzip Wie sieht es denn eigentlich mit Chart Software und sowas aus, wenn ich hier so diese Modelle irgendwo runter lade?

00:07:45: Also kann nicht mehr da auch Melwe einfangen.

00:07:48: Eigentlich wenn ich davon irgendwann diese Modell herunter lade.

00:07:50: also tendenziell ist das nicht auszuschließen.

00:07:55: Generell ist es aber die meisten Anbieter von solchen oder die größeren Anbieten sage ich mal lieber von solchen KI-Modellsammlungen, die scannen ihre Modelle geben dann so ein Verified-Häkchen dabei, wenn die das für unbedenklich halten oder wenn das von einem bekannten Entwickler kommt.

00:08:15: Aber natürlich, sobald man was aus dem Internet runter lädt ist es die Möglichkeit theoretisch da dass das auch irgendwie kompromittiert ist.

00:08:23: okay.

00:08:23: Das heißt, die nutzen diese typischen Methoden mit Signaturen und so weiter im Hintergrund.

00:08:29: So wie eine Linux-Distribution oder sowas für Updates, dass man sagt das ist auch der Code den ich da haben wollte.

00:08:34: also da sind bisher keine.

00:08:36: dir sind jedenfalls keine größeren gezielten Angriffe oder sowhas bekannt geworden?

00:08:41: Nicht auf die Mode oder nicht durch die Modelle selbst aber durch Software gibt es ja immer mal wieder je mächtiger so ein Tool ist desto mehr oder desto interessanter wird es natürlich auch, das als Angrifffläche zu nutzen.

00:08:53: OpenClaw hatte jetzt ja gerade zum Beispiel eine ziemlich kräftige Sicherheitslücke.

00:08:59: Es wurde inzwischen auch behoben aber wenn man denen halt dann seine Kreditkartendaten gibt, kann das auch abfließen.

00:09:06: Aber das war alles nicht bei uns der Fall.

00:09:08: da brauchen wir jetzt in dem Fall keine Sorgen zu haben.

00:09:10: Aber so ganz generell muss man immer sagen, wenn man da Software aus irgendwelchen Quellen zieht also man sollte ebenfalls das Gehirn einschalten und muss sich schon ein bisschen Man kriegt ja oft in diesen Foren den Eindruck vermittelt, das ist alles total easy.

00:09:23: Da klickst du da drauf und klack-klack!

00:09:24: Und dann hast du das alles?

00:09:26: Man würde nicht danach gerne seine Festplatte komplett löschen als eine SSD, sondern einfach weiterhabe.

00:09:33: Muss ehrlich sagen ich habe Vorsichtshalber auch weil die Datenmengen so groß sind.

00:09:39: Ich habe vorsichtigshalbe eine zweite SSD genommen und frisch installiert und da lief nichts außer dem KI-Tools drauf.

00:09:46: Das ist eine schöne Überleitung.

00:09:47: denn ich wollte dich fragen, eben welche Ressourcen braucht dann überhaupt der Rechner?

00:09:51: und jetzt du hast vorher schon mal Speicher erwähnt aber fangen wir mit dem Speicher im Sinne von Massenspeicher an.

00:09:58: Was brauche ich denn für ne SSD-Kapazität?

00:10:00: Für so ein Modell?

00:10:02: Ja also ich würde sagen wenn man nicht noch sonst Ewigkeiten an privaten Daten oder sonst welchen Daten auf dem Rechen hat nur für einen Betriebssystem paar KI-Modelle, sollten es schon mindestens in den fünfhundert zwölf Gigabyte SSD sein.

00:10:20: Ach so damit geht's aber schon los?

00:10:22: Damit also wenn ich jetzt rechne so grob über Schlagung, Fünfzig Gigabyte für das Betriebssystem und Auslagungsdatei und so Zeug und dann noch diese Tools die sind naja im einstelligen Gigabyte Bereich Und dann kommen halt die Modelle dazu.

00:10:38: Da kommt es halt immer drauf an, wie viele will ich ausprobieren?

00:10:41: Bin ich bereit, die dann auch mal wieder zu deinstallieren also von der Platte zu schmeißen und falls sich sie dann doch wieder nutzen will wieder runterzuladen?

00:10:49: Die größten Modelle, die wir ausprobiert haben waren so hundertfünfzig Gigabyte groß Und da ist

00:10:54: aber eine SSD dann schon, merkt man dann schon sozusagen

00:10:57: Ja das dauert auch ne Weile runter zu laden.

00:10:59: Also Zuhause sollte man das dann vielleicht über Nacht machen.

00:11:03: Im Verlag, wo ich das ausprobiert habe haben wir ja zum Glück eine recht schnelle Anbindung.

00:11:08: Und ne SSD ist empfehlenswert alleine schon weil man die dann schneller in den Speicher laden kann oder?

00:11:13: Ja also SSD sollte man auf jeden Fall nutzen...

00:11:17: Also im Sinne man schießt da besser keine OSB-Festplatte an, nur dass du da drauf zieht es dann darauf, sonst soll es schon zügig gehen.

00:11:25: Jedes mal wenn ich so ein größeres LLM Lade, also sowohl in den Hauptspeicher als auch in den Grafikkartenspeicher.

00:11:32: Da kommen wir gleich noch zu muss das ja irgendwo herkommen und wenn ich dann eine USB-Festplatte, die in einem Idealfall nur noch mit dreißig MB irgendwas liefert, dann habe ich da erst mal eine ausgedehnte Mittagspause Zeit bis es überhaupt geladen ist bevor ich überhaupt mal anfangen kann.

00:11:49: Okay!

00:11:50: Also es geht schon um größere Datenmengen?

00:11:52: Ja Dann haben wir jetzt mal dass SSD die SSD Frage geklärt also mit so ganz kleinen.

00:11:58: Andererseits gibt es ja MicroSD-Karten mit Terabyte.

00:12:01: Aber mittlerweile kostet das Ganze leider auch mehr Geld als noch vor wenigen Monaten.

00:12:07: und jetzt kommen wir erstmal richtig zu den anderen Anforderungen.

00:12:12: Normalerweise sagen die ja immer, Dreh- und Angelpunkt eines PCs ist der Hauptprozessor und das Mainboard sozusagen.

00:12:19: Also dann würde ich erst mal fragen kann man bei CPU und RAM irgendwelche Hinweise geben was man da besucht?

00:12:25: Man sollte schon eine halbwegs moderne Mehrkern-CPU haben also irgendwas mit vier besser sechs Kerns ist schon anzuraten.

00:12:33: Von einem acht Kerner aufwärts profitieren Die meisten Modelle die ich so ausprobiert habe eher weniger

00:12:43: Weil, weil sie auf der GPU im Wesentlichen laufen.

00:12:45: Weil

00:12:45: Sie im Idealfall auf der CPU laufen, weil das halt wesentlich schneller geht.

00:12:49: Also klar tendenziell skaliert es natürlich auch mit Prozessor-Kernen.

00:12:53: aber ob sich das lohnt da jetzt irgendwie ein dreißig Kerner oder gar einen Workstationprozessor für mehrere tausend Euro einzubauen und wenn er mit der CPU Fallback dann etwas flotter ist...

00:13:04: Wir wollten ja eigentlich darüber sprechen, wie man das mit etwas von einem vernünftigen Pinzeln...

00:13:08: Genau.

00:13:08: ...es sich überhaupt sozusagen lohnt da mal drüber nachzudenken.

00:13:11: Das ist ja eher das Ziel und ich stelle dir zu Hause so ein... drehunderttausend Euro Nvidia-Kiste hin.

00:13:18: Gut!

00:13:19: Ja, die

00:13:19: waren... Das war die CPU?

00:13:20: Genau.

00:13:21: Ram was braucht es?

00:13:23: Ram?

00:13:23: Ich würde mit unter sechzehn Gigabyte nicht anfangen.

00:13:27: Mehr nach oben ist natürlich immer besser, speziell wie gesagt auch wenn die Modelle dann größer werden.

00:13:31: Also oft ist es ja so man fängt irgendwie mit irgendwas kleinem an findet das toll und arbeitet sich danach oben hoch und merkt dann oh jetzt reicht mir aber der Speicher nicht.

00:13:42: also der Ram sollte schon so groß sein dass das LLM da auch reinpasst.

00:13:47: Zum Beispiel hatten wir angefangen mit der Standardausstattung von Logischerweise das hundertzwanzig Gigabyte Modell GPTOS S nicht mehr rein.

00:13:59: Also dass mit hundert zwanzig Billionen Nein, hundzwanzich Milliarden Parametern

00:14:06: Okay deswegen heißt es auch vielleicht an der Stelle passt es gerade diese modelle die hat da steht oft ein kleines B drin also die amerikanische aus das amerikanische Wort für Milliarde.

00:14:21: Ja, genau.

00:14:21: Das

00:14:21: heißt da geht es dann vor allem darum dass die Anzahl der Parameter ist oder der Gewichte mit dem das Modell... auf das das Model trainiert wurde so kann man sagen.

00:14:33: So kann man das mal vereinfacht annehmen.

00:14:35: ja

00:14:36: also ein so Modell was viele genutzt haben in letzter Zeit.

00:14:38: aber wenn das hier erscheint unsere Folge dann vielleicht schon nicht mehr?

00:14:41: Dann ist ja schon das nächste Modell.

00:14:43: Genau!

00:14:45: OSS, hundertzwanzig B. Das heißt ein Modell das mit hundert zwanzig Milliarden Gewichten arbeitet tendenziell.

00:14:53: wir kommen dann nachher noch drauf dass es davon an verschiedene Varianten gibt dadurch dass dann wieder kleiner wird und so.

00:14:59: Aber du hast gesagt, ich wollte erst mal darauf raus.

00:15:02: Also wir hatten unser Bauvorschlag ist ja relativ kräftig ausgestattet weil wir davon ausgehen dass Leute die den nachbasteln da dann auch vielleicht mit spielen wollen und auch ein paar Jahre Ruhe haben wollen also zwanzig Jahre dran drinnen.

00:15:15: unter sechzehn würdest du abraten CPU sag mal sechs bis acht Kerne Ja, und jetzt kommt es dazu.

00:15:23: also die meisten laufen auf der Grafikkarte.

00:15:25: das haben bestimmt viele schon mitbekommen.

00:15:27: Die Modelle im Idealfall.

00:15:28: kannst du dazu Tipps geben was für eine man da braucht?

00:15:33: Ja dass ist war ja auch einer der der Fokie des Artikels.

00:15:38: Man sollte auf jeden Fall eine Grafikade mit mehr als acht Gigabyte haben.

00:15:41: Also ich würde nicht unter zwölf anfangen.

00:15:44: für Karrierenwendungen Für Spiele mag das noch gerade so gehen aber für Karrieranwendung zwölfe besser sechzehn Ja, darüber wird es halt extrem teuer.

00:15:54: Und kann man denn sagen dass diese bei den Karten je moderner, je besser für KI?

00:15:58: oder ist das nicht so wichtig?

00:15:59: Doch!

00:15:59: Das kann man auch so sagen.

00:16:01: also gerade die verbauten KI-Einheiten oder die Verbauten... Es klingt irgendwie so ein bisschen doof.

00:16:08: Die Schaltkreise, die für die KI Beschleunigung genutzt werden, die erfahren derzeit noch die stärksten Verbesserung von Generation zu Generation.

00:16:16: Also sei es, dass sie optimiert sind auf kleinere Datenformate, dass Sie da den Durchsatz verdoppeln und Speichersparen können usw.

00:16:25: also da würde ich schon wenn man jetzt sagt okay Ich will mir sowieso einen neuen PC kaufen und das muss jetzt sein oder eine neue Grafikkarte würde ich auch schon zu einer aus der aktuellen Generation greifen.

00:16:35: ja also GeForce RTX Also B-fünf, siebzig, b-fünfachtzig.

00:16:46: Gut jetzt hast du uns was erzählt.

00:16:48: zur GPU?

00:16:49: Das ganze muss ja zusammenspielen in einem PC.

00:16:53: Ich sag mal so eine sechzehn Gigabyte Grafikarte wie ihr sie verwendet habt.

00:16:59: das geht aber noch mit dem Standardnetzteil und so weiter.

00:17:01: also im Prinzip ist es ein normaler pc.

00:17:03: Das ist ein normalen pc also normal gut ausgestatteter gaming pc würde ich sagen nicht so einen ultra high end Monster.

00:17:10: Ja Und Ramm auf dem Board, zwei und drei Gigabyte.

00:17:15: Ihr habt glaube ich zweimal sechszehn Gigabyte Module genommen

00:17:17: ne?

00:17:17: Ja genau.

00:17:18: Nehmt mich an!

00:17:19: Und eben die Grafikkarte.

00:17:21: da kannst du eine grobe Preisvorstellung sagen was dieser PC gekostet hat, tausend fünfhundert, zweitausend oder eher mehr?

00:17:28: Ja das waren so glaube ich um die Zweitausenden insgesamt.

00:17:32: aber das kommt natürlich auch drauf an ob man den jetzt genauso nachbaut und alles neu kauft oder ob man nur einzelne Teile neu braucht.

00:17:41: Kann auch günstiger weil wir kommen.

00:17:43: Was mir gerade aufgefallen ist bei deiner Erklärung der GPU, also der Grafikkarte die man da einbauen sollte.

00:17:49: Also Onboard-Grafik reicht nicht in der CPU eingebaute?

00:17:55: Ja aber... Achso okay!

00:17:57: Ja aber.

00:17:58: Also onboard-grafik ist tendenziell von der Leistung her sowieso deutlich schwächer als Grafikarten in der Region Santer Wehe hier sprechen.

00:18:05: Entsprechend läuft auch KI-Langsamer, allerdings haben die natürlich meistens dann direkt einen Zugriff auf den kompletten Hauptspeicher.

00:18:13: Also im Ausnahmefall kann es auch mal sein dass eine starke integrierte Grafik in einem Rechner mit ich weiß nicht... ...dann schneller ist als wenn ich eine externe Grafikkarte benutze, die aber nur zwölf Gigabyte hat und wo das Modell da nicht mehr reinpasst was ich gerade benutze.

00:18:29: Ah, okay.

00:18:29: Also das ist ja beziehungsweise ... Keno hat ja auch unser Kollege von CT-Dreiltausendtrei, der viele Experimente in dem Sinne macht, schon mit irgendwelchen Macs rumgespielt die eine besondere Kombination haben, eine relativ starke integrierte GPU und sehr schnell angebundenes RAM Und das scheint hier relativ cool zu sein.

00:18:50: Das kann man aber nicht mit einem normalen Desktop PC nachbauen.

00:18:53: in diesem Sinne

00:18:54: Ne, vor allen Dingen dieses super schnell angebundene RAM was bei den Mac MIV Pro und Ultra und Macs.

00:19:01: Und wie sie heißen, was Apple da einbaut?

00:19:04: Speziell das kriegt man so nicht nachgebastelt.

00:19:08: Ja

00:19:09: dann kann man vielleicht noch kurz nur erwähnen es gibt halt einen xx'n-achtzig Prozessor der in die Richtung geht.

00:19:14: Das ist dieser Ryzen AI Mac Star von AMD.

00:19:17: aber das ist letztlich eigentlich ein aufgelöteter Mobilprozessor Der nur mit aufgelöht zum LPDDR V X RAM arbeitet.

00:19:27: Also da gibt es so Mini-PCs auch mit, aber die sind auch in der größten Ordnung.

00:19:32: Ist man auch schnell über zweitausend Euro mit vier und sechs Gigabyte RAM oder so?

00:19:35: Genau!

00:19:35: Da ist man nicht sehr billig dabei das stimmt leider.

00:19:40: Also im klassischen Desktop-PC... Hätte ich eine

00:19:41: gute Voraussetzung.

00:19:43: Ja, am klassischen desktop PC habe ich halt immer die Trennung zwischen.

00:19:48: also bisher noch zumindest.

00:19:49: was sie zukünftig bringt wissen wir ja nur nicht.

00:19:51: Aber dann hab' ich die Trenchung zwischen CPU die eben zwei RAM Kanäle hat.

00:19:56: RAM ist natürlich DDR-Fünf, das sind ja auch irgendwie fünfzigsechzig Gigabyte Sekunde.

00:20:00: Aber die Grafikkarte hat eben super schnelles RAM und die ist dann per PCI Express eingesteckt.

00:20:06: Ach so da fällt mir ein spielt das irgendeine Rolle?

00:20:09: PCI-Express vier oder fünf oder...

00:20:10: Keine große!

00:20:13: Also man kann Unterschiede messen aber wenn das Modell mal überläuft aus dem Grafikarten Speicher und ins normale RAM, es sind die Latents von dem hin und her transferieren weitaus wichtiger als die Datenmengen, die da hin und her geschrieben

00:20:27: haben.

00:20:29: Und du hast vorhin so gesagt das ist auch ein interessanter Nebensatz finde ich jetzt ja NVIDIA GVS RTX-Fünf tausend klar das weiß jeder.

00:20:40: NVIDia hat die tollsten KI Beschleuniger aber dann hast du relativ gleichberechtigt auch AMD Radeon RX-Nohntausend und eben diese derzeit verfügbaren Intel Grafikal genannt.

00:20:51: Ist das also mittlerweile Nicht mehr ganz so wie früher, dass man unbedingt eine Nvidia-Karte braucht?

00:20:57: Nee also das hat sich deutlich gebessert.

00:20:59: Also da haben AMD und Intel auch deutlich aufgeholt und in ihr Software Ökosystem investiert.

00:21:05: Nvidia war da muss man sagen früh dran und das war auch der Grund warum wir das quasi damals so uneingeschränkt empfohlen haben für KI Anwendung.

00:21:13: weil wenn irgendetwas vernünftig optimiert war dann wars zuerst auf Nvidia Karten RTX Karten optimiert.

00:21:20: Das ist mittlerweile deutlich besser geworden, auch das haben wir.

00:21:24: der Komfort bei den Installationen des Frameworks.

00:21:27: Der wird einem jetzt schon durch automatisierte Installer.

00:21:30: AMD hat da sogar ein KI-Paket in den Treiber integriert dem man auf Wunsch nachinstallieren kann.

00:21:39: Das läuft dann also völlig ohne dass man irgendwelche Umgebungsvariablen und PyTorch und sonst was selbst einrichten muss.

00:21:46: Also das ist tatsächlich mittlerweile ... Ja, eine Durchklick-Variante geworden und von daher funktioniert das immer besser auch auf AMD und Intel.

00:21:58: Und Linux und Windows hast du beides probiert?

00:22:00: Nee wir haben uns tatsächlich größtenteils auf Windows fokussiert weil das ja auch quasi der Auslieferungszustand unseres Bauvorschlags ist.

00:22:12: Es ist allerdings so dass die beiden ich sage mal verbreiteten Tools oder die drei verbreitetsten Tools, die gibt es auch für Linux.

00:22:22: Wenn man da nicht auf der Kommandozeile sondern mit einer grafischen Oberfläche arbeitet was die meisten wahrscheinlich tun werden dann ist das relativ vergleichbar.

00:22:32: nur die Treiberinstallation unter Linux noch etwas hakliger speziell weil diesem KI-Bandel den dieses integrierte KI-Paket das gibt's für Linux beim AMD Treiber zum Beispiel noch nicht.

00:22:45: Da muss man dann halt noch ein bisschen Selbsthand anlegen.

00:22:48: Das heißt also, man kann unter Windows erst mal wenn wir sprechen ja jetzt vor allem über im Grunde Einsteiger, also Leute die erstmal ausprobieren wollen, da kann man also getrost unter Windows einfach mal loslegen, kann sich hier immer noch überlegen ob man das häufiger nutzt.

00:23:05: Das wäre ja ein Vorteil, wenn man zum Beispiel den PC extra dafür irgendwie in die Ecke stellen will der das macht?

00:23:10: Dann ist es vielleicht mit Linux, spart man sich die Lizenzgebühren.

00:23:13: aber da sagst du Da musst du noch mehr dran schrauben.

00:23:17: Da ist ein bisschen mehr manuelle Konfiguration nötig, aber andererseits sind Leute die ja sowieso Linux benutzen auch meistens Kummer gewöhnt und kennen sich in solchen Dingen oft besser aus als der typische Windows-Nutzer.

00:23:31: Okay!

00:23:32: Dann bei Nvidia war das ganz oft diese berühmte Programmierschnittstelle API Cuda also auf der auch viele dieser... Also die hat sich mittlerweile Total weiterentwickelt, aber das ist halt die etablierteste Schnittstelle und am längsten bekannte wo man eben die Grafikkarte für allgemeine Rechenaufgaben und eben auch KI einbinden kann.

00:23:55: Sowas in der Art haben die anderen jetzt also auch oder?

00:23:57: Ja im Prinzip gibt es sowas auch AMD schon etwas länger Rockem nennt sich das.

00:24:03: Die haben auch zwischendurch mal so ein paar andere Test Balance gestartet Und sie sind dann wieder unsanft auf dem Boden der Tatsachen gefallen.

00:24:12: Aber inzwischen ist es so, dass sie da auch ernst machen und mit Rock M also ROC-M nennt sich das.

00:24:21: Für die modernen also für die beiden aktuellen Architekturen speziell also Radeon neuntausend und Radion Siebentausend gut dabei sind.

00:24:30: Und Intel, da gibt es die Open Vino ja Plattform Framework wie man will.

00:24:37: Die bindet teilweise sogar noch CPU Einheiten mit ein auf Wunsch Aber es ist halt auch für die Agg-Grafikkarten und für die agg integrierten Grafikeinheiten gedacht.

00:24:48: Und das ist, ist das in die Treiberpakete, die man so runterlädt?

00:24:51: Für GamingIntegriert oder holt man das da von den Seiten noch mal runter und installiert es nach?

00:24:56: Bei Intel ist es komplett integriert und bei AMD jetzt also diese OpenVINO-Plattformen.

00:25:01: und bei AMD des RockM wird über dieses KI-Bandel was ich vorhin erwähnt habe kann man das mitinstallieren die entsprechende PyTorch-Umgebung.

00:25:09: Also, PyThorch ist auch ein sehr verbreitetes LLM Framework oder wird dafür benutzt und wird dann mit installiert genau.

00:25:19: Okay!

00:25:20: Dann hat man also schon mal so einen Startpaket von der Software her, die Karte.

00:25:23: das haben wir alles jetzt schon gemacht.

00:25:25: So

00:25:25: du hast vorhin schon einmal so am Rande erwähnt oder vielleicht nennst Du jetzt doch mal, du hast gesagt zwei bis drei Tools, die man so üblicherweise benutzt,

00:25:33: wie diese ganzen Download

00:25:34: auch empfehlen?

00:25:35: Wie heißen die denn eigentlich?

00:25:36: Also eins der verbreitetsten ist LLM Studio, sondern nur LM Studio.

00:25:44: Das ist zum Beispiel in diesem AMD Treiber-Paket auch mit drin.

00:25:47: Dann gibt es Olama.

00:25:49: das ist etwas spartanischer und relativ also relativ neu für KI Verhältnisse auch schon uralt aber relativ neu im Vergleich zu LM Studio und Olama is Comfy UI.

00:26:03: Ja, Verknüpfung von verschiedenen Arbeitsschritten auch.

00:26:06: Das ist also etwas komplexer aufzubauen.

00:26:09: Braucht mehr Einarbeitungszeit.

00:26:11: aber da gibt es auch vorgefertigte Templates die man sich einfach runterladen und dann benutzen kann.

00:26:17: Und wie startest du jetzt diese Umgebung?

00:26:19: Muss ich mich da irgendwie registrieren irgendwo?

00:26:22: Bei denen dich jetzt so ausprobiert hat muss man sich nicht registriern Da kann man die einfach so starten und ja, je nachdem welche man dann startet wird natürlich erst noch entsprechendes Modell runtergeladen.

00:26:33: Es gibt Vorschläge für Einsteiger quasi aber man kann auch direkt in den Expertenmodus gehen und dann sagen ich möchte dieses und jenes Modell unterladen und dann kann man im Prinzip loslegen nach dem paar Gigabyte extra.

00:26:49: Und das hast du auch so erstmal durchgeklickt.

00:26:51: Genau,

00:26:53: ich habe dann einfach wirklich ganz stumpf nur das gemacht was mir Treiber oder Tool angeboten haben und das hat auch funktioniert.

00:27:01: soweit also das war in der Vergangenheit leider nicht immer so.

00:27:04: da gab es ja auch schon mal die eine oder andere in Anführungszeichen One-Click-Solution wo es dann im Nachhinein aber hieß, als das nicht funktioniert.

00:27:12: Ja da muss aber PyTorch und da muss diese Umgebungsvariable und diese Variante von Python installiert werden.

00:27:18: Aber das ist leider nicht die aktuelle und sonst funktioniert das alles nicht.

00:27:22: also das setzte quasi ein fertig eingerichteten Entwickler-Rechner voraus.

00:27:28: Das ist aber inzwischen dann nicht mehr so wie gesagt.

00:27:30: Das ist ja unsere leidvolle Erfahrung, die immer manche Linux Freunde nicht so wahr haben wollen.

00:27:36: wenn.

00:27:36: Deswegen haben wir beide speziell schon viel Leid erfahren, wenn man so Sachen ausprobieren möchte.

00:27:43: Das ist aber wirklich besser geworden.

00:27:45: Zum Beispiel haben wir ja diese NVIDIA DJX Spark Linux Workstation getestet wo das eben alles schon von Nvidia so voreingerichtet war und wo ich sehr verblüfft war was die Leute im Nvidia Forum die sich ja für viertausend Euro so eine Workstation gekauft haben dafür Fragen stellen.

00:27:59: das hätte ich mich nicht mehr getraut.

00:28:01: und es sind genau die sachen wenn man die sagt oft dann wollen dass du... Ich sag mal jetzt Ein bisschen humoristisch genommen so linux fanboys immer nicht so hören aber das war ja ganz oft so oder auch beim dass er auch das tolle was der raspi so gut macht.

00:28:15: Ganz oft wars halt so ja du könntest jetzt diese kli laufen lassen dann hast du dieses saumal olama, Das geht aber nur auf Ubuntu so und dann nur mit dem Nvidia-Treiber so.

00:28:32: Und dazu noch die cooler Library so und da hast du immer irgendwas, wo es nicht geht und du landest ganz oft bei einem steinalten Ubuntu LTS... ...und wenn du dann da ein Benchmark gemacht hast, dann guckst du dir den an auf ML Perf zum Beispiel und dann steht das mit einer viel neueren Version.

00:28:48: Da ist doch gar nicht vergleichbar weil der nutzt ja noch gar nicht AVX mit Grig!

00:28:55: Das ist wirklich quellend.

00:28:58: Quellend und das ist viel besser geworden, also das ist ja schon mal sehr gut.

00:29:01: Also man kann wirklich so einsteigen...

00:29:03: Viel einsteiger freundlicher, genau!

00:29:05: Die ersten Erfolgserlebnisse sind schnell da.

00:29:08: Super!

00:29:09: So jetzt sitzt du also davor deiner komischen Oberfläche von, ich sag mal KompfyUI oder LM Studio Und die können dir jetzt in Modell empfehlen sogar, also du wirst dich dann entscheiden Ich will einen LLM- oder Bilder erzeugern.

00:29:25: Wo hängt es denn nun genau von ab, wie viel RAM beziehungsweise Videografikspeicher man braucht?

00:29:32: Also das hängt in erster Linie von der Anzahl der Parameter des Modells ab.

00:29:36: Wir hatten ja schon mal gesagt da ist steht immer so eine Zahl oder fast immer so ne Zahl dran.

00:29:40: Es war ganz lange war keine Ahnung.

00:29:43: Lama zwei dreizehn B Das hat jetzt zum Beispiel dreizehn Milliarden Parameter.

00:29:49: Oder Lama drei acht b Das geht halt nach oben ziemlich schnell durch die Decke.

00:29:57: und so ganz grob kann man sagen, dass diese Zahl korrespondiert mit dem Speicherbedarf.

00:30:06: Aber wenn ich dann jetzt sehe was du vorhin erwähnt hast zum Beispiel ChatGPT oder nicht ChatGPD Entschuldigung nur GPT OSS gibt es zum Beispiel eine zwanzig B-Version von oder ne zehn b Version.

00:30:20: Da fragt man sich zuerst natürlich ja, warum soll ich denn das große Ding nehmen?

00:30:23: Ganz einfach.

00:30:25: Je mehr Parameter innerhalb einer Modellfamilie, desto besser sind tendenziell die Antworten, die man bekommt und je komplexere Fragen kann man stellen ohne dass das Modell jetzt irgendwie anfängt zu Blödsinn zu erzählen.

00:30:38: also man sollte immer versuchen möglichst ein Modellzunehmen mit so vielen Parametern, dass die Performance gerade noch erträglich ist, wie man dann am Ende daraus bekommt.

00:30:48: Dann kriegt man einfach bessere Antwort

00:30:50: Dann kriegt man bessere Antworten, schönere Bilder besser klingende Songs realistischer aussehende Videos was man halt so machen will.

00:30:59: Okay ein zweiter wichtiger Faktor ist die sogenannte Quantisierung.

00:31:02: ich glaube das hatten wir vorhin auch schon mal so ganz kurz erwähnt.

00:31:08: dabei werden also Standardmäßig werden die meisten Berechnungen bei bei LLMs in beim Training mit fp-sechzehn Genauigkeit oder biflaut sechzehnte Genauigkeit also Gleitkommazahlen mit sechzentwitt durchgeführt einzelne auch ein bisschen höher, also zweiundreißig Bit.

00:31:26: und da das aber auf ich sag mal heim PC selbst sehr gut ausgestatteten.

00:31:32: In der Regel überhaupt nicht mehr vernünftig läuft weil es einfach in keinen Speicher mehr passt gibt es davon Quantisierte Version.

00:31:40: Dabei wird dann versucht, während der Trainingsphase quasi werden bestimmte Gewichte nicht alle aber bestimmte bei denen es halt möglichst wenig ausmacht mit weniger Bits abgespeichert.

00:31:54: also da gibt es zum Beispiel dieses GpT OSS hundzwanzig b das gibt es standardmäßig in einer Mixed Precision mit vier Bit Floating Point also gleich Kommagenauigkeit Das ist der Standard.

00:32:08: Das heißt aber nicht, dass es dann irgendwie nur ein Viertel so genau ist wie eins mit sechzehn Bit.

00:32:12: Sondern da wird gesagt okay wir haben hier unser unser Basismodell mit der hohen Genauigkeit das ist die sogenannte Ground Truth.

00:32:21: und Dann wird gesagt so Wir wollen Mit unseren Antworten einen Prozentsatz Einen vorgegebenen prozent Satz von welcher ist nicht acht neunzig Prozent der Qualität quasi erreichen.

00:32:30: Und was können wir da wegoptimieren um noch bei dieser vorgegebenden Qualitäts Stufe zu bleiben?

00:32:38: Auch wenn das jetzt mxfpv heißt, da können auch teilweise fp-ya-berechnungen drin sein.

00:32:44: Da kann ganz viel integer drin sein was auch immer.

00:32:47: also dass ist dann oft ein wilder mix und da wird halt versucht nach möglichkeit überall dort wo es wenig ergebnisqualität kostet an genauigkeit zu sparen.

00:32:59: okay und weil das so ein bisschen in mix ist und eine optimierungsfrage kann man auch nicht direkt irgendwie ausreichend bei hundertzwanzig b in in mxsp macht es genauso und so viel Gigabyte oder so, sondern das hängt jeweils vom Modell ab.

00:33:12: Das kann ein bisschen schwanken.

00:33:14: in der Regel, kann man aber schon sagen dass ist so von FP-Sechzehn auf FP acht sich grob halbiert plus minus ein paar gigabyte und auf FP vier oder oder Intvier sich dann noch mal halbieren wie gesagt plusminus ein paar Gigabyte aber so grob diesen Pimal Daumenwert kann man nehmen.

00:33:37: Und wenn ich zum Beispiel in LM Studio ein Modell auswähle oder eine Modellfamilie, dann kriege ich da auch verschiedene Quantisierungstypen zur Auswahl.

00:33:48: Und dann sagt mir LM Studio aber auch direkt okay das mit so einem kleinen grünen Häkchen.

00:33:52: Das hier läuft vermutlich noch im lokalen Speicher und mit dem rotem Bubble das ja nicht mehr.

00:33:58: Was du ja schon gesagt hast.

00:33:59: Aber gibt es denn alle beliebigen KI-Modelle auch in diesen Schrummpfersionen?

00:34:04: Nein, leider nicht alle aber die Allermeisten.

00:34:09: Also die man überhaupt zur Brunterladen haben kann?

00:34:13: Die gibt's dann so.

00:34:14: Die gibt

00:34:14: es in der Regel weil sie sollen ja auch zu Hause benutzt werden und wie schon gesagt irgendwann funktioniert das dann nicht mehr.

00:34:21: wenn ich das alles nicht mehr schrumpfe dann brauche ich irgendwann hunderte von Gigabyte.

00:34:29: Du hast Python erwähnt oder PyTorch, das spielt ja eine große Rolle da in diesen Modellen.

00:34:35: Kann man sagen diese KI-Modelle sind in Python programmiert?

00:34:38: Oder ist es eine naive Vorstellung?

00:34:41: Ja, also die wird schon für die KI benutzt aber nur darin programmiert kann man eigentlich nicht sagen.

00:34:51: Aber man braucht schon die programmiersprache Python beziehungsweise die PyTorge Umgebung Und die muss man dann wie gesagt auch installieren.

00:34:59: Es wird bei diesen Tools oft mitgemacht, der AMD Treiber macht es jetzt auch.

00:35:04: und ja manchmal hat mal ein bisschen das Problem dass für bestimmte Workflows in dieser Art darf man aber nicht die allernäueste Version nehmen.

00:35:17: normalerweise geht man davon aus ich installiere die aktuelle Version da habe ich meine Ruhe Aber manche Optimierung oder Zwischenschritte sind eine ältere Version Ja, optimiert oder abgestimmt und dann funktioniert es mit der neuen leider nicht.

00:35:31: Das heißt den Tipp wieder, der Praxistipp wäre wieder erstmal das voreingestellte Nutzen und dann später die Experimente machen?

00:35:37: Genau!

00:35:38: Einfach sich ein bisschen versuchen schlau zu machen was da alles funktioniert und so und wenn man sich da komfortabel fühlt dann erst in den Expertenmodus schalten.

00:35:49: So jetzt haben wir relativ lange über alle möglichen Vorbedingungen geredet zu diesen KI-Modellen.

00:35:58: Schöner wäre es ja jetzt mal zu wissen, was du konkret ausprobiert hast.

00:36:01: Also du hast ja gerade noch gesagt man kann sich so ein bisschen an die Hand nehmen lassen und ich habe ja deinen Artikel gelesen da ging's um Amuse oder AMD-Amuse.

00:36:12: das ist glaube ich mittlerweile gar nicht mehr gibt ne?

00:36:15: Doch es gibt es noch aber es wird nicht mehr groß weiterentwickelt.

00:36:22: Das ist quasi eine Final Release was man ja sonst in der Software immer ganz gut findet, dass man sagt okay es ist keine Beta mehr aber bei KI heißt das dann... Es wird nicht weiterentwickelt und es schadet.

00:36:33: Schade!

00:36:34: Aber du hast es trotzdem mal ausprobiert?

00:36:35: Genau!

00:36:35: Das ist auch noch drin.

00:36:36: ich habe es gestern tatsächlich nochmal also Tag vor unserer Aufzeichnung hier Anfang Februar.

00:36:42: ähm Ende Februar, tschuldigung, Anfang Februars so weit sind wir schon.

00:36:47: Habe ich's auch tatsächlich normal ausprobieren.

00:36:49: das gibt´s auch immer noch mit dem Treiber und wird installiert.

00:36:53: Da kommt dann ein, wenn man das Tool installiert hat muss man hinterher noch das SDXL also Stable Diffusion XL Modell nachinstallieren.

00:37:04: Das ist aber innerhalb des Tools.

00:37:06: mit zwei Klicks erledigt es nur nochmal irgendwie fünf bis neun Gigabyte weiterer Download und dann kann man tatsächlich mit einem vorgegebenen Prompt tatsächlich mit einen einzigen Klick schon sich das erste Bild generieren lassen.

00:37:21: Und das macht's dann auf der Grafikkarte?

00:37:23: Das macht es per Vor-Einstellung auf der Grafikkarte, genau.

00:37:26: Und das hat auch relativ flott geklappt.

00:37:30: Okay was heißt relativ flot?

00:37:32: Man kriegt dann ja immer so einen Satz von mehreren Bildern zur Auswahl und vor eingestellt ist so ein Quartett also vier Bilder und das hat keine zwanzig Sekunden gedauert.

00:37:42: Okay nur um so eine grobe Vorstellung zu haben, was man da machen

00:37:45: kann.

00:37:45: Alternativ kann man auch bis zu sechs Sekunden lange kleine Videoclips sich machen lassen anzeigen generieren lassen.

00:37:52: Die dauern dann natürlich etwas enger, das sind dann ein paar Minuten.

00:37:56: Ah ja okay so lange noch.

00:37:57: Und dann dreht der Lübster von der Grafikkarte auch hoch?

00:38:00: Der

00:38:01: kann auch bei den Bildern noch nicht, dazu ist die Last einfach zu kurz.

00:38:04: Das fängt die thermische Träker der Kühlung ab.

00:38:08: aber bei den Videos muss er bedenken dass sind halt vierundzwanzig Bilder pro Sekunde mal sechs Sekunden.

00:38:13: es sind dann hier auch schon über hundert Bilder die man da erzeugt.

00:38:17: Aber wie gesagt unser PC, also euer PC-Bauverschlag ist ja natürlich flüster leise.

00:38:22: Da ist das kein Problem.

00:38:23: Genau

00:38:23: da hat sich gestört.

00:38:25: Genau.

00:38:25: aber auf jeden Fall, dass da die Grafik hatte dann auch zu tun.

00:38:29: und die wichtigste Frage ist doch waren die Bilder denn gut?

00:38:31: Die das Ding gemacht hat.

00:38:33: Jajin jajen!

00:38:34: Also es hängt ganz stark vom Prompter.

00:38:36: ich habe gesagt er ist einer vorgegeben.

00:38:39: Das Bild sah auch wunderbar aus.

00:38:41: Es war ein niedlicher kleiner Waschbär der am Strand Gitarre spielt Auf Englisch natürlich.

00:38:46: Die sind in englischer Sprache trainiert und da ist es natürlich auch sinnvoll Englisch zu prompten, um damit nicht noch Übersetzungsmalaschen passieren.

00:38:59: Dieser Waschbär sah sehr schön aus und hat auch Gitarre gespielt und war am Strand.

00:39:02: aber als ich ihm dann stattdessen eine Flöte in die Hand drücken wollte also playing the flute das hat leider überhaupt nicht mehr geklappt.

00:39:11: Da hätte man wahrscheinlich mit den Promps noch ein bisschen mehr rum experimentieren müssen.

00:39:16: Ah, okay.

00:39:16: Ist das schon mal interessant?

00:39:19: Und du hast erwähnt dass es auch Zensur eingebaut ist sozusagen?

00:39:21: Ja da sind... Also

00:39:22: die Modelle auch bestimmte Sachen nicht dürfen.

00:39:24: Da

00:39:24: ist ein Contentfilter drin was ja auch sinnvoll ist wenn man vielleicht nicht nur selber sondern das am Familienpc ausprobiert Das danach wuchs sich nicht irgendwas Schlimmes Generieren lässt.

00:39:37: Wir wollten eine niedliche kleine Mietsekatze auf Englisch Pussycat Generieren lassen und das hat schon den Contentfiltern getriggert.

00:39:45: Also da kann man sich vielleicht vorstellen, was da vielleicht die Intention hinter war.

00:39:51: So

00:39:51: Cat alleine ging?

00:39:52: Cat alleine hat funktioniert ja!

00:39:54: Gut nur um das klarzumachen.

00:39:55: Also

00:39:55: Katzenbilder gehen schon.

00:39:59: Du hast also jetzt einen sehr aufwendig installierten Katzen-Bildgenerator ausprobiert.

00:40:06: Ist schon mal interessant dein Hinweis.

00:40:07: Englische Sprache ist tendenziell besser.

00:40:10: Das heißt den Traum zu Hause auf meinem Gaming PC meine deutschen Hausaufgabenstellen zu machen Ist noch nicht so ganz optimal, oder?

00:40:18: Ja, optimal.

00:40:19: Nicht aber es wird ja offensichtlich in der Praxis auch schon ganz gut gemacht.

00:40:23: Aber da nutzen die meisten wahrscheinlich irgendwie Webdienste für.

00:40:26: Okay hast du auch Sprachmodelle ausprobiert?

00:40:29: Ja natürlich wir haben ja auch schon über drüber gesprochen.

00:40:32: Ich habe's schon glaube ich viermal falsch gesagt.

00:40:33: das heißt nicht chat GPTOS sondern GPTOSS.

00:40:38: Das wird zum Beispiel bei LM Studio In der zwanzig B-Version auch standardmäßig vorgeschlagen, dass man damit mal anfangen sollte.

00:40:48: Und das läuft auch auf der sechzehn Gigabyte Variante des Rechners.

00:40:52: also wir haben jetzt mit zwei und dreißig gearbeitet.

00:40:56: Aber wie gesagt dadurch, dass es nur Zwanzig Milliardengewichte oder Parameter hat liefert es tendenziell etwas schlechtere Antworten als eins mit hundertzwanzig.

00:41:06: Also die große Stufe mit Hundertzwundzig Milliarden Die zwanzig Milliarden Variante mit der wir angefangen haben, die passt auch ins Rahmen der Radion Grafikkarte.

00:41:16: Also sie hat ja sechzehn Gigabyte und das lieferte dann auch für unsere Anfragen...die waren jetzt nicht so komplex aber liefert es rund hundertfünfzig Token also Hundertfünftig Token pro Sekunde.

00:41:32: vielleicht sollte ich mal ganz kurz sagen wie man das vielleicht einschätzen kann?

00:41:36: Das sind jetzt nicht Wörter oder Silben.

00:41:39: Es können Silben sein, es können auch sehr kurze Wörter sein.

00:41:42: Aber das ist quasi die kleinste Einheit, die so ein KI-Modell generiert kann und verstehen kann.

00:41:49: Im Englischen geht man circa von eins Komma zwei Token pro Wort aus.

00:41:53: also wenn uns jetzt nicht so genau nimmt kann man sagen ein kurzes Wort ist ein Token vielleicht

00:41:59: Also hundertfünfzig Wörter pro Sekunde, Antwortgeschwindigkeit oder sagen wir hundertdreißig?

00:42:03: Oder so hört sich ja schon mal gut an.

00:42:05: So schnell kannst du nicht mitlesen.

00:42:06: aber andererseits gibt es ja auch Anfragen wenn man sich zum Beispiel irgendwie keine Ahnung eine Webseite programmieren lassen will oder so.

00:42:16: das sind jetzt schon etwas kompliziertere Sachen.

00:42:18: da sind die Antworten dann halt auch deutlich länger.

00:42:20: Wir haben was mit elf tausend Zeichen Programmcode generieren lassen.

00:42:24: da dauert das dann auch bei Hundertzeichen pro Sekund Bzw.

00:42:28: hundert Tokens pro Sekunde eine ganze Weile, bis es dann fertig ist.

00:42:32: Aber es hat's immerhin gemacht?

00:42:34: Es hat's gemacht!

00:42:36: Aber du hast dich probiert DrKo doch lief oder?

00:42:38: Doch habe ich auch probiert und ja das war ein bisschen iratisch.

00:42:43: also mit dem... ...Zwanzig Bevel mit der kleineren GPT OSS Version.

00:42:50: Ich wollte mir einfach nur eine Webseite mit einer Weltseituhr anzeigen also Berlin und Tokyo.

00:42:58: Zuerst waren die Zeiger, also ich wollte so Analog-Uren haben gerne.

00:43:02: Zuerste waren die zeigerunsichtbar, also dieselbe Farbe wie der Hintergrund und danach musste ich noch mal nachschärfen weil irgendeine Uhrzeit angezeigt hat.

00:43:12: Also ich muss Ihnen dann tatsächlich auch sagen bitte zeigt mir die korrekte aktuelle Zeit an.

00:43:17: Die Dinger sind auf mich ja ist klar.

00:43:18: Ja die nehmen es halt genau.

00:43:19: Achst du, ich seh in Amerika oder so.

00:43:22: Denken wir uns nach oben links, wirft das Netz aus und jetzt holen es wieder ein!

00:43:25: Du hast nicht gesagt, dass sich das irgendwie festmachen

00:43:27: soll.

00:43:27: Ja genau.

00:43:29: So kann man sich das vorstellen.

00:43:31: Wunderbar.

00:43:32: Und das Größe-Modell lief das auch?

00:43:34: Ja, das lief auch aber nicht eine Ausgangskonfiguration von dem PC weil da schon die Zweiundreißig Gigabyte Arbeitsspeicher nicht reichten von den Sechzehn Gigabyte Grafikkartenspeichern ganz zu schweigen.

00:43:47: Selbst Standardmäßige, was ich schon erwähnt hatte.

00:43:50: Vier-Bit-Quantisierung da hat das GPT OSS hundertzwanzig B alleine allein ist schon neunundfünfzig Gigabyte belegt.

00:43:58: Das geht auch mit Auslagern auf keine Coohaut mehr.

00:44:02: also man denkt dann ja ja lagert halt schon aus auf die SSD habe ich tatsächlich auch mal versucht aber nach zwei Stunden in Aktivität hab ich es dann abgebrochen.

00:44:10: Also das bleibt dann wirklich stehen sozusagen?

00:44:12: Ja weiß nicht ob's stehen blieb oder nur so langsam dass sich der Fortschritt nicht mehr beobachten ließ Aber es war jedenfalls nicht mehr praktisch nutzbar.

00:44:20: Wir haben's dann mal versucht, wir haben ja glücklicherweise auch vor der Speicherpreisexplosion noch ein bisschen mehr RAM mal eingekauft und haben unseren PC dann mal mit Vollbestückung fahren lassen also mit ... ... zwanzigfünfzig Gigabyte.

00:44:34: da ließ das dann problemlos.

00:44:36: Es waren insgesamt ... ... seventy- acht Gigabyte belegt... Also es hätten auf schon vier vierundzwanzig Gigabyte Module gereicht.

00:44:45: Da wäre man dann allerdings schon mit neunhundert Euro dabei im Moment.

00:44:49: Also alleine fürs Ram?

00:44:51: Alleine fürs Ram, ja!

00:44:52: Okay...

00:44:54: Aber wenn man dann sagt ich will nur mit sowas arbeiten, dann weiß ich nicht kann man sich vielleicht die Grafikkarte sparen und hat dann die Hälfte schon wieder raus.

00:45:01: Ja aber es läuft dann nur auf der CPU?

00:45:03: Es

00:45:05: war auch sehr langsam im Vergleich.

00:45:09: Das hast du

00:45:10: gesagt?

00:45:12: Man kann da auch so ein bisschen verteilen zwischen den CPUs.

00:45:16: Das nennt sich GPU Offload, das lässt sich in LM Studio mit so einem bequemen Schieberegler eigentlich verteilen.

00:45:23: Bei GPT OSS waren es thirty-six Layer und die kann man quasi ja so in ein Layerschritten auf die Grafikkarte schieben... Also du

00:45:37: sagst dann also dieser Layer läuft auf der Grafikarte und dieser auf der CPU sozusagen?

00:45:42: Ich kann sagen einer zwei drei vier fünf.

00:45:44: ich kann mir die nicht auswählen

00:45:46: Okay, okay.

00:45:47: Und die müssen dann aber per Pizza Express und so weiter kommunizieren?

00:45:50: Genau!

00:45:51: Das ist das große Problem.

00:45:52: also er sagt mir dann auch zwar so je nachdem wie viele Layer ich auswähle So und so viel Gigabyte sind belegt Dann kommt man vielleicht auf sechs oder sieben Layer von Sechsten dreißig.

00:46:07: Wenn ich das gemacht habe waren es dann noch etwa dreizehn Token pro Sekunde Also

00:46:12: weniger

00:46:12: als ein Zehntel und bei kurzen Anfragen mag das noch gehen und sagt, generiere mir ein Haiku oder so.

00:46:18: Die sind ja tendenziell eher etwas kürzer diese japanischen Gedichte, Kurzgedichte.

00:46:23: aber wenn ich mir irgendwie einen Programmcode ausgeben lassen will da muss sich schon bisschen Geduld verhaben.

00:46:30: Okay!

00:46:32: Da kann man sich für neunhundert Euro aber ein schönes Haikubuch kaufen wo man die einfach nachschlagen kann?

00:46:37: Ja

00:46:37: vielleicht... Oder man sorgt das komplett an irgendeinen Menschen aus.

00:46:44: Nein, also dann ist es lief.

00:46:47: Also GPT-OSS in der vierbit Quantisierung mit ungefähr dreizehn Tonken pro Sekunde.

00:46:53: Und inklusive Unterstützung durch die Grafikkarte.

00:46:57: Ah so?

00:46:57: Mit der Grafikarte eingerechnet okay.

00:46:59: Ohne es ist noch mal deutlich weniger geworden.

00:47:02: Dann ist aber der Traum das ich mir so ein PC unter Linux in die Ecke stelle fürs Büro und da sechs Leute mit arbeiten können zum Beispiel der ist dann eher tot.

00:47:09: oder

00:47:10: ja die müssten sich das dann ja quasi teilen.

00:47:13: Genau, eben das kommt ja noch dazu.

00:47:14: Also man könnte das auch als wie ein Art KI Server betreiben im Prinzip oder?

00:47:18: Theoretisch

00:47:19: könnte man das ja.

00:47:19: aber wenn die dann auch noch verschiedene Modelle... also A muss man sich Tokenrate teilen und im Idealfall und B wenn sie dann auch nochmal verschiedene Modälle der eine will Wipecoding machen und der andere will Videogenerieren lassen Dann wird es natürlich sehr schnell knapp mit dem Speicher weil die dann alle gleichzeitig im Speicher sein müssen.

00:47:42: Kann man denn so sagen, dass diese neunfünfzig Gigabyte RAM die du jetzt genannt hast, ja?

00:47:47: Die das Modell belegt hat im RAM.

00:47:52: Kann man das grob schätzen, dass es dann auch auf der Grafikkarte Neunfünftig brauchen würde?

00:47:57: Ja also der Speicherverbrauch an sich unterscheidet sich nicht großartig.

00:48:02: Okay Das heißt man müsste jetzt wenn man das beschleunigen wollte Müsste mal eine Grafikarte mit mit mit sechzig gigabyte RAM haben die ja preislich aufwendig wäre.

00:48:12: Gibt es sowas überhaupt?

00:48:13: Es gibt Grafikkarten, also auch PCR-Express-Grafikarten wie die RTX Pro six tausend, die bis zu sechsen neunzig Gigabyte sogar haben und die älteren Generation immer in achtundvierzig.

00:48:24: da kann man dann auch schon einiges auslagern aber die kosten dann halt... Also die ältere Generation kriegste schon für fünftausend Euro das Stück muss aber wie gesagt immer noch auslagert und brauchst einen dicken PC drumrum.

00:48:40: Und ja, die RTX Pro sechstausend kostet irgendwie zehntausend oder sowas.

00:48:44: Also das ist fürs Rumprobieren zu Hause eher ein bisschen überdimensioniert.

00:48:50: Das kann man vielleicht machen wenn man das betrieblich irgendwie absetzen kann und auch beruflichen konkreten Verwendungszweck hat und sagt okay Dadurch spare ich mir im Monat drei tausend Euro oder was ein für irgendwelche Agentur Aufträge oder was auch immer oder Mitarbeiterstunden, dann kann man sich das rechnen.

00:49:08: Aber fürs Rumprobieren zu Hause fällt es

00:49:10: flach

00:49:11: würde ich mal sagen.

00:49:12: also zumindest bei dem was ich mir so finanziell vorstellen kann

00:49:16: Könnte man auch zwei H-Fekarten mit einbauen stattdessen?

00:49:22: Ja und nein!

00:49:24: Also es geht.

00:49:25: theoretisch und praktisch ist das.

00:49:28: allerdings hat Nvidia irgendwann auch bemerkt dass man ja auch mehrere billige Grafikkarten koppeln kann.

00:49:33: die hatten ja auch mal lange Zeit SLI, so ein Modus für das Gaming dass die zusammenarbeiten konnten.

00:49:40: Ja der SLI-Stärker stimmt.

00:49:42: Genau aber den haben sie ja irgendwann bis auf die teuersten Varianten.

00:49:46: ich glaube die vierzig neun ... Die dreißig neunzig hatte noch den dann NVLink genannten Verbinder.

00:49:52: da konnte man halt zwei, vierundzwanzig Gigabyte Karten verbinden.

00:49:55: Aber dann haben Sie den aus den normalen Karten rausgekegelt.

00:50:00: Das heißt, also man müsste dann ja auch ein Board haben mit zweimal PC-Express-Fünf am besten und... ...sechzehn Lanes.

00:50:06: Da sind hier dann schon die Workstation Boards.

00:50:08: Dann wirst du es in der Workstation Prozesse so haben.

00:50:10: Dann brauchst du auch das RAM was ja zum Teil Registers ist.

00:50:13: Also das ist nicht einfach da auf einer anderen Plattform zu wechseln ne?

00:50:16: Nee, also dann wird's sehr schnell sehr sehr teuer her.

00:50:20: Okay!

00:50:21: Und die größten Gaming Grafikkarten, die haben vierundzwanzig Gigabyte.

00:50:25: Würde in dem Fall gar nicht... Ahja, das würde aber in dem fall nichts helfen.

00:50:29: Das wird in dem Fall nix helfen, weil man halt immer noch deutlich unter den unter den sixty ist.

00:50:36: Also man könnte dann mehr Läher beschieben, aber eben nicht alle

00:50:44: genau.

00:50:45: Hast du denn nochmal mit einer anderen Grafikkarte was ausprobiert?

00:50:48: Ich hab mit mehreren Grafikkarten rumprobiert, allerdings habe ich mir da nicht die Performance großartig notiert.

00:50:54: Also es war halt so, sobald das Modell komplett in den Grafikspeicher reinpasst wird die Performance unglaublich viel schneller.

00:51:03: also selbst wenn man nur zehn Prozent oder so auf die CPU auslagert durch dass viele hin und her geschiebe an Daten Und die muss man sich ja vorstellen Das wird nicht einmal irgendwie zurück kopiert dafür wer PCI Express schnell genug irgendwie Das würde noch gehen, aber es müssen ja unglaublich häufig winzige Mengen an Daten rumgeschoben werden.

00:51:32: Und da kommt dann auch die hohe Latents ins Spiel und das... ...killt dann die Performance selbst immer nur wenige Gigabyte hin- und

00:51:39: herschiebt.".

00:51:41: Okay!

00:51:42: Jetzt hast du ja auch ein paar Benchmark gemacht in deinem Artikel mit verschiedenen Karten und Modellen?

00:51:48: Das wird ja schnell sehr, sehr unübersichtlich und wir sind ja nur ein Audio Format.

00:51:53: Also ich möchte jetzt nicht das du die Tabelle mir vorliest aber mir geht es darum damit man mal so einen Gefühl kriegt wie die Performance Unterschiede sind.

00:52:00: Wir haben jetzt schon gesehen Modell passt der Speicher oder nicht ungefähr Faktor zehn oder sogar mehr zwischen den verschiedenen Grafikkarten.

00:52:08: Du hast einerseits gesagt naja das geht mittlerweile eigentlich auch auf Karten von AMD und Intel ziemlich gut

00:52:15: Genau.

00:52:15: Andererseits habe ich gesehen, dass die Balken sehr unterschiedlich lang sind bei dir.

00:52:20: Das stimmt.

00:52:20: Also

00:52:22: wie groß sind denn die Performance-Unterschiede jetzt?

00:52:25: Die sind schon sehr groß – nicht nur zwischen Nvidia und anderen Karten sondern auch innerhalb der Nvidia-Rige sozusagen.

00:52:33: Es geht von Faktor zwei bis Faktore zwanzig.

00:52:37: Ja, das ist schon deutlich.

00:52:39: Aber das ist nicht nur alleine die reine Rohleistung der jeweiligen Karte oder die Speichergröße sondern es hängt auch davon ab ob jetzt zum Beispiel eine bestimmte Optimierung verfügbar ist.

00:52:51: Ob jetzt bei einem bestimmten Benchmark UL ProSion zum Beispiel, ob der Test dann die generische Windows-Schnittstelle DirectML, Direct Machine Learning benutzt.

00:53:05: Das ist bei weitem nicht so gut optimiert, wie die herstellerspezifischen Schnittstellen.

00:53:10: Also

00:53:11: das heißt der Unterschied liegt sozusagen gar nicht so sehr zwischen CUDA und AMD ROKM sondern zwischen Hersteller spezifische Schnittstelle oder eben Standard-Schnittställe?

00:53:22: Ja also der Speedup ist zwischen DirectML und der jeweiligen hersteller Spezifischen-Schnittstelle ist teilweise enorm.

00:53:30: Da hat Nvidia auch ein bisschen noch einen Vorteil sogar obwohl sie sehr gute Hersteller-Software haben, dass sie unter DirectML nicht so stark abfallen.

00:53:41: Ah okay!

00:53:42: Das heißt, sieht man das denn in deinem LM Studio was in welcher Optimierung verfügbar ist?

00:53:49: Im LM Studio nutzt PyTorch und TensorRT und ich glaube unter Linux auch RockM.

00:53:59: aber OpenVINO muss man noch nachinstallieren.

00:54:02: Das heißt also für Intel wäre das... Also man muss dann mit den, die Performanceoptimierung kann man nicht irgendwie nachinstallieren.

00:54:09: Sondern das hängt vom Modell dem Treiber und

00:54:12: den Zusammenwirken abstand.

00:54:14: Ah okay!

00:54:15: Das macht es ja sehr komplex.

00:54:17: Im Idealfall sucht man sich eine Kombi zusammen, die für einen gut funktioniert und benutzt die dann Weilchen.

00:54:26: Okay.

00:54:29: Vertrackt das heißt deswegen kann man auch eben so gut wie keine Empfehlungen für ein KI PC geben, wenn man nicht weiß welches Modell und da ständig neue modelle kommen.

00:54:37: Kann man auch nicht vorher sagen Wie das weitergeht.

00:54:41: also ist man am ende doch wieder bei der Nvidia Karte oder nicht?

00:54:44: Wenn du sagst meistens geht's dargestellt.

00:54:46: Also im moment würde ich noch sagen ja es ist.

00:54:49: wenn man auf Nummer sicher gehen will Und für alle fälle gerüstet sein wird ist dass die die sicheste option aber ohne garantie.

00:54:58: Also das würde ich sagen die Wahrscheinlichkeit am höchsten, dass es auch in Zukunft noch flutscht.

00:55:03: Okay

00:55:05: also die Benchmarks du hast jetzt Benchmark gemacht sie fangen den Stand was weiß ich ungefähr so im Januar zwahltausend sechsundzwanzig ein.

00:55:13: aber wie ist dann sozusagen mit neuen Treibern anderen Modellen anderer Quantisierung anderem LM Studio in März aussieht?

00:55:22: kann sich wieder etwas

00:55:24: anders ändern?

00:55:25: ja Also das Wahrscheinlichste ist, dass wenn es noch irgendwo einen großen Rückstand von AMD oder Intel gibt.

00:55:31: Das ist wahrscheinlich ein bisschen kleiner wird als das Nvidia jetzt massiv davonzieht.

00:55:37: Okay, das ja schon mal was!

00:55:39: Es gibt aber noch andere Parameter habe ich mal gesehen die man einstellen kann.

00:55:43: Irgendwie das Input Window und das Output Window... Was dann auch die maximale Größe der Ein- und Ausgabe also was da so rauskommt verdreht.

00:55:54: Hat das nennenswerte Performance Auswirkung?

00:55:58: Ja, dass kann Auswirkungen haben.

00:56:00: Besonders wenn man jetzt sagt, das Input Window muss sich größer machen also die Eingabe.

00:56:05: Wenn ich jetzt selber irgendeine Anfrage tippe wie keine Ahnung Wie ist denn der aktuelle Stand der weiß ich nicht Masernforschung oder so dann habe Ich ja relativ kurzen Eingabestring.

00:56:21: Aber wenn ich jetzt sage, analysier mir diese sieben PDFs die jeweils noch wie dreihundert mw groß sind.

00:56:26: Dann sind diese ganzen Daten in den pdf ja quasi der Eingabe string.

00:56:32: Die muss ich dann in das in das llm geben muss und Das kann schon deutlich Auswirkungen auf die performance haben.

00:56:38: Ja

00:56:39: Okay Und dass kann auch nicht jedes modell beliebig große eingaben.

00:56:44: Nein da gibt es Grenzen die sind zwar relativ hoch aber irgendwann stößt man an die grenzen.

00:56:48: Ich glaube da ist es tatsächlich Eine sehr individuelle Sache, da muss man ein bisschen rumexperimentieren, rumprobieren.

00:56:58: Was noch geht und was mit welchem Modell geht?

00:57:00: Also da gibt es einfach so viele verschiedene Kombinationen dass man die nicht alle in einem einzigen Artikel abbilden kann und sagen an so das ist diese... Das ist die optimale Lösung für alle eure KI-Wünsche!

00:57:15: Okay, aber du hast ja gesagt das ist ja die gute Nachricht.

00:57:17: wenn man jetzt halt zufällig so in einigermaßen aktuellen pc mit der sechzehn gigabyte gaming gpu hat die auch sagen wir nicht viel älter als fünf sechs jahre sein sollte dann kann man auf jeden fall schon mal loslegen und selber ausprobieren

00:57:30: genau los legen auf jeden Fall und Ausprobieren und es schön ist wenn man das macht kostet es außer download volumen und Strom ja eigentlich nichts.

00:57:38: erst einmal man ist da also und natürlich zeit.

00:57:42: Aber wenn einem das Spaß macht, kann man sich da erstmal ganz gut Vergnügen Erfahrungen sammeln und auch gucken was geht mit der eigenen Hardware.

00:57:49: Was nicht?

00:57:50: Das würde ich jedem raten, der da Lust zu hat.

00:57:53: Erst mal viel Geld investiert.

00:57:57: Und genau die Daten bleiben in erster Nähe im Haus.

00:58:00: also

00:58:00: ja erstmal Ja genau wer ganz vorsichtig ist zieht hinterher noch den Netzwerkstecker so wenn das LM runtergeladen ist auf Nummer sicher gehen.

00:58:13: Okay, Carsten das war sehr ausführlich und hat glaube ich doch viele Einblicke gebracht.

00:58:19: irgendwie vertragt das ganze immer noch ist obwohl die Installation an sich nicht mehr das große Problem ist.

00:58:26: man kann sehr schöne Waschbären was spielt der Gitarre am Strand?

00:58:30: Gitarrenkontakt

00:58:31: spielen?

00:58:32: Aber Flöte spielen ist noch schwierig.

00:58:33: Das ist der Stass der

00:58:34: Dirkai auf dem Garten

00:58:37: Und du hast eine Web Anwendung mit Leider unsichtbaren Zeigern und der falsche Uhrzeit, aber also später hat sie ja dann

00:58:45: funktioniert.

00:58:45: Man muss

00:58:46: auch

00:58:46: ein bisschen dranbleiben?

00:58:48: Ja ich wollte es auch nicht!

00:58:49: Es war jetzt nur ein Scherz.

00:58:51: Ich will das nicht kaputtreden Also ist faszinierend offenbar.

00:58:55: Und danke für das Gespräch Carsten.

00:58:58: Ja vielen Dank auch dass sich da mal etwas zu sagen durfte.

00:59:02: Vor allem danken wir beide aber ihnen die Bezuhörerinnen und Zuhörers für ihr Interesse.

00:59:08: Wir freuen uns über Feedback am liebsten per Mail an bit-rauschenetct.de.

00:59:14: Und wenn Sie jetzt noch mehr Lust auf Podcasts haben, dann finden sie ganz viel Auswahl unter heise.de.

00:59:22: Ganz zum Schluss auch herzlichen Dank an unseren Producer Ralf und wir sagen Tschüss und bis zur nächsten Folge von Bit Rauschen jeden zweiten Mittwoch ganz früh am Morgen!