Kleine KI-Modelle für PC & Notebook | Bit-Rauschen 2025/15

Shownotes

Der Hype um Künstliche Intelligenz wurde von großen Sprachmodellen gezündet. Wie deren Name schon andeutet, fressen sie gewaltige Mengen Rechenleistung und laufen daher in Rechenzentren, also in der Cloud.

Folglich gibt man seine Daten aus der Hand, wenn man sie benutzt. Grundsätzlich geht das auch anders, indem man KI lokal betreibt, also auf Desktop-PC, Notebook, Smartphone oder sogar NAS oder Homeserver. Weil derartige Hardware jedoch weniger Rechenleistung, Arbeits- und Massenspeicher hat, kann sie nur kleinere KI-Modelle bewältigen.

Einige gibt es schon, beispielsweise zur Bilderzeugung oder zur Transkription von Audio-Aufnahmen in Text. Von vielen Large Language Models (LLMs) gibt es zwar verkleinerte Versionen, die auf einem Notebook laufen, aber viel schlechter.

Die c’t-Redakteurin Andrea Trinkwalder erklärt im Gespräch mit ihrem Kollegen Christof Windeck, welche lokalen KI-Modelle es gibt, wie man große Modelle schrumpft und was dabei kaputtgeht. Folge 2025/15 von „Bit-Rauschen, der Prozessor-Podcast von c’t“.

Alle Podcast-Folgen sowie auch alle c’t-Kolumnen "Bit-Rauschen" finden Sie unter ct.de/bit-rauschen

Noch mehr Lust auf Podcasts? Hier finden Sie noch viele weitere aus dem Heise-Universum: Hören Sie von uns – unsere Podcasts

Kommentare (1)

Torsten Behne

‧
Hallo Podcast Team, ich habe eben den ersten Teil eures Podcasts gehört und habe ien paar Kommentare dazu. Als erste stelle ich ein paar Fragen: Was ist KI? Und ab wann kann man von Inteligenz reden? Und gibt es schon jetzt KI? Kommentare: Sie haben bei der Beschreibung der KI selber von Wahrscheinlichkeit geredet. Ist die aktuelle KI also des Ergebnis von Wahrscheinlichkeiten? Wo ist das den dann Inteligent? Ich will nicht sagen das die Reaktionen nicht beeindruckend sind, aber ist das schon etwas das weiter geht als Wahrscheiblichkeit? Wenn ich über legen wie meine Patenkind gelernt hat z.B. Katzen zu erkennen, dann ist mir aufgefallen das er nicht veiele Katzen sehen musste um auch andere Katzen zu erkennen. In den Modernen KI Systemen werden viele Milliarden Trainings inputs benötigt um einem System bei zu bringen etwas zu erkennen (Quelle: aktueller Podcast). Reichst das schon aus etwas als Inteligent zu bezeichnen? Viele Grüße und einen schönen Tag Torsten Behne

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.