KI verändert KI: Wie GPT-6 Astra ein Sprachmodell ohne Training verbessert hat

Stand: 4. November 2026, auf Basis der Veröffentlichung vom 2. November 2026.

Was sind die Gewichte eines KI-Modells?

Ein Sprachmodell wie GPT, Qwen oder Llama besteht im Kern aus einem neuronalen Netzwerk mit Millionen oder Milliarden numerischer Parameter. Diese Parameter werden als Gewichte bezeichnet.

Vereinfacht gesagt bestimmen Gewichte, wie stark verschiedene Informationen innerhalb eines neuronalen Netzes miteinander verknüpft sind und wie sie dessen Ausgaben beeinflussen.

Man kann sich das wie ein sehr komplexes System aus unzähligen Reglern vorstellen. Jeder Regler beeinflusst einen kleinen Teil der Berechnung. Erst das Zusammenspiel aller Regler führt dazu, dass ein Modell Sprache versteht, Texte generiert oder mathematische Aufgaben löst.

Ein einzelnes Gewicht ist dabei meistens nicht direkt interpretierbar. Es gibt beispielsweise keinen bestimmten Regler, der ausschliesslich für Mathematik oder Deutsch zuständig ist. Fähigkeiten entstehen typischerweise aus dem Zusammenspiel vieler Komponenten.

Das ist einer der Gründe, weshalb grosse KI-Modelle bis heute in vielerlei Hinsicht als Blackbox gelten. Wir können ihre Leistung messen, aber oft nicht vollständig erklären, wie einzelne interne Berechnungen zu einem bestimmten Verhalten führen.

Wie werden Gewichte normalerweise angepasst?

Damit ein neuronales Netz eine Aufgabe erlernen kann, werden seine Gewichte während des Trainings schrittweise optimiert. Das geschieht üblicherweise durch ein Verfahren namens Gradient Descent, also Gradientenabstieg. Vereinfacht läuft das in fünf Schritten ab.

1. 1.
   Das Modell erhält Trainingsdaten und berechnet eine Ausgabe.
2. 2.
   Eine Verlustfunktion (Loss Function) misst, wie stark diese vom gewünschten Ergebnis abweicht.
3. 3.
   Mithilfe von Gradienten wird berechnet, welche Gewichte in welche Richtung verändert werden sollten, um den Fehler zu reduzieren.
4. 4.
   Ein Optimierungsalgorithmus passt die Gewichte entsprechend an.
5. 5.
   Dieser Prozess wiederholt sich über sehr viele Trainingsschritte.

So entsteht aus einem anfänglich weitgehend zufällig initialisierten neuronalen Netzwerk nach und nach ein leistungsfähiges KI-Modell.

Auch beim Fine-Tuning funktioniert dieses Prinzip. Statt ein neues Modell von Grund auf zu trainieren, verwendet man ein bereits trainiertes Modell und passt es mit zusätzlichen Daten an eine bestimmte Aufgabe an.

Wir haben das bei apexAI selbst gemacht und OpenAI Whisper Large-v3 für Schweizerdeutsch fine-getunt. Dafür verwendeten wir 180'000 Audio-Samples und trainierten das Modell rund 5.5 Stunden auf einer NVIDIA A100 GPU. Die Gewichte wurden dabei durch einen klassischen Optimierungsprozess angepasst. Wie das im Detail ablief, steht in Whisper für Schweizerdeutsch.

Entscheidend ist, wer die Gewichte verändert. Normalerweise berechnet ein Optimierungsalgorithmus anhand der Trainingsdaten, wie sie sich verändern müssen. Entwicklerinnen und Entwickler legen das Training fest, bearbeiten aber nicht selbst gezielt einzelne Gewichtsmatrizen, um eine bestimmte Schwäche zu korrigieren.

Genau hier setzt die neue Forschung an.

Was ist Weight-Space Programming?

Die vier MIT-Forscher Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab wollten herausfinden, ob ein leistungsfähiges Sprachmodell die Gewichte neuronaler Netze selbst verstehen und bearbeiten kann. Dafür verwendeten sie GPT-6 Astra, das Spitzenmodell, das OpenAI am 3. September 2026 veröffentlicht hat. Astra selbst ist nur über OpenAI nutzbar, seine Gewichte sind nicht öffentlich. Bearbeitet hat es ausschliesslich Netze mit offenen Gewichten, eigene kleine Netze der Forscher sowie die Open-Weight-Modelle Qwen und Gemma.

Statt ein Modell mit Tausenden Trainingsbeispielen schrittweise zu optimieren, erhält Astra Einblick in dessen interne Parameter und eine Beschreibung der gewünschten Veränderung. Astra soll anschliessend selbst herausfinden, welche Teile des Netzwerks für ein bestimmtes Verhalten verantwortlich sind und wie sich diese gezielt verändern lassen.

Die Forscher nennen diesen Ansatz Weight-Space Programming.

Das ist unorthodox, weil die Gewichte eines neuronalen Netzes bisher primär als Ergebnis eines mathematischen Optimierungsprozesses betrachtet wurden. Bei Weight-Space Programming werden sie dagegen zu etwas, das ein Sprachmodell direkt analysieren und bearbeiten kann, vergleichbar mit einem Entwickler, der einen Fehler im Programmcode sucht und korrigiert.

Wichtig ist eine Abgrenzung. Astra hat die Gewichte nicht ausschliesslich durch das Lesen einer riesigen Zahlenliste verändert. Je nach Experiment durfte es Python verwenden, Berechnungen durchführen und eine begrenzte Zahl von Testdurchläufen mit dem Modell ausführen, in der Arbeit Forward-Passes genannt. Nicht erlaubt waren klassische Trainingsschleifen und gradientenbasierte Optimierung.

Was haben die Forscher konkret getestet?

Die Veröffentlichung umfasst acht Experimente. Sie prüfen drei Fähigkeiten. Kann ein Sprachmodell Gewichte lesen, bestehende Netze reparieren und neue Netze direkt schreiben? Drei Experimente zeigen das besonders anschaulich.

Erkennen, was ein neuronales Netz gelernt hat

Zunächst erhielt Astra die Gewichte von vier kleinen neuronalen Netzen, die jeweils für ein anderes Computerspiel trainiert worden waren, nämlich Breakout, Pong, Pac-Man und Freeway.

Alle vier Netzwerke besassen dieselbe Architektur mit jeweils 17'253 Gewichten. Astra erhielt keine Liste der möglichen Spiele.

Trotzdem konnte es alle vier Netze dem richtigen Spiel zuordnen, allein anhand ihrer Parameter.

Das deutet darauf hin, dass ein leistungsfähiges Sprachmodell aus den numerischen Strukturen eines neuronalen Netzes Rückschlüsse auf dessen erlerntes Verhalten ziehen kann.

Ein fehlerhaftes Netzwerk reparieren

In einem weiteren Experiment untersuchten die Forscher ein neuronales Netz, das ein Fahrzeug über eine Rampe steuern sollte.

Obwohl das Netz bereits mit einer Milliarde Trainingsschritten optimiert worden war, scheiterte es an der Aufgabe. Das Fahrzeug fuhr direkt auf die Rampe zu und blieb stecken. In 256 Versuchen kam es kein einziges Mal hinüber.

Astra erhielt die Gewichte, eine Beschreibung der Umgebung und einen aufgezeichneten Durchlauf. In einem einzigen Anlauf und ohne Werkzeuge veränderte es gezielt 3.5 % der Gewichte. Dabei ergänzte es einen kleinen zusätzlichen Pfad im Netzwerk, der Position und Geschwindigkeit des Fahrzeugs auswertet. Das Fahrzeug setzt jetzt zuerst zurück und fährt dann mit voller Kraft los.

Danach schaffte es das Fahrzeug in allen 1'024 Testdurchläufen.

Bemerkenswert ist, dass Astra die bestehende Steuerung nicht vollständig ersetzen musste. Es ergänzte gezielt das fehlende Verhalten.

Ein neuronales Netz ohne Training erstellen

Die Forscher gingen noch einen Schritt weiter.

Sie gaben Astra die Regeln und den Quellcode von drei einfachen Computerspielen sowie die Architektur eines neuronalen Netzes, dessen Gewichte zunächst alle auf null gesetzt waren.

Astra sollte die Gewichte direkt so festlegen, dass das Netzwerk die Spiele möglichst gut spielen konnte.

Ohne Trainingsdaten, Gradienten oder Testdurchläufe erzeugte es funktionierende Netzwerke. Sie erzielten in allen drei Spielen bessere Ergebnisse als Vergleichsmodelle nach 100 Millionen Trainingsschritten mit PPO, einem verbreiteten Verfahren des bestärkenden Lernens.

Beim Spiel Breakout übertraf Astras Netzwerk sogar ein Vergleichsmodell mit 500 Millionen Trainingsschritten um mehr als das Zwanzigfache.

Das bedeutet nicht, dass sich damit beliebige komplexe Modelle ohne Training erstellen lassen. Die getesteten Spiele waren vergleichsweise einfach und ihre Regeln vollständig bekannt. Es zeigt aber, dass ein Sprachmodell bestimmte Aufgaben unmittelbar in die numerische Struktur eines neuronalen Netzes übersetzen kann.

Wie hat GPT-6 Astra das Sprachmodell Qwen verbessert?

Besonders interessant wird die Forschung beim Sprachmodell Qwen3.5-0.8B.

Dieses Modell besitzt rund 800 Millionen Parameter und ist damit deutlich komplexer als die zuvor untersuchten Spielnetzwerke.

Die Aufgabe an Astra war einfach formuliert. Es sollte die mathematischen Fähigkeiten dieses Modells verbessern, indem es die Gewichte direkt bearbeitet, ohne Training und ohne Gradienten.

Astra erhielt Zugriff auf die Gewichte über eine Python-Umgebung und durfte das Modell mit Übungsaufgaben testen. Der Trainingsprozess selbst blieb verboten.

Bei der Untersuchung stellte Astra fest, dass Qwen häufig in sogenannte Reasoning Loops geriet.

Das Modell wiederholte Teile seiner eigenen Gedankengänge immer wieder, statt zu einer abschliessenden Antwort zu gelangen. Bei vielen Mathematikaufgaben erreichte es dadurch das maximale Ausgabelimit, ohne eine Lösung zu liefern.

Astra verfolgte dieses Verhalten auf eine bestimmte Richtung in den Gewichtsmatrizen der Schichten 15 und 19 zurück.

Anschliessend entfernte es gezielt den entsprechenden Anteil aus jeweils 64 Ausgabespalten dieser Schichten.

Insgesamt wurden dadurch 131'072 Gewichte verändert.

Bei rund 800 Millionen Parametern entspricht das lediglich 0.016 % des gesamten Modells.

Die Resultate

Quelle: Takehi et al. (2026), Experiment 8. Werte mit 50 erlaubten Forward-Passes, bei identischen Sampling-Einstellungen für das ursprüngliche und das angepasste Modell.

Das Modell erreichte damit im MATH-500-Benchmark rund die sechsfache ursprüngliche Leistung. Gleichzeitig stieg die Fähigkeit, Anweisungen korrekt zu befolgen, auf fast das Dreifache.

Astra hatte den Auftrag, die Mathematik zu verbessern. Dass das Modell nun auch Anweisungen besser befolgt, ergab sich zusätzlich, weil die Schleifen nicht auf Mathematik beschränkt waren.

Allerdings muss man die Zahlen richtig interpretieren.

Astra hat dem Modell nicht plötzlich umfangreiches neues mathematisches Wissen beigebracht. Es hat vor allem einen internen Mechanismus korrigiert, der Qwen daran hinderte, seine bereits vorhandenen Fähigkeiten zuverlässig einzusetzen. Das ist ein wichtiger Unterschied.

Wo liegen die Grenzen?

Dass dieser Ansatz bereits klassisches Fine-Tuning ersetzen könnte, lässt sich aus den Experimenten nicht ableiten.

Schon beim Qwen-Experiment hing viel vom Testbudget ab. Mit 10 oder 25 erlaubten Forward-Passes stieg der MATH-500-Wert nur auf 12.3 % beziehungsweise 14.1 %, und die Schleifen gingen kaum zurück. Der grosse Sprung kam erst mit 50.

Offen bleibt auch, ob der Eingriff bei Qwen an anderer Stelle etwas gekostet hat. Laut Arbeit wurde das Modell auf acht Benchmarks ausgewertet, veröffentlicht sind die Werte von dreien.

Die Forscher untersuchten zusätzlich Gemma 3 270M, ein kleineres Sprachmodell, das deutlich seltener in solchen Gedankenschleifen stecken bleibt. Nur 8.5 % seiner Antworten erreichen das Tokenlimit, bei Qwen waren es 93 %.

Astra sollte auch hier die mathematische Leistung durch direkte Gewichtsanpassungen verbessern.

Das gelang nicht überzeugend. Während Qwen vor allem durch ein klar identifizierbares Fehlverhalten eingeschränkt war, machte Gemma gewöhnliche Denkfehler, etwa falsche Rechnungen oder ungültige algebraische Umformungen. Dahinter stand kein einzelner störender Mechanismus, den man hätte abschalten können.

Die Anpassungen veränderten den MATH-500-Wert nur geringfügig, von 6.8 % auf höchstens 7.7 %. Die Forscher konnten keinen belastbaren Fortschritt nachweisen.

Der Versuch verdeutlicht die bisherige Grenze. Ein vorhandenes, aber störendes Verhalten zu korrigieren, ist offenbar etwas anderes, als einem Modell eine neue Fähigkeit beizubringen.

Auch beim Lesen von Gewichten stösst Astra an Grenzen. In einem weiteren Experiment sollte es erkennen, welche von zwei Varianten eines Sprachmodells den Nutzern nach dem Mund redet. Allein aus den Gewichten gelang das in keinem von vier Versuchen. Erst als Astra das Modell mit selbst geschriebenen Texten testen und dabei dessen Aufmerksamkeitsmuster auswerten durfte, fand es in allen drei Paaren die richtige Variante.

Hinzu kommt, dass die Untersuchung noch jung ist. Die Experimente wurden mit einem besonders leistungsfähigen Sprachmodell durchgeführt. Wie zuverlässig andere Modelle diese Aufgaben lösen und wie gut sich der Ansatz auf wesentlich grössere Netzwerke übertragen lässt, ist offen. Die Autoren bezeichnen die heutigen Fähigkeiten selbst als vielversprechend, aber begrenzt, unter anderem wegen der Kontextlänge.

Zu den Rechenkosten im Vergleich zu klassischem Fine-Tuning macht die Arbeit keine Angaben. Weniger veränderte Gewichte bedeuten nicht automatisch einen günstigeren Optimierungsprozess.

Wie unterscheidet sich Weight-Space Programming vom Fine-Tuning?

Beide Wege verändern die Gewichte eines Modells. Sie unterscheiden sich darin, wer entscheidet, was sich ändert, und wie viel.

Eigene Gegenüberstellung auf Basis von Takehi et al. (2026).

Was könnte das für die Zukunft des Fine-Tunings bedeuten?

Wenn sich Weight-Space Programming weiterentwickelt, könnte sich verändern, wie wir KI-Modelle anpassen und betreiben.

Heute besteht die typische Antwort auf unzureichende Modellqualität darin, Trainingsdaten zu sammeln, ein Fine-Tuning durchzuführen oder auf ein grösseres Modell zu wechseln.

Künftig könnte ein weiterer Weg hinzukommen. Ein leistungsfähiges KI-System untersucht das bestehende Modell, identifiziert eine konkrete Schwäche und korrigiert sie direkt.

Daraus ergeben sich mehrere interessante Möglichkeiten.

• Fehlverhalten, die sich auf einzelne Komponenten zurückführen lassen, könnten gezielt korrigiert werden, ohne grosse Teile des Modells neu zu optimieren. Die Autoren sehen darin auch einen Weg, das sogenannte katastrophale Vergessen zu vermeiden, bei dem ein Modell durch Fine-Tuning Fähigkeiten verliert, die es vorher hatte.
• Für klar abgegrenzte Anpassungen könnten umfangreiche neue Trainingsdatensätze teilweise überflüssig werden. Ob damit insgesamt Kosten gespart werden, muss sich allerdings erst zeigen.
• Wenn KI-Modelle interne Gewichte interpretieren können, könnte das helfen, problematische Verhaltensweisen, unerwünschte Muster oder bestimmte Sicherheitsrisiken aufzuspüren.
• Unternehmen könnten Open-Weight-Modelle künftig möglicherweise präziser verändern, statt sie für jede neue Anforderung erneut zu trainieren.

Die Voraussetzung dafür ist allerdings, dass Änderungen reproduzierbar sind und nicht an anderer Stelle unerwartete Qualitätsverluste verursachen. Gerade bei produktiven KI-Systemen bleibt eine umfassende Evaluation unverzichtbar. Wie sich die Wirkung einer KI-Lösung im Betrieb messen lässt, zeigen wir in Woran ihr erkennt, ob KI in eurem Betrieb wirklich etwas verändert hat.

Unsere Einordnung bei apexAI

Wir beschäftigen uns bei apexAI selbst mit dem Fine-Tuning von Open-Weight-Modellen, unter anderem für die schweizerdeutsche Spracherkennung.

Aus dieser Perspektive finden wir vor allem einen Aspekt der Forschung bemerkenswert. Ein Modell zu verbessern, heisst nicht zwingend, dass es mehr lernen muss. Manchmal muss man zuerst verstehen, was es daran hindert, seine vorhandenen Fähigkeiten einzusetzen.

Bisher löst man solche Probleme meist mit weiteren Trainingsdaten, Anpassungen am Trainingsprozess oder zusätzlichen Optimierungsschritten.

Weight-Space Programming eröffnet zumindest die Möglichkeit, solche Probleme künftig direkter zu untersuchen.

Für unsere Arbeit bedeutet das noch keine unmittelbare Veränderung. Die vorhandenen Resultate reichen nicht aus, um klassische Fine-Tuning-Verfahren in produktiven Projekten zu ersetzen.

Wir sehen darin aber eine Forschungsrichtung, die wir weiterverfolgen werden. Insbesondere bei kleineren, spezialisierten Open-Weight-Modellen könnten gezielte, überprüfbare Gewichtsanpassungen langfristig eine interessante Ergänzung zum Training darstellen.

Für Unternehmen, die KI im Alltag einsetzen, steckt darin eine Lehre, die schon heute gilt. Liefert eine KI-Lösung schwache Ergebnisse, lohnt es sich, zuerst die Ursache zu suchen, bevor man auf ein grösseres Modell wechselt oder mehr Daten sammelt. Oft liegt sie an einer konkreten Stelle im Ablauf, etwa bei fehlenden Informationen, unklaren Vorgaben oder einem Prozessschritt, der nicht passt. Dann hilft ein grösseres Modell wenig.

Fazit

Die Arbeit aus dem MIT zeigt, dass ein leistungsfähiges Sprachmodell unter bestimmten Bedingungen die Gewichte anderer neuronaler Netze analysieren, gezielt verändern und dadurch deren Verhalten deutlich verbessern kann. Das eindrücklichste Beispiel ist Qwen3.5-0.8B, verbessert durch die Anpassung von nur 0.016 % seiner Gewichte.

Dass neuronale Netze künftig ohne Training auskommen, belegt die Arbeit dagegen nicht.

Noch ist Weight-Space Programming ein experimenteller Forschungsansatz mit klaren Grenzen. Lässt er sich auf grössere Modelle und komplexere Aufgaben übertragen, könnte daraus eine neue Methode entstehen, KI-Systeme zu verstehen, zu reparieren und weiterzuentwickeln.

Vielleicht werden wir die Gewichte von KI-Modellen künftig ähnlich untersuchen und bearbeiten wie heute Programmcode.

Häufige Fragen zu Weight-Space Programming

Quellen und weiterführende Links

• Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab, MIT CSAIL, 2. November 2026
• Experimentprotokolle und Code zur Veröffentlichung auf GitHub
• Weight-Space Programming: How LLMs Read and Edit Neural Network Weights, Einordnung von DataCamp, 3. November 2026
• GPT-6 Astra, Ankündigung von OpenAI, 3. September 2026
• Whisper für Schweizerdeutsch: State-of-the-Art Spracherkennung als Open-Source, apexAI

Über apexAI

Wir helfen Organisationen dabei, künstliche Intelligenz gezielt einzusetzen, um konkrete geschäftliche Herausforderungen zu lösen und Chancen zu nutzen, die im Tagesgeschäft sonst untergehen.

Wollt ihr wissen, wo KI in eurem Betrieb heute schon etwas verändern kann? Macht den kostenlosen KI-Readiness-Check: 10 Fragen, 3 Minuten, eine konkrete Standortbestimmung.