GPT-6 Astra verändert die Gewichte des Sprachmodells Qwen

Was Astra an Qwen verändert hat

Gewichte sind Zahlen in einem neuronalen Netz. Sie beeinflussen, wie das Modell Eingaben verarbeitet und welche Ausgaben es erzeugt. Beim Training passen mathematische Optimierungsverfahren diese Werte normalerweise an. Im Versuch der Autoren sollte Astra sie stattdessen gezielt selbst verändern.

Das untersuchte Qwen-Modell neigte dazu, bei Aufgaben in Wiederholungsschleifen zu geraten, in denen es denselben Text ausgab, ohne zur Antwort zu kommen. Die Forschenden berichten, dass Astra eine Ursache dafür in den Gewichten ausmachte und 0,016 Prozent davon änderte. Anschließend verbesserte sich das Ergebnis im MATH-500-Test deutlich. Auch beim Befolgen von Anweisungen meldet das Team einen Zuwachs (IFEval: von 21,0 auf 62,3 Prozent).

Die Zahlen gelten nur für dieses Modell und die beschriebenen Testbedingungen. Die Autoren ordnen selbst ein, dass das Beheben der Schleifen das Modell Antworten zu Ende bringen lässt, die es ohnehin lösen konnte. Dass Qwen grundsätzlich neue mathematische Fähigkeiten gelernt hat, folgt daraus nicht.

Welche Hilfsmittel Astra bekam

Bei Qwen bekam Astra eine Python-Umgebung und durfte das untersuchte Modell auf Übungsaufgaben ausführen. Das Team testete Budgets von 10, 25 und 50 Modellaufrufen, wobei ein Aufruf bis zu 512 Aufgaben oder 1.024 Texte bündeln konnte. Die genannten 48,1 Prozent stammen aus dem Lauf mit 50 Aufrufen, mit 10 oder 25 verschwanden die Schleifen laut Blogbeitrag kaum. So konnte Astra sehen, wie sich Qwen verhält, und seine Änderungen danach ausrichten. Eine Trainingsschleife oder ein Gradientenverfahren durfte es nicht einsetzen.

Die Forschenden nennen den Ansatz „Weight-Space Programming“. Gemeint ist, dass ein Sprachmodell Modellgewichte direkt liest und schreibt. Wie gut das bei anderen Modellen und Aufgaben funktioniert, ist noch offen.

Versuche mit kleineren Netzen

Das Team untersuchte auch deutlich kleinere neuronale Netze. In einem Experiment bekam Astra die Gewichte von vier Netzen, die für vereinfachte Versionen von Computerspielen trainiert worden waren. Laut Bericht erkannte es bei allen vier, auf welchem Spiel das Netz trainiert worden war. Die Netze hatten dieselbe Architektur, und die Aufgabe nannte keine Spielnamen.

Mit solchen Versuchen lassen sich einzelne Fähigkeiten des Ansatzes untersuchen. Dass sich große Sprachmodelle damit allgemein zuverlässig verstehen oder reparieren lassen, zeigen sie noch nicht. Bei Gemma 3 270M, dessen Antworten seltener in Schleifen endeten, konnte Astra MATH-500 laut Blogbeitrag um höchstens etwa einen Punkt verbessern. Die Ergebnisse stammen aus einem Blogbeitrag der Autoren, nachgeprüft habe ich die Experimente nicht. Eine begutachtete Studie ist es nicht.

Kurz beantwortet

Hat GPT-6 Astra sich selbst verbessert?

Nein. Im beschriebenen Versuch veränderte Astra ein anderes Sprachmodell mit 0,8 Milliarden Parametern, nämlich Qwen3.5-0.8B.

Wurde Qwen dafür neu trainiert?

Nein, nicht im üblichen Sinn. Laut Blogbeitrag blieb Qwen ein fertig trainiertes Modell. Astra änderte 0,016 Prozent der Gewichte direkt, ohne Training und ohne Gradienten. Dabei durfte es Qwen allerdings auf Übungsaufgaben ausführen.

Stand der Recherche: 03.11.2026. Die Angaben beruhen auf den verlinkten Quellen. Kein eigener Praxistest.

Die Inhalte dieses Artikels dienen der allgemeinen Information. Trotz sorgfältiger Recherche übernimmt Nachschein Studios keine Gewähr für Aktualität, Vollständigkeit oder Richtigkeit der Angaben.