Gemini 4 Carbon vs. Argon vs. Opus 5.5 vs. GPT-6 Astra

Gemini 4 Carbon ist nicht in allem das beste Modell. Im v5.0-Index von Artificial Analysis liegt es mit 59 Punkten vorn, doch ein genauerer Blick auf die Tabellen zeigt Folgendes:

• Im Coding-Agent-Index erreicht Claude Code mit Opus 5.5 62 Punkte, Carbon 59.
• Bei FrontierSWE 2 kommt GPT-6 Astra auf 65,5 %, Opus 5.5 auf 62,3 % und Carbon auf 61,2 %.
• Bei OSWorld-2.1 erreicht Opus 5.5 87,2 %, Carbon 81,5 %.
• In der neuen Messung von Artificial Analysis liegt die Halluzinationsrate bei Argon bei 4 % und bei Carbon bei 11 %.
• Nichts davon können Sie heute mit Carbon ausprobieren; der Zugang ist nur ausgewählten Cyberabwehr-Fachleuten offen. Wann es kommen könnte, habe ich in einem eigenen Artikel behandelt.

Zum Modell selbst lesen Sie zuerst Was ist Gemini 4 Carbon?.

Dieser Artikel ist eine Zusammenstellung; ich habe die vier Modelle nicht selbst an denselben Aufgaben getestet und kann Carbon gar nicht erreichen. Die Zahlen stammen aus Googles Ankündigungstabelle, den Seiten von Artificial Analysis und Vals sowie aus Nachrichtenseiten; eine unabhängige Reproduktion gibt es nur begrenzt. Die Quellen stehen am Ende.

Die Tabelle nebeneinander

Die Tabelle in Googles Ankündigung ist ein Bild; weil ich sie nicht als Text erreichen konnte, habe ich die von Eden AI wiedergegebene Fassung verwendet. Der Index von Artificial Analysis, FrontierSWE 2, OSWorld-2.1 und die Cybersicherheitszeilen stimmen mit Googles Text und anderen Berichten überein. Die übrigen Zeilen habe ich nur von Eden AI übernommen; lesen Sie sie als von einer einzigen Zusammenstellung wiedergegebene Werte.

Messung	Carbon	Argon	Claude Opus 5.5	GPT-6 Astra
Artificial Analysis Intelligence Index v5.0 (Punkte)	59	50	58	57
Vals Index v2.2	70,4 %	69,2 %	70,2 %	65,0 %
FrontierSWE 2	61,2 %	55,0 %	62,3 %	65,5 %
Terminal-Bench 4.0	65,2 %	57,1 %	59,6 %	59,1 %
OSWorld-2.1 (Offline-Teilmenge)	81,5 %	74,7 %	87,2 %	80,9 %
AutomationBench	53,9 %	51,3 %	42,5 %	41,4 %
Blueprint-Bench 2	58,6 %	54,4 %	51,2 %	49,7 %
GraphWalks (256.000 bis 1 Mio. Tokens)	96,2 %	84,2 %	66,8 %	71,8 %
RiemannBench	80,0 %	76,0 %	69,6 %	72,0 %
CWE-bench (Patchen)	71,0 %	68,0 %	67,0 %	68,0 %
ExploitGym	54,8 %	42,0 %	34,5 %	42,4 %
SEC-bench Pro	88,2 %	83,4 %	n/a	85,4 %

„n/a" bedeutet, dass die Tabelle für dieses Modell keinen Wert enthält.

Beim Lesen der Tabelle sollten Sie vier Dinge beachten:

• Vermischen Sie sie nicht mit der alten Argon-Tabelle. Im Argon-Vergleich hatte ich für Opus 5.5 bei Terminal-Bench 66,4 % und bei Vals 67,0 % geschrieben. In der Tabelle vom Carbon-Tag stehen bei denselben Messungen 59,6 % und 70,2 %. Versionen der Messungen und Bedingungen der Läufe unterscheiden sich; lesen Sie jede Tabelle für sich.
• Laut Eden AI führt Carbon bei 15 der 17 Messungen der Tabelle. Die anderen beiden sind FrontierSWE 2 (Astra) und OSWorld-2.1 (Opus 5.5).
• Die Cyber-Messungen liefen ohne Schutzmechanismen. Google schreibt das ausdrücklich. Die Version, die später für alle erscheint, muss nicht dieselben Ergebnisse liefern; das ist meine Deutung.
• Bei ExploitGym gibt es einen Unterschied bei der Zeitgrenze. Laut Handys Besprechung nutzte Carbons Spitzenergebnis eine Grenze von 10 Stunden, für Opus 5.5 wurden 6 Stunden verwendet; bei 6 Stunden erreicht Carbon 53,5 %. Lesen Sie das als Wert, den nur eine Quelle meldet (NeuralTrust gibt ihn wieder).

Unabhängige Messungen

Messung	Carbon	Hinweis
Artificial Analysis Intelligence Index v5.0	59, Platz 1	Opus 5.5 58, Astra 57, Argon 50 (Dealroom, iWeaver)
Artificial Analysis Coding Agent Index	59	Claude Code mit Opus 5.5 erreicht 62; Carbon wurde nur in einem Framework getestet (Antigravity CLI)
Vals Index	70,36 % ± 0,97, Platz 2	Opus 5.5 70,18 %; Claude Sonnet 5.5 mit 70,85 % liegt über Carbon
Vals Finance Index	66,35 %, Platz 1
Vals Legal Index	75,83 %, Platz 3
Terminal-Bench 4.0 bei Vals	63,13 %, Platz 4	Niedriger als die 65,2 % in Googles Tabelle

Bei Vals liegt der Abstand zwischen Carbon und Opus 5.5 (70,36 % und 70,18 %) weit unter der Fehlermarge (±0,97); praktisch sind sie gleichauf. Beim Agenten-Coding sind die einzigen unabhängigen Daten der Index von Artificial Analysis, und dort führt Claude Code; Carbon wurde aber nur in einem Framework getestet.

Halluzination, Tempo und Wortreichtum

Das sind die am wenigsten besprochenen Seiten von Carbon.

Halluzinationsrate. Artificial Analysis hat im Oktober die Messung AA-Omniscience auf v1.1 aktualisiert. Auf seiner Seite liegt Carbons Nettowert bei 54 (Opus 5.5: 48), die Halluzinationsrate aber bei 11 % für Carbon und 4 % für Argon. Diese Rate gibt an, wie oft das Modell bei einer Frage, die es nicht kennt, eine falsche Antwort gibt, statt „Ich weiß es nicht" zu sagen; niedriger ist besser. Laut iWeaver ist Carbons Genauigkeit gestiegen, es beantwortet also mehr Fragen richtig, greift aber, wenn es etwas nicht weiß, häufiger als Argon zu einer falschen Antwort. Für Opus 5.5 und Astra konnte ich diese Rate auf der Seite nicht finden.

Googles Aussage, „unbelegte Behauptungen haben sich etwa halbiert", bezieht sich auf eine interne Messung in Coding-Umgebungen; die von Artificial Analysis auf Wissensfragen. Die beiden Messungen müssen sich nicht widersprechen, aber verallgemeinern Sie nicht zu „Carbon ist in jeder Hinsicht ehrlicher als Argon". (Die rund 15 %, die ich in meinem Argon-Artikel für Argon genannt hatte, gehören zur älteren Version der Messung; in der neuen Version liegt Argon bei 4 %.)

Tempo und Wortreichtum. Laut Artificial Analysis erzeugt Carbon 84,6 Tokens pro Sekunde (Platz 94 von 196 Modellen; der Median seiner Preisklasse liegt bei 80,5). Die Zeit bis zum ersten Token liegt in Googles API bei 118,6 Sekunden, was die Seite als „am oberen Ende" beschreibt. Für den Index braucht es 200 Millionen Ausgabetokens, der Median liegt bei 70 Millionen. Weil Ausgabetokens die teuren sind, schlägt sich das direkt in den Kosten nieder.

Kosten pro Aufgabe. Die Kosten pro Index-Aufgabe laut Artificial Analysis, wie NeuralTrust sie wiedergibt: Carbon 7,76 $, Argon 7,68 $, Opus 5.5 10,04 $, Astra 6,25 $. Carbon kostet also nicht mehr als Argon, aber mehr als Astra.

Preis

Laut Eden AIs Preisliste (prüfen Sie die offiziellen Seiten): Carbon in der Einführungsphase 2 $ pro Million Eingabetokens und 10 $ für die Ausgabe, danach 4 $ und 20 $; Argon 2 $ und 10 $ (ab 1. Dezember 4 $ und 20 $); Opus 5.5 4 $ und 20 $; Astra 10 $ und 50 $. Carbon ist zu diesem Preis noch nicht nutzbar; das Modell ist nicht in der allgemeinen API.

Wann welches Modell wählen?

Dieser Teil ist meine Interpretation; allgemeine Schlüsse aus den Zahlen oben.

• Modelle, die Sie heute erreichen: Argon, Opus 5.5 und Astra. Carbon steht nicht auf dieser Liste.
• Sehr lange Dokumente oder Codebasen: Carbon liegt bei GraphWalks deutlich vorn (96,2 %); auch Argon (84,2 %) liegt über Astra und Opus.
• Agentenschleifen mit Werkzeugen: Gemischt. In Googles Tabelle führt Carbon bei Terminal-Bench, im eigenen Lauf von Vals ist es Vierter, und im Agenten-Index von Artificial Analysis liegt Opus 5.5 vorn. Testen Sie Ihre eigene Aufgabe.
• Schwierige Mischung aus Wissenschaft und Programmierung: Astra.
• Computernutzung (OSWorld): Opus 5.5.
• Wenn zählt, dass nichts erfunden wird, wenn es etwas nicht weiß: Argon (Halluzinationsrate 4 %).
• Cyberabwehr: Carbon liegt bei den Zahlen vorn, wurde aber ohne Schutzmechanismen gemessen, und es gibt keinen Zugang.
• Kosten: Pro Aufgabe ist Astra am günstigsten und Opus 5.5 am teuersten; Carbon liegt auf Argons Niveau.

Wie sollte man Benchmarks lesen?

1. Die Tabelle eines Herstellers besteht aus den vom Hersteller gewählten Messungen. Die Tabelle vom Carbon-Tag ist voller Zeilen, in denen Carbon führt; die zwei Zeilen, in denen es zurückliegt, stehen auch darin, aber Halluzinationsrate, Tempo und Wortreichtum stehen auf Seiten Dritter.
2. Das Agenten-Framework verändert das Ergebnis. Artificial Analysis hat Carbon nur in der Antigravity CLI und Opus 5.5 in Claude Code gemessen. Das habe ich im Artikel zum Harness erklärt.
3. Messen Sie Ihre eigene Aufgabe. Fünf eigene Aufgaben sind lehrreicher als fünfzig fremde.

Häufige Fragen

Ist Gemini 4 Carbon besser als Claude Opus 5.5?

Im Index von Artificial Analysis einen Punkt vorn (59 zu 58), bei Vals innerhalb der Fehlermarge gleichauf. Im Coding-Agent-Index und bei OSWorld-2.1 liegt Opus 5.5 vorn. „Besser" hängt von der Art der Arbeit ab.

Wie viel besser ist Carbon als Argon?

Bei allen 12 Zeilen der Tabelle vor Argon und im Index neun Punkte höher (59 zu 50). Dafür ist laut Artificial Analysis die Halluzinationsrate von 4 % auf 11 % gestiegen.

Welches ist besser zum Programmieren?

Eine einzelne Antwort gibt es nicht: Carbon für Codebasen mit langem Kontext, Opus 5.5 oder Carbon für Agenten, die im Terminal arbeiten (je nach Messung unterschiedlich), Astra für schwierige gemischte Aufgaben. Außerdem können Sie Carbon derzeit nicht erreichen.

Erfindet Carbon mehr?

In der Messung von Artificial Analysis bei Wissensfragen ist seine Rate falscher Antworten, wenn es etwas nicht weiß, höher als bei Argon (11 % zu 4 %). Google sagt dagegen, unbelegte Behauptungen hätten sich in Coding-Umgebungen halbiert. Die beiden messen unterschiedliche Dinge.

Welches ist günstiger?

Nach den Kosten pro Index-Aufgabe von Artificial Analysis ist Astra (6,25 $) am günstigsten und Opus 5.5 (10,04 $) am teuersten; Carbon (7,76 $) und Argon (7,68 $) liegen in der Mitte.

Quellen

• Google, Gemini 4 Carbon: our next frontier model (28. Oktober 2026): die als Text genannten Zahlen, der Hinweis auf die Messung ohne Schutzmechanismen.
• Eden AI, Gemini 4 Carbon Beats Opus 5.5 and GPT-6 Astra: The Catch: Wiedergabe von Googles Tabelle und die Preisliste.
• Artificial Analysis, Gemini 4 Carbon: Index, Tempo, Wortreichtum, Kosten pro Aufgabe.
• Artificial Analysis, AA-Omniscience: Nettowert und Halluzinationsraten (v1.1).
• Vals AI, Gemini 4 Carbon: Vals Index, Finanzen, Recht und Terminal-Bench-Ergebnisse.
• NeuralTrust, Gemini 4 Carbon Benchmarks, Pricing: Coding-Agent-Index, Kosten pro Aufgabe, Hinweis zur ExploitGym-Zeitgrenze.
• iWeaver, Gemini 4 Carbon: Benchmarks, Price & Availability: Platzierung im Index, Veränderung der Halluzinationsrate.
• Dealroom, Google DeepMind's Gemini 4 Carbon takes the #1 spot on Artificial Analysis: Index-Punkte.
• Tech My Money, Gemini 4 Carbon Is Google's New Frontier Model: Werte für FrontierSWE 2 und OSWorld-2.1.