İçeriğe geç / Skip to content / Zum Inhalt

Gemini 4 Carbon, Argon, Opus 5.5 ve Astra Karşılaştırması

Ahmet Balaman

7 dk okuma

Vibe CodingGemini 4 CarbonGemini 4 ArgonClaude Opus 5.5GPT-6 AstraBenchmarkYapay Zeka
Gemini 4 Carbon, Argon, Opus 5.5 ve Astra Karşılaştırması

Gemini 4 Carbon her şeyde en iyi model değil. Artificial Analysis'in v5.0 endeksinde 59 puanla birinci, ama tabloya yakından bakınca şunlar çıkıyor:

  • Ajan kodlama endeksinde Opus 5.5 ile çalışan Claude Code 62, Carbon 59.
  • FrontierSWE 2'de GPT-6 Astra %65,5, Opus 5.5 %62,3, Carbon %61,2.
  • OSWorld-2.1'de Opus 5.5 %87,2, Carbon %81,5.
  • Artificial Analysis'in yeni ölçümünde yanılma oranı Argon'da %4, Carbon'da %11.
  • Bugün bunların hiçbirini Carbon ile deneyemezsiniz; erişim yalnızca seçili siber savunmacılara açık. Ne zaman çıkacağını ayrı yazıda anlattım.

Modelin kendisi için önce Gemini 4 Carbon nedir yazısına bakabilirsiniz.

Bu yazı bir derlemedir; dört modeli de kendim aynı görevlerde denemedim, Carbon'a zaten erişemiyorum. Sayılar Google'ın duyuru tablosundan, Artificial Analysis ve Vals sayfalarından ve haber sitelerinden alındı; bağımsız yeniden üretim sınırlı. Kaynaklar sonda.

Yan yana tablo

Google'ın duyuru yazısındaki tablo bir görsel; metne erişemediğim için Eden AI'ın aktardığı hali kullandım. Artificial Analysis endeksi, FrontierSWE 2, OSWorld-2.1 ve siber güvenlik satırları Google'ın metniyle ve başka yayınlarla uyuşuyor. Diğer satırları yalnızca Eden AI'dan aldım, onları bir derlemenin aktardığı değerler olarak okuyun.

Ölçüt Carbon Argon Claude Opus 5.5 GPT-6 Astra
Artificial Analysis Intelligence Index v5.0 (puan) 59 50 58 57
Vals Index v2.2 %70,4 %69,2 %70,2 %65,0
FrontierSWE 2 %61,2 %55,0 %62,3 %65,5
Terminal-Bench 4.0 %65,2 %57,1 %59,6 %59,1
OSWorld-2.1 (çevrimdışı alt küme) %81,5 %74,7 %87,2 %80,9
AutomationBench %53,9 %51,3 %42,5 %41,4
Blueprint-Bench 2 %58,6 %54,4 %51,2 %49,7
GraphWalks (256 bin - 1M token) %96,2 %84,2 %66,8 %71,8
RiemannBench %80,0 %76,0 %69,6 %72,0
CWE-bench (yama üretme) %71,0 %68,0 %67,0 %68,0
ExploitGym %54,8 %42,0 %34,5 %42,4
SEC-bench Pro %88,2 %83,4 n/a %85,4

"n/a", o modelin değerinin tabloda olmadığı anlamına geliyor.

Tabloyu okurken dört şeye dikkat edin:

  • Eski Argon tablosuyla karıştırmayın. Argon karşılaştırmasında Opus 5.5 için Terminal-Bench'te %66,4 ve Vals'ta %67,0 yazmıştım. Carbon günü tablosunda aynı ölçütler %59,6 ve %70,2. Ölçüt sürümleri ve koşu koşulları farklı; her tabloyu kendi içinde okuyun.
  • Carbon, Eden AI'a göre tablodaki 17 ölçütün 15'inde önde. Geri kalan ikisi FrontierSWE 2 (Astra) ve OSWorld-2.1 (Opus 5.5).
  • Siber ölçütler korumasız koşuldu. Google bunu açıkça yazıyor. Herkese açılacak sürümün aynı sonucu vermesi gerekmez; bu benim yorumum.
  • ExploitGym'de süre farkı var. Handy'nin incelemesine göre Carbon'un başlık sonucu 10 saatlik sınırla alınmış, Opus 5.5 için 6 saat kullanılmış; 6 saatte Carbon %53,5. Bunu tek kaynağın bildirdiği değer olarak okuyun (NeuralTrust aktarıyor).

Bağımsız ölçümler

Ölçüt Carbon Not
Artificial Analysis Intelligence Index v5.0 59, birinci Opus 5.5 58, Astra 57, Argon 50 (Dealroom, iWeaver)
Artificial Analysis Coding Agent Index 59 Claude Code ile Opus 5.5 62; Carbon yalnızca bir çerçevede (Antigravity CLI) denendi
Vals Index %70,36 ± 0,97, ikinci Opus 5.5 %70,18; Claude Sonnet 5.5 %70,85 ile Carbon'un üstünde
Vals Finans Endeksi %66,35, birinci
Vals Hukuk Endeksi %75,83, üçüncü
Vals'ta Terminal-Bench 4.0 %63,13, dördüncü Google'ın tablosundaki %65,2'den düşük

Vals'ta Carbon ile Opus 5.5 arasındaki fark (%70,36 ve %70,18) ölçüm hatası payının (±0,97) çok altında; pratikte başa baş. Ajan kodlamada ise bağımsız tek veri Artificial Analysis'in endeksi ve orada Claude Code önde; ama Carbon'u yalnızca bir çerçevede denediler.

Yanılma, hız ve gevezelik

Carbon'un en az konuşulan tarafı bunlar.

Yanılma oranı. Artificial Analysis Ekim'de AA-Omniscience ölçütünü v1.1'e güncelledi. Sitesinde Carbon'un net skoru 54 (Opus 5.5: 48), ama yanılma oranı Carbon'da %11, Argon'da %4. Bu oran, modelin bilmediği bir soruda "bilmiyorum" demek yerine yanlış cevap verme sıklığı; düşük olması iyi. iWeaver'a göre Carbon'un doğruluğu artmış, yani daha çok doğru cevap veriyor ama bilmediğinde Argon'dan daha sık yanlış cevaba gidiyor. Opus 5.5 ve Astra için bu oranı sayfada bulamadım.

Google'ın "dayanaksız iddialar yaklaşık yarıya indi" sözü ise kodlama ortamlarındaki iç ölçümle ilgili; Artificial Analysis'inki bilgi sorularında. İki ölçüm çelişmek zorunda değil, ama "Carbon her bakımdan Argon'dan dürüst" diye genelleme yapmayın. (Argon yazımda geçen yaklaşık %15, ölçütün eski sürümüne ait; yeni sürümde Argon %4.)

Hız ve gevezelik. Artificial Analysis'e göre Carbon saniyede 84,6 token üretiyor (196 model arasında 94.; aynı fiyat kademesinin ortancası 80,5). Google'ın API'sinde ilk token süresi 118,6 saniye, sayfa bunu "üst uçta" diye tarif ediyor. Endeksi tamamlamak için 200 milyon çıktı tokenı harcıyor; ortanca 70 milyon. Çıktı tokenı pahalı olduğu için bu doğrudan maliyete dönüyor.

Görev başı maliyet. Artificial Analysis'in endeks görevi başına maliyeti, NeuralTrust'ın aktardığı kadarıyla: Carbon 7,76 $, Argon 7,68 $, Opus 5.5 10,04 $, Astra 6,25 $. Yani Carbon, Argon'dan pahalı değil, ama Astra'dan pahalı.

Fiyat

Eden AI'ın fiyat listesine göre (resmî sayfalardan doğrulayın): Carbon tanıtım döneminde milyon token başına 2 $ girdi ve 10 $ çıktı, sonra 4 $ ve 20 $; Argon 2 $ ve 10 $ (1 Aralık'tan sonra 4 $ ve 20 $); Opus 5.5 4 $ ve 20 $; Astra 10 $ ve 50 $. Carbon bu fiyattan henüz kullanılamıyor; model genel API'de değil.

Hangisini ne zaman seçmeli?

Bu kısım benim yorumum; yukarıdaki sayılardan çıkardığım genel sonuçlar.

  • Bugün erişebileceğiniz modeller: Argon, Opus 5.5 ve Astra. Carbon bu listede yok.
  • Çok uzun belge ya da kod tabanı: Carbon GraphWalks'ta açık ara önde (%96,2); Argon da (%84,2) Astra ve Opus'un üstünde.
  • Araç kullanan ajan döngüleri: Karışık. Google'ın tablosunda Terminal-Bench'te Carbon önde, Vals'ın kendi koşusunda dördüncü, Artificial Analysis'in ajan endeksinde Opus 5.5 önde. Kendi görevinizde deneyin.
  • Zor bilim ve kodlama karışımı: Astra.
  • Bilgisayar kullanımı (OSWorld): Opus 5.5.
  • Bilmediğinde uydurmaması önemliyse: Argon (yanılma oranı %4).
  • Siber savunma: Carbon rakamlarda önde, ama korumasız ölçüldü ve erişim yok.
  • Maliyet: Görev başına Astra en ucuz, Opus 5.5 en pahalı; Carbon Argon ile aynı seviyede.

Benchmark'lara nasıl bakmalı?

  1. Üretici tablosu üreticinin seçtiği ölçütlerdir. Carbon günü tablosu Carbon'un önde olduğu satırlarla dolu; geride kaldığı iki satır da tabloda, ama yanılma oranı, hız ve gevezelik üçüncü tarafların sayfalarında.
  2. Ajan çerçevesi sonucu değiştirir. Artificial Analysis Carbon'u yalnızca Antigravity CLI'da, Opus 5.5'i Claude Code'da ölçtü. Harness nedir yazısında bunu anlattım.
  3. Kendi görevinizi ölçün. Beş kendi göreviniz, elli başkasının görevinden daha öğretici.

Sık Sorulan Sorular

Gemini 4 Carbon, Claude Opus 5.5'ten daha mı iyi?

Artificial Analysis endeksinde bir puan önde (59'a 58), Vals'ta ölçüm hatası içinde başa baş. Ajan kodlama endeksinde ve OSWorld-2.1'de Opus 5.5 önde. "Daha iyi" iş türüne bağlı.

Carbon, Argon'dan ne kadar iyi?

Tablodaki 12 satırın hepsinde Argon'un önünde ve endekste dokuz puan fazla (59'a 50). Karşılığında Artificial Analysis'e göre yanılma oranı %4'ten %11'e çıkmış.

Kod yazmak için hangisi daha iyi?

Tek cevap yok: uzun bağlamlı kod tabanları için Carbon, terminalde çalışan ajanlar için Opus 5.5 ya da Carbon (ölçüme göre değişiyor), zor karma görevler için Astra. Ayrıca Carbon'a şu an erişemezsiniz.

Carbon daha çok mu uyduruyor?

Artificial Analysis'in bilgi sorularındaki ölçümünde bilmediğinde yanlış cevap verme oranı Argon'dan yüksek (%11'e %4). Google ise kodlama ortamlarında dayanaksız iddiaların yarıya indiğini söylüyor. İki ölçüm farklı şeyi ölçüyor.

Hangisi daha ucuz?

Artificial Analysis'in endeks görevi başına maliyetine göre Astra (6,25 $) en ucuz, Opus 5.5 (10,04 $) en pahalı; Carbon (7,76 $) ve Argon (7,68 $) ortada.

Kaynak

Yorumlar