TOON Neden Diğer Formatlardan Daha İyi Performans Gösteriyor?

Yüksek Lisans
Karşılaştırmalar
paçavra

Yüksek Lisans uygulamaları, özellikle de büyük veri kümeleri tüketen Alma-Artırılmış Üretim (RAG) sistemleri veya aracıları oluşturuyorsanız, muhtemelen iki cephede sürekli bir savaşla mücadele ediyorsunuz: belirteç maliyeti ve bağlam penceresi sınırları.

Yıllardır JSON, veri alışverişinde varsayılan ortak dil olmuştur. İnsan tarafından okunabilir (çoğunlukla) ve her yerde bulunur. Ancak 500 satırlık bir JSON dizisini bir bilgi istemine yapıştırdığınızda, belirli bir satır için sıfır anlamsal değer taşıyan tekrarlanan alan adlarına ("id":, "name":, "email":`) binlerce jeton yakıyorsunuz.

TOON girin. LLM girişlerindeki sinyal-gürültü oranı problemini çözmek için özel olarak tasarlanmış bir formattır. En yeni kriterleri inceledim ve sonuçlar şaşırtıcı: TOON yalnızca yerden tasarruf etmekle kalmıyor; aslında GPT-5-nano ve Gemini-2.5-flash gibi modellerin verileri daha iyi anlamasına yardımcı oluyor.

TOON'un neden ağır sıkletleri (JSON, CSV, YAML, XML) geride bıraktığını açıklayalım ve ham sayılara bakalım.

Ayrıntı Tuzağı: JSON ve TOON

Token verimliliğinin en büyük düşmanı yapı tekrarıdır. Standart bir Zaman Serisi Analizi veri kümesine bakalım. JSON'da her veri noktası kendi şemasının bagajını taşır.

JSON (Standart) Kıyaslamada kullanılan jetonlar: 22.250

Bu çok fazla boşa harcanan alandır. Şimdi TOON eşdeğerine bakın. TOON, şemayı başlıkta bir kez tanımlar ve ardından değerler için yoğun, CSV tarzı bir düzene geçer.

TOON Kıyaslamada kullanılan jetonlar: 9.120

Sonuç: Token kullanımında büyük bir %59,0 azalma.

TOON, tekrarlanan tuşları ortadan kaldırarak modelin bağlam penceresine daha fazla geçmiş sığdırmanıza olanak tanır. Ancak en önemlisi, CSV'den farklı olarak, `metrics[5]{...}' başlık tanımı aracılığıyla tür farkındalığını ve açık yapıyı korur.

Neden Sadece CSV Kullanmıyorsunuz?

Bu en yaygın karşı argümandır. "Düz veriler istiyorsanız CSV'yi kullanın."

Sorun, gerçek dünya verilerinin nadiren tamamen düz olmasıdır. CSV, iç içe geçmiş yapılara, nesnelerin içindeki listelere veya virgül ve tırnak işaretleri içeren karmaşık açıklamalara sahip olduğunuz anda tamamen bozulur.

Karşılaştırmalarda, özellikle Karma Yapı İzleme'de (e-ticaret siparişlerini ve olay günlüklerini içerir), CSV, verileri kayıplı düzleştirme olmadan temsil edemediği için tamamen hariç tutuldu.

TOON bunu incelikle ele alıyor. Dizileri optimize ederken iç içe geçmiş nesnelere izin verir. 100 GitHub deposunun (karışık metin açıklamaları ve meta veriler içeren) testinde verimlilik farkı açıktı:

  • JSON: 15.145 jeton
  • TOON: 8.745 jeton (%42,3 tasarruf)

JSON Compact'a (küçültülmüş) karşı bile TOON yaklaşık %24 daha fazla tasarruf elde etti. Milyon jeton başına ödeme yaptığınızda bu anında yatırım getirisidir.

Doğruluk: Sürpriz Kazanan

İşte beni şaşırtan kısım. Genellikle verileri sıkıştırdığınızda netliği kaybedersiniz. LLM'nin daha yoğun bir formatı ayrıştırmakta zorlanmasını beklersiniz. Benchmarklar tam tersini gösteriyor.

Claude Haiku, Gemini Flash ve GPT-5-nano gibi modellerde test edilen 209 veri alma sorusu karşısında TOON, standart JSON'un %69,7 ile karşılaştırıldığında %73,9 alma doğruluğu elde etti.

Neden? Muhtemelen Bilişsel Yük (veya Yüksek Lisans eşdeğeri) ile ilgilidir.

  1. Daha Az Gürültü: Modelin binlerce tekrarlanan "anahtar" jetonuyla ilgilenmesi gerekmez. Dikkat mekanizmasında ilgili değerler birbirine daha yakındır.
  1. Açık Meta Veriler: TOON başlıkları, sayıyı ([N]) ve alan adlarını açıkça içerir.
  1. Yapı Farkındalığı: Veri kümesi yapısını soran testlerde (ör. "Kaç satır var?"), TOON %88 doğruluk elde ederken, JSON ve XML geride kaldı. TOON başlığındaki açık sayım ("depolar[100]`), modelin, LLM'lerin çok kötü olduğu bilinen belirteçleri manuel olarak "saymak" zorunda kalmasını önleyen bir ipucu görevi görür.

XML ve YAML Yorgunluğu

Diğer yarışmacılardan kısaca bahsetmek gerekiyor.

XML burada en çok kaybeden taraf. Ayrıntılıdır, okunması zordur ve işlenmesi pahalıdır. Karşılaştırmalarda XML tutarlı bir şekilde en fazla jetonu kullandı (TOON'un ~2.700'de temsil ettiği tek tip çalışan kayıt seti için 5.000'den fazla) ve en düşük doğruluğa (%67,1) sahipti.

YAML XML'den daha iyi performans gösteriyor ancak TOON'a kıyasla yine de jeton şişkinliği yaşıyor. YAML, insan yapılandırma dosyaları için harika olsa da, boşluklara duyarlı yapısı ve anahtar tekrarı, onu yüksek hacimli veri bağlamı için idealin altında kılıyor. "E-ticaret siparişleri" testinde YAML, TOON'dan ~%14 daha fazla token kullandı.

Ne Zaman Geçiş Yapılmalı?

Veriler oldukça kesindir. Eğer uğraşıyorsanız:

  1. Nesne Listeleri: Günlükler, işlem geçmişleri, arama sonuçları veya ürün katalogları.
  1. RAG İşlem Hatları: Bir istemi beslemek üzere bir veritabanından veri yığınlarını aldığınız yerdir.
  1. Yüksek Hacimli API'ler: Bant genişliği ve gecikmenin önemli olduğu yerler.

TOON "her iki dünyanın da en iyisi" senaryosunu sunuyor. CSV'nin yoğunluğunu JSON'un yapısal bütünlüğüyle elde edersiniz.

Karşılaştırmalarda GPT-5-nano, TOON biçimli verilerde şaşırtıcı bir %90,9 doğruluk elde etti. Bu, daha yeni, daha akıllı modellerin bu optimize edilmiş formatları ayrıştırmada giderek daha usta hale geldiğini, yani JSON'dan uzaklaşmanın "okunabilirlik cezasının" makine için fiilen sıfır olduğu anlamına geliyor.

RAG bağlamınızı hâlâ "JSON.stringify(data, null, 2)" olarak biçimlendiriyorsanız, her bir API çağrısında fiilen bir "okunabilirlik vergisi" ödüyorsunuz demektir. Formatları değiştirmenin zamanı gelmiş olabilir.