Warum TOON andere Formate übertrifft

Wenn Sie LLM-Anwendungen erstellen, insbesondere RAG-Systeme (Retrieval-Augmented Generation) oder Agenten, die große Datenmengen verbrauchen, kämpfen Sie wahrscheinlich einen ständigen Krieg an zwei Fronten: Token-Kosten und Kontextfensterbeschränkungen.

JSON ist seit Jahren die Standardsprache für den Datenaustausch. Es ist (meistens) für Menschen lesbar und allgegenwärtig. Wenn Sie jedoch ein JSON-Array mit 500 Zeilen in eine Eingabeaufforderung einfügen, verbrennen Sie Tausende von Token für wiederholte Feldnamen („id“:“, „name“:, „email“:), die für die jeweilige Zeile keinen semantischen Wert haben.

Geben Sie TOON ein. Es handelt sich um ein Format, das speziell zur Lösung des Problems des Signal-Rausch-Verhältnisses bei LLM-Eingaben entwickelt wurde. Ich habe mich mit den neuesten Benchmarks befasst und die Ergebnisse sind verblüffend: TOON spart nicht nur Platz; Es hilft tatsächlich Modellen wie GPT-5-nano und Gemini-2.5-flash, Daten besser zu verstehen.

Lassen Sie uns aufschlüsseln, warum TOON die Schwergewichte (JSON, CSV, YAML, XML) schlägt, und uns die Rohzahlen ansehen.

Die Ausführlichkeitsfalle: JSON vs. TOON

Der größte Feind der Token-Effizienz ist die Strukturwiederholung. Schauen wir uns einen Standard-Time-Series-Analytics-Datensatz an. In JSON trägt jeder einzelne Datenpunkt das Gepäck seines Schemas.

JSON (Standard) Im Benchmark verwendete Token: 22.250

Das ist eine Menge verschwendeter Platz. Schauen Sie sich nun das TOON-Äquivalent an. TOON definiert das Schema einmal im Header und wechselt dann zu einem dichten Layout im CSV-Stil für die Werte.

Toon Im Benchmark verwendete Token: 9.120

Das Ergebnis: Eine massive 59,0 % Reduzierung der Token-Nutzung.

Durch das Entfernen der wiederholten Tasten können Sie mit TOON mehr Verlauf in das Kontextfenster des Modells integrieren. Entscheidend ist jedoch, dass es im Gegensatz zu CSV die Typerkennung und die explizite Struktur über die Header-Definition „metrics[5]{...}“ beibehält.

Warum nicht einfach CSV verwenden?

Dies ist das häufigste Gegenargument. „Wenn Sie flache Daten wünschen, verwenden Sie einfach CSV.“

Das Problem besteht darin, dass reale Daten selten vollkommen flach sind. CSV bricht vollständig zusammen, sobald Sie verschachtelte Strukturen, Listen innerhalb von Objekten oder komplexe Beschreibungen mit Kommas und Anführungszeichen haben.

In den Benchmarks, insbesondere im Mixed-Structure Track (der E-Commerce-Bestellungen und Ereignisprotokolle umfasst), wurde CSV vollständig ausgeschlossen, da es die Daten nicht ohne verlustbehaftete Reduzierung darstellen konnte.

TOON geht damit elegant um. Es ermöglicht verschachtelte Objekte und optimiert gleichzeitig die Arrays. Bei einem Test von 100 GitHub-Repositories (die gemischte Textbeschreibungen und Metadaten enthalten) wurde die Effizienzlücke deutlich:

• JSON: 15.145 Token

• TOON: 8.745 Token (42,3 % Ersparnis)

Selbst im Vergleich zu JSON Compact (minimiert) erzielte TOON immer noch fast 24 % mehr Einsparungen. Wenn Sie pro Million Token bezahlen, ist das ein sofortiger ROI.

Genauigkeit: Der Überraschungssieger

Hier ist der Teil, der mich überrascht hat. Wenn Sie Daten komprimieren, geht normalerweise die Klarheit verloren. Man würde erwarten, dass der LLM Schwierigkeiten hat, ein dichteres Format zu analysieren. Die Benchmarks zeigen das Gegenteil.

Bei 209 Datenabruffragen, die an Modellen wie Claude Haiku, Gemini Flash und GPT-5-nano getestet wurden, erreichte TOON eine Abrufgenauigkeit von 73,9 %, verglichen mit 69,7 % von Standard-JSON.

Warum? Es kommt wahrscheinlich auf die kognitive Belastung (oder das LLM-Äquivalent) an.

1. Weniger Lärm: Das Modell muss sich nicht um Tausende sich wiederholender „Schlüssel“-Tokens kümmern. Die relevanten Werte liegen im Aufmerksamkeitsmechanismus näher beieinander.

2. Explizite Metadaten: TOON-Header enthalten explizit die Anzahl („[N]“) und Feldnamen.

3. Strukturbewusstsein: Bei Tests zur Datensatzstruktur (z. B. „Wie viele Zeilen gibt es?“) erreichte TOON eine Genauigkeit von 88 %, während JSON und XML zurückblieben. Die explizite Zählung im TOON-Header („repositories[100]“) fungiert als Hinweis, der verhindert, dass das Modell Token manuell „zählen“ muss, wozu LLMs notorisch schlecht sind.

Die XML- und YAML-Müdigkeit

Die anderen Kandidaten sollten wir kurz erwähnen.

XML ist hier der große Verlierer. Es ist ausführlich, schwer zu lesen und teuer in der Verarbeitung. In den Benchmarks verwendete XML durchweg die meisten Token (über 5.000 für einen einheitlichen Mitarbeiterdatensatz, den TOON in etwa 2.700 darstellte) und wies die niedrigste Genauigkeit auf (67,1 %).

YAML bietet eine bessere Leistung als XML, leidet aber im Vergleich zu TOON immer noch unter einer Token-Aufblähung. Während sich YAML hervorragend für menschliche Konfigurationsdateien eignet, ist es aufgrund seiner Whitespace-Sensibilität und Tastenwiederholung für den Datenkontext mit hohem Datenvolumen nicht optimal. Im Test „E-Commerce-Bestellungen“ verwendete YAML ~14 % mehr Token als TOON.

Wann wechseln?

Die Daten sind ziemlich schlüssig. Wenn Sie Folgendes zu tun haben:

1. Objektlisten: Protokolle, Transaktionsverläufe, Suchergebnisse oder Produktkataloge.

2. RAG-Pipelines: Hier rufen Sie Datenblöcke aus einer Datenbank ab, um sie in eine Eingabeaufforderung einzugeben.

3. High-Volume-APIs: Wo Bandbreite und Latenz wichtig sind.

TOON bietet ein „Best of Both Worlds“-Szenario. Sie erhalten die Dichte von CSV mit der strukturellen Integrität von JSON.

In den Benchmarks erreichte GPT-5-nano eine erstaunliche Genauigkeit von 90,9 % bei TOON-formatierten Daten. Dies deutet darauf hin, dass neuere, intelligentere Modelle diese optimierten Formate immer besser analysieren können, was bedeutet, dass der „Lesbarkeitsverlust“ durch die Abkehr von JSON für die Maschine praktisch Null ist.

Wenn Sie Ihren RAG-Kontext immer noch als „JSON.stringify(data, null, 2)“ formatieren, zahlen Sie effektiv eine „Lesbarkeitssteuer“ für jeden einzelnen API-Aufruf. Es könnte an der Zeit sein, das Format zu wechseln.