Wenn Sie mit Large Language Models (LLMs) gearbeitet haben, wissen Sie, dass JSON die Verkehrssprache des Datenaustauschs ist. Allerdings wissen Sie auch, dass JSON bekanntermaßen „gesprächig“ ist. All diese geschweiften Klammern, Anführungszeichen und wiederholten Schlüssel verschlingen Ihr Kontextfenster, erhöhen die Latenz und treiben die API-Kosten in die Höhe.

Hier glänzt TOON (The Object-Oriented Notation). Während sich die TypeScript-Bibliothek hervorragend für Anwendungscode eignet, müssen Sie manchmal einfach Dinge schnell im Terminal erledigen. Egal, ob Sie eine Eingabeaufforderung debuggen, einen Datensatz vorbereiten oder einfach nur wissen möchten, wie viel Geld Sie bei Tokens sparen können, die „@toon-format/toon“-CLI ist Ihr neuer bester Freund.

In diesem Leitfaden sehen wir uns an, wie Sie die TOON-Befehlszeilenschnittstelle nutzen können, um die Datenoptimierung direkt in Ihre Shell-Workflows zu integrieren.

Erste Schritte

Eines der besten Dinge an modernen JavaScript-Tools ist, dass Sie oft nichts „installieren“ müssen, um loszulegen. Wenn Sie TOON nur an einer einzelnen Datei ausprobieren möchten, können Sie „npx“ verwenden, um die Binärdatei direkt auszuführen:

„Bash npx @toon-format/cli input.json -o output.toon „

Wenn Sie jedoch vorhaben, dies häufig zu nutzen – und sobald Sie die Token-Einsparungen sehen, werden Sie dies wahrscheinlich tun – ist eine globale Installation die richtige Wahl. Damit haben Sie überall in Ihrem System Zugriff auf den prägnanten „toon“-Befehl.

„Bash npm install -g @toon-format/cli

oder

pnpm add -g @toon-format/cli „

Nach der Installation können Sie mit der Verkleinerung Ihrer Daten beginnen.

Die Magie der automatischen Erkennung

Die TOON-CLI ist darauf ausgelegt, intelligent zu erkennen, was Sie tun möchten. Sie müssen es selten explizit zum Kodieren oder Dekodieren anweisen; Es prüft Ihre Dateierweiterungen, um eine Entscheidung zu treffen.

Wenn Sie ihm eine „.json“-Datei zuführen, geht es davon aus, dass Sie sie in TOON kodieren möchten. Wenn Sie eine „.toon“-Datei bereitstellen, wechselt diese in den Dekodierungsmodus, um Ihnen JSON zurückzugeben.

„Bash

Kodiert automatisch nach TOON

toon data.json -o komprimiert.toon

Wird automatisch in JSON dekodiert

toon komprimiert.toon -o restauriert.json „

Aber wo sich die CLI wirklich bewährt, liegt in der „Unix-Philosophie“ – kleine Tools, die lose miteinander verbunden sind. Da die TOON-CLI von der Standardeingabe (stdin) liest und in die Standardausgabe (stdout) schreibt, können Sie Daten direkt darüber weiterleiten.

„Bash

JSON direkt in TOON weiterleiten

cat big-dataset.json | toon > data.toon

Echo eines schnellen Objekts, um zu sehen, wie es in TOON aussieht

echo '{"name": "Ada", "role": "admin"}' | toon „

Wenn Sie Daten über stdin weiterleiten, verwendet die CLI standardmäßig den Kodierungsmodus. Wenn Sie einen Stream von TOON-Daten dekodieren müssen, der von einem anderen Prozess stammt, fügen Sie einfach das Flag „--decode“ (oder „-d“) hinzu.

Token-Einsparungen analysieren

Bei der Optimierung von Datenformaten geht es oft um Ratespiele. „Wie viel spare ich, wenn ich Leerzeichen entferne?“ „Was ist, wenn ich zu YAML wechsle?“

Die TOON-CLI eliminiert das Rätselraten mit dem Flag „--stats“. Bei der Kodierung berechnet diese Option die geschätzte Token-Anzahl und zeigt Ihnen die Einsparungen sofort an. Dies ist von unschätzbarem Wert, wenn Sie LLM-Anrufe mit hohem Volumen planen.

„Bash toon context.json --stats „

Möglicherweise wird eine Ausgabe angezeigt, die auf eine Größenreduzierung von 30 % oder 40 % hinweist. Das ist nicht nur Speicherplatz; Das bedeutet 40 % weniger Latenz und 40 % geringere Kosten für Eingabe-Tokens.

Erweiterte Optimierung: Trennzeichen und Formatierung

Standardmäßig verwendet TOON Kommas, um Array-Elemente zu trennen, ähnlich wie JSON. Allerdings verhalten sich verschiedene LLM-Tokenizer bei der Interpunktion unterschiedlich. Manchmal ist ein Tabulatorzeichen oder ein senkrechter Strich (|) tokeneffizienter als ein Komma.

Mit der CLI können Sie Trennzeichen im laufenden Betrieb austauschen. Wenn Sie mit tabellarischen Daten arbeiten, kann der Wechsel zu einem Tabulatortrennzeichen dazu führen, dass die Ausgabe sauberer aussieht und die Verarbeitung effizienter wird.

Bei einer Produktliste wird dadurch die Ausgabe einer durch Kommas getrennten Liste in eine saubere, durch Tabulatoren getrennte Struktur umgewandelt, die fast wie eine Tabellenkalkulation aussieht und von vielen Modellen außergewöhnlich gut analysiert werden kann.

„Bash

Verwenden Sie Tabulatoren für Array-Elemente

toon items.json --delimiter "\t" -o items.toon „

::: Tipp Profi-Tipp: Tabulatortrennzeichen reduzieren häufig die Notwendigkeit von Escape-Anführungszeichen und können zu einer besseren Tokenisierung numerischer Daten führen. Wenn Sie große Datensätze verarbeiten, versuchen Sie es mit „--delimiter „\t““, um die größtmögliche Effizienz herauszuholen. :::

Komprimierende Struktur mit Schlüsselfaltung

Eine der neueren Funktionen (eingeführt in Spezifikation v1.5), die in der CLI verfügbar ist, ist Key Folding. JSON-Daten sind oft tief verschachtelt, mit Wrapper-Schlüsseln wie „data.response.items“, die strukturelle Tiefe verleihen, ohne Bedeutung hinzuzufügen.

Mit der CLI können Sie diese verschachtelten Schlüssel in einen einzigen Pfad mit Punktnotation „zusammenfalten“, wodurch die Hierarchie flacher wird und Token für Einrückungen und geschweifte Klammern eingespart werden.

„Bash toon deep-structure.json --key-folding safe -o flat.toon „

Dadurch werden verschachtelte Objekte transformiert:

„json { "user": { "profile": { "id": 1 } } } „

In einer prägnanten TOON-Darstellung:

„yaml user.profile.id: 1 „

Wenn Sie dies später wieder in vollständiges JSON konvertieren müssen, können Sie während der Dekodierung das Flag „--expand-paths Safe“ verwenden, um die tiefe Objektstruktur perfekt zu rekonstruieren.

Integration in Pipelines

Die wahre Stärke der TOON CLI entfaltet sich, wenn Sie sie mit anderen Tools wie „curl“ und „jq“ verketten. Sie können Daten von einer API abrufen, sie auf das Wesentliche filtern und in einer einzigen Zeile in TOON konvertieren – bereit zum Einfügen in eine Eingabeaufforderung oder zum Senden an einen Inferenzendpunkt.

In diesem Workflow rufen Sie die Daten ab, extrahieren nur die aktiven Benutzer, konvertieren sie in ein durch Pipes getrenntes TOON-Format und erhalten einen Statistikbericht darüber, wie viele Token Sie gerade gespeichert haben.

„Bash curl -s https://api.example.com/users \ | jq '.data.active_users' \ | toon --stats --delimiter "|" „

Zusammenfassung

Das „@toon-format/cli“ ist mehr als nur ein Dateikonverter; Es ist ein Utility-Gürtel für die LLM-Ära. Durch die Verlagerung der Datenverarbeitung auf die Befehlszeile können Sie schneller iterieren, Optimierungen sofort visualisieren und tokeneffiziente Formate in Ihre bestehenden Engineering-Workflows integrieren.

Ganz gleich, ob Sie RAG-Dokumente (Retrieval-Augmented Generation) vorbereiten oder einfach nur versuchen, einen riesigen JSON-Blob in ein kleines Kontextfenster einzufügen, probieren Sie die CLI aus. Ihr Token-Budget wird es Ihnen danken.