Jeśli pracowałeś z modelami dużych języków (LLM), wiesz, że JSON jest lingua franca wymiany danych. Jednak wiesz również, że JSON jest notorycznie „rozmowny”. Wszystkie te nawiasy klamrowe, cudzysłowy i powtarzające się klucze pochłaniają okno kontekstowe, zwiększają opóźnienia i zwiększają koszty interfejsu API.

Tutaj właśnie błyszczy TOON (notacja obiektowa). Chociaż biblioteka TypeScript doskonale nadaje się do kodu aplikacji, czasami wystarczy szybko wykonać pewne czynności w terminalu. Niezależnie od tego, czy debugujesz monit, przygotowujesz zbiór danych, czy po prostu ciekawi Cię, ile pieniędzy możesz zaoszczędzić na tokenach, interfejs CLI @toon-format/toon jest Twoim nowym najlepszym przyjacielem.

W tym przewodniku przyjrzymy się, jak wykorzystać interfejs wiersza poleceń TOON do zintegrowania optymalizacji danych bezpośrednio z przepływami pracy powłoki.

Przygotowanie do konfiguracji

Jedną z najlepszych cech współczesnych narzędzi JavaScript jest to, że często nie trzeba niczego „instalować”, aby rozpocząć. Jeśli chcesz wypróbować TOON na pojedynczym pliku, możesz użyć npx, aby bezpośrednio uruchomić plik binarny:

,,bicie npx @toon-format/cli wejście.json -o wyjście.toon

Jeśli jednak planujesz często z tego korzystać – a kiedy zobaczysz symboliczne oszczędności, prawdopodobnie tak się stanie – najlepszym rozwiązaniem będzie instalacja globalna. Daje dostęp do zwięzłego polecenia „toon” w dowolnym miejscu systemu.

,,bicie npm install -g @toon-format/cli

lub

pnpm dodaj -g @toon-format/cli

Po zainstalowaniu możesz rozpocząć zmniejszanie danych.

Magia automatycznego wykrywania

TOON CLI zaprojektowano tak, aby mądrze reagować na to, co próbujesz zrobić. Rzadko trzeba wyraźnie nakazać mu kodowanie lub dekodowanie; sprawdza rozszerzenia plików, aby podjąć decyzję.

Jeśli podasz mu plik .json, zakłada się, że chcesz go zakodować w TOON. Jeśli podasz plik .toon, przejdzie on w tryb dekodowania i zwróci Ci JSON.

,,bicie

Automatycznie koduje do TOON

toon dane.json -o skompresowane.toon

Automatycznie dekoduje do JSON

toon skompresowany.toon -o przywrócony.json

Ale CLI naprawdę udowadnia swoją wartość w „filozofii Uniksa” – małe, luźno powiązane narzędzia. Ponieważ TOON CLI czyta ze standardowego wejścia (stdin) i zapisuje na standardowe wyjście (stdout), możesz przesyłać dane bezpośrednio przez nie.

,,bicie

Potok JSON bezpośrednio do TOON

cat duży zestaw danych.json | toon > dane.toon

Wykonaj echo szybkiego obiektu, aby zobaczyć, jak wygląda w TOON

echo '{"imię": "Ada", "role": "admin"}' | ton

Kiedy przesyłasz dane przez standardowe wejście, CLI domyślnie pracuje w trybie kodowania. Jeśli chcesz zdekodować strumień danych TOON pochodzących z innego procesu, po prostu dodaj flagę --decode (lub -d).

Analizowanie oszczędności tokenów

Optymalizacja formatów danych często polega na zgadywaniu. „Jeśli usunę spacje, ile zaoszczędzę?” „Co się stanie, jeśli przejdę na YAML?”

TOON CLI eliminuje zgadywanie dzięki flagi --stats. Podczas kodowania ta opcja oblicza szacunkową liczbę tokenów i natychmiast pokazuje oszczędności. Jest to nieocenione, gdy planujesz budżet na masowe połączenia LLM.

,,bicie toonkontekst.json --stats

Może zostać wyświetlony wynik wskazujący zmniejszenie rozmiaru o 30% lub 40%. To nie tylko miejsce na dysku; oznacza to 40% mniejsze opóźnienia i 40% niższy koszt tokenów wejściowych.

Zaawansowane strojenie: ograniczniki i formatowanie

Domyślnie TOON używa przecinków do oddzielania elementów tablicy, podobnie jak JSON. Jednak różne tokenizatory LLM zachowują się inaczej w przypadku interpunkcji. Czasami znak tabulacji lub kreska (|) jest bardziej wydajna jako symbol niż przecinek.

Interfejs CLI umożliwia wymianę ograniczników w locie. Jeśli masz do czynienia z danymi tabelarycznymi, przejście na ogranicznik tabulacji może sprawić, że dane wyjściowe będą wyglądać przejrzyściej, a przetwarzanie będzie wydajniejsze.

W przypadku listy produktów powoduje to przekształcenie danych wyjściowych z listy oddzielonej przecinkami w czystą strukturę oddzieloną tabulatorami, która wygląda prawie jak arkusz kalkulacyjny, który wiele modeli analizuje wyjątkowo dobrze.

,,bicie

Użyj zakładek dla elementów tablicy

toon items.json --delimiter "\t" -o items.toon

::: wskazówka Wskazówka dla profesjonalistów: Ograniczniki tabulacji często zmniejszają potrzebę stosowania cudzysłowów i mogą skutkować lepszą tokenizacją danych liczbowych. Jeśli przetwarzasz ogromne zbiory danych, spróbuj użyć --delimiter "\t", aby maksymalnie zwiększyć wydajność. :::

Kompresja struktury ze składaniem klucza

Jedną z nowszych funkcji (wprowadzoną w specyfikacji v1.5) dostępnych w interfejsie CLI jest Składanie klawiszy. Dane JSON są często głęboko zagnieżdżone, a klucze opakowania, takie jak „data.response.items”, dodają głębi strukturalnej bez dodawania znaczenia.

Interfejs CLI umożliwia „złożenie” tych zagnieżdżonych kluczy w pojedynczą ścieżkę z zapisem kropkowym, spłaszczając hierarchię i oszczędzając tokeny na wcięciach i nawiasach klamrowych.

,,bicie toon deep-structure.json --sejf składany na klucz -o flat.toon

To przekształca zagnieżdżone obiekty:

{ "użytkownik": { "profil": { "id": 1 } } } 

W zwięzłej reprezentacji TOON:

użytkownik.profil.id: 1 

Jeśli będziesz musiał później przekonwertować to z powrotem do pełnego JSON, możesz użyć flagi --expand-paths Safe podczas dekodowania, aby idealnie zrekonstruować głęboką strukturę obiektu.

integracja z Pipelines

Prawdziwa moc TOON CLI pojawia się, gdy połączysz go z innymi narzędziami, takimi jak curl i jq. Możesz pobrać dane z interfejsu API, przefiltrować je do najważniejszych informacji i przekonwertować na format TOON w jednym wierszu — gotowe do wklejenia w wierszu zachęty lub przesłania do punktu końcowego wnioskowania.

W tym przepływie pracy pobierasz dane, wyodrębniasz tylko aktywnych użytkowników, konwertujesz je do formatu TOON rozdzielanego pionową kreską i otrzymujesz raport statystyczny dotyczący liczby właśnie zapisanych tokenów.

,,bicie curl -s https://api.example.com/users \ | jq '.data.active_users' \ | toon --stats --delimiter „|”

Streszczenie

@toon-format/cli to coś więcej niż tylko konwerter plików; jest to pas narzędziowy ery LLM. Przenosząc przetwarzanie danych do wiersza poleceń, możesz szybciej iterować, natychmiast wizualizować optymalizacje i integrować formaty wydajne z tokenami z istniejącymi procesami inżynieryjnymi.

Niezależnie od tego, czy przygotowujesz dokumenty RAG (generowanie rozszerzone odzyskiwaniu), czy po prostu próbujesz zmieścić ogromny obiekt blob JSON w małym oknie kontekstowym, daj CLI szansę. Twój budżet tokenowy będzie Ci wdzięczny.