TOON (Token-Oriented Object Notation) is a data serialization format designed specifically for LLM prompts to be highly efficient. It dramatically reduces token usage by 30-60% compared to JSON while remaining structured and human-readable. By using a tabular format for arrays and minimal syntax for objects, TOON makes your data cheaper and faster to process with AI models.

What's the difference between TOON and JSON?

The key difference is token efficiency. JSON is verbose, with brackets, quotes, and commas that consume tokens. TOON is a more compact syntax designed for LLMs, representing arrays as tables with headers and using minimal punctuation. This efficiency directly translates to significant cost savings on your LLM API bills, especially for large or repeated datasets.

How much can I save with TOON?

You can typically expect to save 30-60% on LLM tokens compared to using JSON. For large datasets or frequent API calls, this translates directly into significant cost savings. Data with repeated structures, like API responses or database results, often sees savings at the higher end of this range (40-60%).

Is TOON compatible with all LLMs?

Yes. TOON is a simple text format that works flawlessly with all major large language models, including those from OpenAI (GPT-4), Anthropic (Claude), Google (Gemini), and Meta (LLaMA). Since any LLM can process plain text, they can all be instructed to understand and parse the TOON format with a simple instruction in your prompt.

Can I convert TOON back to JSON?

Absolutely. TOON is fully and losslessly reversible. Our converter tool supports bidirectional conversion, meaning you can convert TOON back to the exact original JSON structure without any data loss. This allows you to use TOON for efficiency and then convert back to JSON for compatibility with other tools.

What types of data work best with TOON?

TOON can represent any valid JSON data, but it delivers the highest token savings (40-60%) on uniform tabular data. This includes database query results, API responses with lists of objects, analytics data, or product catalogs. While TOON fully supports nested objects and arrays, the token reduction is most dramatic with flatter, more repetitive data structures.

Is my data safe when using this converter?

100% safe. All conversion from JSON to TOON (and back) happens locally in your browser. Your data is never sent to any server, never stored, and never seen by us. The converter even works offline once the page has loaded, guaranteeing your information remains private.

Yes, completely free. Both this TOON converter and the underlying TOON format specification are open and free to use without any limits, file size restrictions, or premium features. It's an open-source effort to make working with LLMs more efficient for everyone.

Menguasai TOON CLI

CLI

TOON

Jika Anda pernah bekerja dengan Model Bahasa Besar (LLM), Anda pasti tahu bahwa JSON adalah lingua franca pertukaran data. Namun, Anda juga tahu bahwa JSON terkenal "cerewet". Semua kurung kurawal, tanda kutip, dan kunci berulang tersebut menghabiskan jendela konteks Anda, meningkatkan latensi, dan menaikkan biaya API.

Di sinilah TOON (Notasi Berorientasi Objek) bersinar. Meskipun pustaka TypeScript sangat bagus untuk kode aplikasi, terkadang Anda hanya perlu menyelesaikan sesuatu dengan cepat di terminal. Baik Anda sedang men-debug prompt, menyiapkan kumpulan data, atau sekadar ingin tahu tentang berapa banyak uang yang dapat Anda hemat untuk token, CLI @toon-format/toon adalah teman terbaik Anda.

Dalam panduan ini, kita akan melihat cara memanfaatkan Antarmuka Baris Perintah TOON untuk mengintegrasikan pengoptimalan data langsung ke alur kerja shell Anda.

Mempersiapkan

Salah satu hal terbaik tentang perkakas JavaScript modern adalah Anda sering kali tidak perlu "menginstal" apa pun untuk memulai. Jika Anda hanya ingin mencoba TOON pada satu file, Anda dapat menggunakan npx untuk menjalankan biner secara langsung:

npx @toon-format/cli input.json -o output.toon

Namun, jika Anda berencana untuk sering menggunakannya—dan begitu Anda melihat penghematan token, kemungkinan besar Anda akan menggunakannya—instalasi global adalah cara yang tepat. Ini memberi Anda akses ke perintah toon singkat di mana saja di sistem Anda.

npm install -g @toon-format/cli 
# atau 
pnpm tambahkan -g @toon-format/cli

Setelah terinstal, Anda siap untuk mulai menyusutkan data Anda.

Keajaiban Deteksi Otomatis

TOON CLI dirancang untuk menjadi cerdas tentang apa yang Anda coba lakukan. Anda jarang perlu secara eksplisit memerintahkannya untuk menyandikan atau mendekode; itu melihat ekstensi file Anda untuk memutuskan.

Jika Anda memberinya file .json, Anda dianggap ingin menyandikannya ke TOON. Jika Anda memberikan file .toon, file tersebut akan beralih ke mode decoding untuk mengembalikan JSON kepada Anda.

# Secara otomatis mengkodekan ke TOON 
toon data.json -o terkompresi.toon 

# Secara otomatis menerjemahkan ke JSON 
toon terkompresi.toon -o dipulihkan.json

Namun CLI benar-benar membuktikan manfaatnya ada pada "filosofi Unix"—alat-alat kecil yang digabungkan secara longgar. Karena TOON CLI membaca dari input standar (stdin) dan menulis ke output standar (stdout), Anda dapat menyalurkan data secara langsung melaluinya.

# Pipa JSON langsung ke TOON 
kucing kumpulan data besar.json | toon > data.toon 

# Gema objek cepat untuk melihat tampilannya di TOON 
echo '{"nama": "Ada", "peran": "admin"}' | toon

Saat Anda menyalurkan data melalui stdin, CLI defaultnya adalah mode encode. Jika Anda perlu mendekode aliran data TOON yang berasal dari proses lain, cukup tambahkan tanda --decode (atau -d).

Menganalisis Penghematan Token

Mengoptimalkan format data seringkali berupa permainan menebak. "Jika saya menghapus spasi, berapa banyak yang bisa saya hemat?" "Bagaimana jika saya beralih ke YAML?"

TOON CLI menghilangkan dugaan dengan tanda --stats. Saat melakukan pengkodean, opsi ini menghitung perkiraan jumlah token dan segera menunjukkan penghematannya. Ini sangat berharga ketika Anda menganggarkan anggaran untuk panggilan LLM bervolume tinggi.

konteks toon.json --stats

Anda mungkin melihat keluaran yang menunjukkan pengurangan ukuran sebesar 30% atau 40%. Itu bukan hanya ruang disk; yaitu latensi 40% lebih sedikit dan biaya token input 40% lebih rendah.

Penyetelan Lanjutan: Pembatas dan Pemformatan

Secara default, TOON menggunakan koma untuk memisahkan item array, mirip dengan JSON. Namun, tokenizer LLM yang berbeda berperilaku berbeda dengan tanda baca. Terkadang, karakter tab atau pipa (|) lebih hemat token dibandingkan koma.

CLI memungkinkan Anda menukar pembatas dengan cepat. Jika Anda berurusan dengan data tabular, beralih ke pembatas tab dapat membuat keluaran terlihat lebih bersih dan diproses lebih efisien.

Untuk daftar produk, ini mengubah keluaran dari daftar yang dipisahkan koma menjadi struktur bersih yang dipisahkan tab yang terlihat hampir seperti spreadsheet, yang diurai oleh banyak model dengan sangat baik.

# Gunakan tab untuk item array 
item toon.json --delimiter "\t" -o item.toon

::: tip Tips Pro: Pembatas tab sering kali mengurangi kebutuhan untuk menghindari tanda kutip dan dapat menghasilkan tokenisasi yang lebih baik untuk data numerik. Jika Anda memproses kumpulan data yang sangat besar, coba --delimiter "\t" untuk memaksimalkan efisiensi. :::

Mengompresi Struktur dengan Kunci Lipat

Salah satu fitur baru (diperkenalkan pada spesifikasi v1.5) yang tersedia di CLI adalah Key Folding. Data JSON sering kali sangat bertumpuk, dengan kunci pembungkus seperti data.response.items yang menambah kedalaman struktural tanpa menambah makna.

CLI memungkinkan Anda untuk "melipat" kunci-kunci yang disarangkan ini ke dalam satu jalur yang diberi notasi titik, meratakan hierarki dan menyimpan token pada lekukan dan kurung kurawal.

toon deep-structure.json --kunci-lipat aman -o flat.toon

Ini mengubah objek bersarang:

{ "pengguna": { "profil": { "id": 1 } } }

Menjadi representasi TOON yang ringkas:

pengguna.profil.id: 1

Jika nanti Anda perlu mengonversinya kembali ke JSON penuh, Anda dapat menggunakan tanda --expand-paths safe selama decoding untuk merekonstruksi struktur objek dalam dengan sempurna.

berintegrasi ke dalam Pipelines

Kekuatan sebenarnya dari TOON CLI muncul saat Anda menyatukannya dengan alat lain seperti curl dan jq. Anda dapat mengambil data dari API, memfilternya hingga ke hal-hal penting, dan mengonversinya menjadi TOON dalam satu baris—siap untuk ditempelkan ke prompt atau dikirim ke titik akhir inferensi.

Dalam alur kerja ini, Anda mengambil data, mengekstrak hanya pengguna aktif, mengonversinya ke format TOON yang dibatasi pipa, dan mendapatkan laporan statistik tentang berapa banyak token yang baru saja Anda simpan.

curl -s https://api.example.com/users \ 
| jq '.data.active_users'\ 
| toon --statistik --pembatas "|"

Ringkasan

@toon-format/cli lebih dari sekedar pengonversi file; ini adalah sabuk utilitas untuk era LLM. Dengan memindahkan pemrosesan data ke baris perintah, Anda dapat melakukan iterasi lebih cepat, memvisualisasikan pengoptimalan dengan segera, dan mengintegrasikan format hemat token ke dalam alur kerja teknik yang ada.

Baik Anda menyiapkan dokumen RAG (Retrieval-Augmented Generation) atau sekadar mencoba memasukkan blob JSON yang besar ke dalam jendela konteks kecil, cobalah CLI. Anggaran token Anda akan berterima kasih.