TOON (Token-Oriented Object Notation) is a data serialization format designed specifically for LLM prompts to be highly efficient. It dramatically reduces token usage by 30-60% compared to JSON while remaining structured and human-readable. By using a tabular format for arrays and minimal syntax for objects, TOON makes your data cheaper and faster to process with AI models.

What's the difference between TOON and JSON?

The key difference is token efficiency. JSON is verbose, with brackets, quotes, and commas that consume tokens. TOON is a more compact syntax designed for LLMs, representing arrays as tables with headers and using minimal punctuation. This efficiency directly translates to significant cost savings on your LLM API bills, especially for large or repeated datasets.

How much can I save with TOON?

You can typically expect to save 30-60% on LLM tokens compared to using JSON. For large datasets or frequent API calls, this translates directly into significant cost savings. Data with repeated structures, like API responses or database results, often sees savings at the higher end of this range (40-60%).

Is TOON compatible with all LLMs?

Yes. TOON is a simple text format that works flawlessly with all major large language models, including those from OpenAI (GPT-4), Anthropic (Claude), Google (Gemini), and Meta (LLaMA). Since any LLM can process plain text, they can all be instructed to understand and parse the TOON format with a simple instruction in your prompt.

Can I convert TOON back to JSON?

Absolutely. TOON is fully and losslessly reversible. Our converter tool supports bidirectional conversion, meaning you can convert TOON back to the exact original JSON structure without any data loss. This allows you to use TOON for efficiency and then convert back to JSON for compatibility with other tools.

What types of data work best with TOON?

TOON can represent any valid JSON data, but it delivers the highest token savings (40-60%) on uniform tabular data. This includes database query results, API responses with lists of objects, analytics data, or product catalogs. While TOON fully supports nested objects and arrays, the token reduction is most dramatic with flatter, more repetitive data structures.

Is my data safe when using this converter?

100% safe. All conversion from JSON to TOON (and back) happens locally in your browser. Your data is never sent to any server, never stored, and never seen by us. The converter even works offline once the page has loaded, guaranteeing your information remains private.

Yes, completely free. Both this TOON converter and the underlying TOON format specification are open and free to use without any limits, file size restrictions, or premium features. It's an open-source effort to make working with LLMs more efficient for everyone.

كيفية استخدام TOON مع LLMs

ماجستير

الهندسة السريعة

إذا سبق لك لصق مصفوفة JSON كبيرة في ChatGPT أو Claude، فمن المحتمل أنك شعرت بألم إغلاق نافذة السياق. يعد JSON رائعًا لواجهات برمجة تطبيقات الويب، ولكن بالنسبة لنماذج اللغات الكبيرة (LLMs)، فإنه يعد إسرافًا بشكل لا يصدق. إن تكرار أسماء الحقول مثل "id": و"name": و"timestamp": لكل سجل على حدة ليس مجرد تكرار؛ إنه يحترق من خلال الرموز المميزة التي تكلف أموالاً حقيقية ومساحة سياقية قيمة.

هذا هو المكان الذي يتألق فيه TOON (ترميز كائن الجدول). إنه ليس مجرد تنسيق بيانات؛ إنها استراتيجية لتحسين تفاعلات LLM. من خلال التخلص من ضريبة بناء الجملة لـ JSON وإضافة رؤوس بنية واضحة، يتيح لك TOON تمرير المزيد من البيانات إلى نماذجك والحصول على مخرجات منظمة أكثر موثوقية في المقابل.

اقتصاديات الرمز المميز لـ TOON

لماذا تهتم بتبديل التنسيقات؟ الرياضيات بسيطة. في مصفوفة JSON القياسية من الكائنات، يتم تكرار المخطط لكل صف. إذا كانت لديك قائمة تضم 50 مستخدمًا، فإنك تدفع مقابل أسماء الحقول 50 مرة.

يزيل TOON هذا التكرار من خلال الإعلان عن المخطط مرة واحدة في الرأس. تتبع البيانات تنسيقًا كثيفًا ومبطنًا بالتيار. من الناحية العملية، يؤدي هذا عادةً إلى انخفاض بنسبة 30-60% في استخدام الرمز المميز للمصفوفات الموحدة مقارنة بـ JSON المنسق. عندما تتعامل مع نوافذ سياقية ضخمة أو مكالمات API كبيرة الحجم، فإن هذه الكفاءة تترجم مباشرة إلى فواتير أقل وزمن وصول أقل.

إرسال البيانات: قاعدة "اعرضها، لا تخبرها".

عندما تحتاج إلى LLM لتحليل البيانات، فإن إستراتيجيتك السريعة أمر بالغ الأهمية. غالبًا ما يكتب المبتدئون فقرات طويلة تشرح تنسيق البيانات. مع TOON، لا تحتاج إلى القيام بذلك.

LLMs هي محركات مطابقة للأنماط. إنهم يفهمون TOON بشكل حدسي لأنه يبدو وكأنه مزيج من YAML وCSV، وهي التنسيقات التي شاهدوها مليارات المرات أثناء التدريب.

لإرسال البيانات، ما عليك سوى لفها في كتلة تعليمات برمجية مسيّجة. يمكنك تسميتها بـ "toon"، ولكن حتى إذا كان تمييز بناء الجملة الخاص بالنموذج لا يدعمه رسميًا، فإن النموذج يفهم البنية على الفور.

مثال الإدخال

بدلاً من وصف المخطط، ما عليك سوى تقديم الكتلة:

يخبر الرأس users[3]{id,name,role,lastLogin} النموذج بكل ما يحتاج إلى معرفته: نوع الكيان، والعدد (3 صفوف)، وترتيب الحقول. المسافة البادئة تعالج التسلسل الهرمي. تعمل طبيعة "التوثيق الذاتي" هذه على تحرير موجهك للتركيز على المهمة المنطقية الفعلية بدلاً من تعليمات تحليل بناء الجملة.

هنا سجل نشاط المستخدم. البيانات بتنسيق TOON (مسافة بادئة ذات مسافتين، رؤوس صريحة). 

المستخدمين[3]{المعرف،الاسم،الدور،lastLogin}: 
1,أليس,admin,2025-01-15T10:30:00Z 
2,بوب,user,2025-01-14T15:22:00Z 
3,تشارلي,user,2025-01-13T09:45:00Z 

المهمة: تحليل السجلات وتحديد المستخدمين الذين لم يقوموا بتسجيل الدخول خلال الـ 24 ساعة الماضية.

توليد مخرجات موثوقة

يعد الحصول على LLM لقراءة البيانات أمرًا سهلاً؛ إن الحصول على بيانات منظمة صالحة هو الجزء الصعب. تحب العارضات الهلوسة، أو اقتطاع JSON، أو نسيان الأقواس المغلقة.

يضيف TOON طبقة من الأمان من خلال بناء جملة الرأس الخاص به، وتحديدًا عدد [N]. عندما تطلب من النموذج إخراج TOON، فإنك تطلب منه الالتزام بالبنية قبل إنشاء البيانات.

المطالبة بالجيل

للحصول على أفضل النتائج، قم بتوفير تنسيق الرأس الذي تتوقعه وقم بتوجيه النموذج لملء الصفوف.

من خلال مطالبة النموذج بحساب [N]، فإنك تفرض عملية "سلسلة أفكار" حيث يجب على النموذج تخطيط حجم المخرجات. هذا القيد الذي يبدو صغيرًا يقلل بشكل كبير من احتمال قطع النموذج في منتصف القائمة.

المهمة: إرجاع قائمة بالمستخدمين النشطين بدور "مستخدم". 
التنسيق: استخدم TOON. قم بتعيين القيمة [N] في الرأس لتتناسب مع العدد الدقيق للصفوف التي تقوم بإنشائها. 

الشكل المتوقع: 
المستخدمين [N] {المعرف، الاسم، الدور، LastLogin}:

التحقق باستخدام الوضع الصارم

عندما تتلقى الرد من LLM، لا يجب أن تثق به فقط. هذا هو المكان الذي يصبح فيه الوضع الصارم لمكتبة TOON قوة عظمى لتطبيقات الإنتاج.

إذا كنت تستخدم مكتبة TypeScript، فإن فك التشفير باستخدام الوضع الصارم يتحقق من صحة تطابق الصفوف التي تم إنشاؤها مع عدد الرؤوس:

يتيح لك ذلك اكتشاف مخرجات النموذج "الكسولة" أو عمليات اقتطاع الشبكة برمجيًا على الفور، بدلاً من اكتشاف البيانات السيئة في تطبيقك.

استيراد {فك التشفير} من '@toon-format/toon'؛ 

حاول { 
// إذا كان النموذج يقول [5] ولكنه يوفر 4 صفوف، فسيؤدي ذلك إلى ظهور خطأ. 
const data = decode(modelOutput, { الصارم: صحيح }); 
console.log('تم استلام بيانات صالحة:', data); 
} التقاط (خطأ) { 
console.error('تم اكتشاف هلوسة النموذج أو اقتطاعه:', error.message); 
}

التحسين المتقدم: خدعة علامة التبويب

إذا كنت مهووسًا بالتحسين (وربما يجب أن تكون كذلك في عالم ماجستير إدارة الأعمال)، فيمكنك تحقيق المزيد من الكفاءة عن طريق اختيار محدداتك بحكمة.

تعتبر الفواصل قياسية، ولكن علامات التبويب (\t) غالبًا ما يتم تمثيلها كرمز مميز واحد في العديد من مفردات الرموز المميزة. علاوة على ذلك، نادرًا ما تظهر علامات التبويب داخل حقول النص الطبيعي، مما يقلل الحاجة إلى أحرف الهروب (مثل التفاف السلاسل بين علامتي الاقتباس).

يمكنك تشفير بياناتك باستخدام علامات التبويب قبل إرسالها إلى النموذج:

فقط تذكر إبلاغ النموذج في الموجه: "البيانات مفصولة بعلامات جدولة TOON." يؤدي هذا إلى إنشاء تمثيل مضغوط للغاية يسهل على النموذج تحليله وإنشائه بشكل لا يصدق.

const toonPrompt = encode(data, { delimiter: '\t' });

مثال كامل لسير العمل

دعونا نلقي نظرة على سيناريو العالم الحقيقي: تصفية سجلات النظام. تريد إرسال سجلات أولية إلى النموذج والحصول على قائمة منظمة بالأخطاء مرة أخرى.

** الوصية: **

** مخرجات النموذج: **

سجلات النظام بتنسيق TOON (مفصولة بعلامات جدولة): 

الأحداث[4]{المعرف،المستوى،الرسالة،الطابع الزمني}: 
1,خطأ,انتهت مهلة الاتصال,2025-01-15T10:00:00Z 
2,تحذير,استعلام بطيء,2025-01-15T10:05:00Z 
3,معلومات,تسجيل دخول المستخدم,2025-01-15T10:10:00Z 
4,خطأ,خطأ في قاعدة البيانات025-01-15T10:15:00Z 

المهمة: استخراج كافة الأحداث ذات المستوى "خطأ". قم بإرجاع النتيجة كـ TOON صالح مع عدد رؤوس محدث.

النتيجة:

الأحداث[2]{المعرف،المستوى،الرسالة،الطابع الزمني}: 
1,خطأ,انتهت مهلة الاتصال,2025-01-15T10:00:00Z 
4,خطأ,خطأ في قاعدة البيانات,2025-01-15T10:15:00Z

قام النموذج بتصفية القائمة بشكل صحيح، والأهم من ذلك، قام بتحديث الرأس إلى الأحداث[2]. من خلال فك تشفير هذه الاستجابة، تحصل على مصفوفة نظيفة وآمنة من النوع جاهزة لمنطق التطبيق الخاص بك.

ملخص

يعمل TOON على سد الفجوة بين سهولة القراءة البشرية وكفاءة الآلة. إنه يحترم قيود تكلفة LLMs مع توفير الهيكل المطلوب لتطوير البرمجيات القوية.

ابقها صغيرة: استخدم 2-5 صفوف في الأمثلة الخاصة بك؛ سيتم تعميم النموذج.

كن واضحًا: حدد الرؤوس بوضوح حتى يعرف النموذج المخطط.

التحقق بدقة: استخدم البيانات التعريفية للتنسيق لاكتشاف أخطاء الإنشاء.

من خلال الابتعاد عن JSON لحمولاتك السريعة، فإنك لا تقوم فقط بحفظ الرموز المميزة - بل تقوم ببناء مسار AI أكثر موثوقية.