जर तुम्ही लार्ज लँग्वेज मॉडेल्स (LLM) सह काम करत असाल, तर तुम्हाला माहिती आहे की JSON ही डेटा एक्सचेंजची लिंग्वा फ्रँका आहे. तथापि, तुम्हाला हे देखील माहित आहे की JSON कुप्रसिद्धपणे "चॅटी" आहे. त्या सर्व ब्रेसेस, कोट्स आणि पुनरावृत्ती केलेल्या की तुमची संदर्भ विंडो खाऊन टाकतात, विलंब वाढवतात आणि API खर्च वाढवतात.

इथेच TOON (ऑब्जेक्ट-ओरिएंटेड नोटेशन) चमकते. TypeScript लायब्ररी ऍप्लिकेशन कोडसाठी उत्तम असली तरी, काहीवेळा तुम्हाला टर्मिनलमध्ये गोष्टी लवकर पूर्ण कराव्या लागतात. तुम्ही प्रॉम्प्ट डीबग करत असाल, डेटासेट तयार करत असाल किंवा टोकन्सवर तुम्ही किती पैसे वाचवू शकता याची उत्सुकता असली तरीही, @toon-format/toon CLI हा तुमचा नवीन चांगला मित्र आहे.

या मार्गदर्शकामध्ये, आम्ही थेट तुमच्या शेल वर्कफ्लोमध्ये डेटा ऑप्टिमायझेशन समाकलित करण्यासाठी TOON कमांड लाइन इंटरफेसचा फायदा कसा घ्यायचा ते पाहू.

सेट अप करत आहे

आधुनिक JavaScript टूलींग बद्दलची एक उत्तम गोष्ट अशी आहे की आपल्याला सहसा प्रारंभ करण्यासाठी काहीही "इंस्टॉल" करण्याची आवश्यकता नसते. तुम्हाला फक्त एकाच फाइलवर TOON वापरून पहायचे असल्यास, तुम्ही थेट बायनरी चालवण्यासाठी npx वापरू शकता:

``बाश npx @toon-format/cli input.json -o output.toon

तथापि, जर तुम्ही हे वारंवार वापरण्याची योजना आखत असाल - आणि एकदा तुम्ही टोकन बचत पाहाल, तर तुम्ही कदाचित कराल - जागतिक प्रतिष्ठापन हा मार्ग आहे. हे तुम्हाला तुमच्या सिस्टममध्ये कोठेही संक्षिप्त toon कमांडमध्ये प्रवेश देते.

``बाश npm install -g @toon-format/cli

किंवा

pnpm जोडा -g @toon-format/cli

एकदा इंस्टॉल केल्यावर, तुम्ही तुमचा डेटा संकुचित करण्यासाठी तयार आहात.

ऑटो-डिटेक्शनची जादू

TOON CLI तुम्ही जे करण्याचा प्रयत्न करत आहात त्याबद्दल स्मार्ट होण्यासाठी डिझाइन केले आहे. एन्कोड किंवा डीकोड करण्यासाठी तुम्हाला क्वचितच स्पष्टपणे सांगण्याची आवश्यकता आहे; ते ठरवण्यासाठी तुमची फाईल विस्तार पाहते.

जर तुम्ही ती .json फाईल फीड केली, तर ती तुम्हाला TOON मध्ये एन्कोड करायची आहे असे गृहीत धरते. तुम्ही .toon फाइल दिल्यास, ती तुम्हाला JSON परत देण्यासाठी डीकोडिंग मोडवर स्विच करते.

``बाश

TOON वर स्वयंचलितपणे एन्कोड होते

toon data.json -o compressed.toon

JSON वर स्वयंचलितपणे डीकोड करते

toon compressed.toon -o restored.json

परंतु जिथे CLI खरोखरच त्याची योग्यता सिद्ध करते ते "युनिक्स तत्त्वज्ञान" मध्ये आहे—छोटी साधने सहज सामील झाली आहेत. कारण TOON CLI मानक इनपुट (stdin) वरून वाचते आणि मानक आउटपुट (stdout) वर लिहिते, तुम्ही त्याद्वारे थेट डेटा पाईप करू शकता.

``बाश

पाईप JSON थेट TOON मध्ये

cat large-dataset.json | toon > data.toon

TOON मध्ये ते कसे दिसते ते पाहण्यासाठी द्रुत ऑब्जेक्ट इको करा

echo '{"name": "Ada", "role": "admin"}' | तून

तुम्ही stdin द्वारे डेटा पाइपिंग करत असताना, CLI डीफॉल्ट एनकोड मोडवर होते. तुम्हाला दुसऱ्या प्रक्रियेतून येणारा TOON डेटाचा प्रवाह डीकोड करण्याची आवश्यकता असल्यास, फक्त --decode (किंवा -d) ध्वज जोडा.

टोकन बचतीचे विश्लेषण करणे

डेटा फॉरमॅट ऑप्टिमाइझ करणे हे सहसा गेमचा अंदाज लावणे असते. "मी व्हाइटस्पेस काढून टाकल्यास, मी किती बचत करू?" "मी YAML वर स्विच केले तर?"

TOON CLI --stats ध्वजासह अंदाज काढून टाकते. एन्कोडिंग करताना, हा पर्याय अंदाजे टोकन संख्या मोजतो आणि तुम्हाला लगेच बचत दाखवतो. तुम्ही उच्च-व्हॉल्यूम LLM कॉलसाठी बजेट करत असताना हे अमूल्य आहे.

``बाश toon context.json --stats

तुम्हाला आउटपुट 30% किंवा 40% आकारात घट दर्शवणारे दिसेल. ते फक्त डिस्क स्पेस नाही; ते 40% कमी विलंब आणि इनपुट टोकनवर 40% कमी खर्च आहे.

प्रगत ट्यूनिंग: सीमांकक आणि स्वरूपन

डीफॉल्टनुसार, TOON JSON प्रमाणेच ॲरे आयटम वेगळे करण्यासाठी स्वल्पविराम वापरतो. तथापि, भिन्न LLM टोकनायझर्स विरामचिन्हांसह वेगळ्या पद्धतीने वागतात. कधीकधी, टॅब वर्ण किंवा पाईप (|) स्वल्पविरामापेक्षा जास्त टोकन-कार्यक्षम असतात.

CLI तुम्हाला फ्लायवर डिलिमिटर स्वॅप करण्याची परवानगी देते. तुम्ही टॅब्युलर डेटा हाताळत असल्यास, टॅब डिलिमिटरवर स्विच केल्याने आउटपुट अधिक स्वच्छ दिसू शकते आणि अधिक कार्यक्षमतेने प्रक्रिया केली जाऊ शकते.

उत्पादनांच्या सूचीसाठी, हे स्वल्पविरामाने विभक्त केलेल्या सूचीमधून आउटपुटचे रूपांतर एका स्वच्छ, टॅब-विभक्त संरचनेत करते जे जवळजवळ स्प्रेडशीटसारखे दिसते, जे अनेक मॉडेल्स अपवादात्मकपणे पार्स करतात.

``बाश

ॲरे आयटमसाठी टॅब वापरा

toon items.json --delimiter "\t" -o items.toon

::: टीप प्रो टीप: टॅब डिलिमिटर अनेकदा एस्केपिंग कोट्सची आवश्यकता कमी करतात आणि परिणामी संख्यात्मक डेटासाठी चांगले टोकनीकरण होऊ शकते. जर तुम्ही मोठ्या डेटासेटवर प्रक्रिया करत असाल, तर प्रत्येक बिटची कार्यक्षमता पिळून काढण्यासाठी --डिलिमिटर "\t" वापरून पहा. :::

की फोल्डिंगसह संकुचित संरचना

CLI मध्ये उपलब्ध असलेल्या नवीन वैशिष्ट्यांपैकी एक (स्पेक v1.5 मध्ये सादर केलेले) की फोल्डिंग आहे. JSON डेटा अनेकदा खोलवर नेस्टेड असतो, data.response.items सारख्या रॅपर की ज्या अर्थ न जोडता स्ट्रक्चरल डेप्थ जोडतात.

सीएलआय तुम्हाला या नेस्टेड की एकाच डॉट-नोटेड मार्गामध्ये "फोल्ड" करण्याची परवानगी देते, पदानुक्रम सपाट करते आणि इंडेंटेशन आणि ब्रेसेसवर टोकन जतन करते.

``बाश toon deep-structure.json --key-folding safe -o flat.toon

हे नेस्टेड वस्तूंचे रूपांतर करते:

``json { "वापरकर्ता": { "प्रोफाइल": { "आयडी": 1 } } }

थोडक्यात TOON प्रतिनिधित्व:

``यम्ल user.profile.id: १

तुम्हाला हे नंतर पूर्ण JSON मध्ये रूपांतरित करायचे असल्यास, तुम्ही डीकोडिंग दरम्यान --विस्तार-पथ सुरक्षित ध्वज वापरू शकता डीप ऑब्जेक्ट स्ट्रक्चरची पुनर्रचना करण्यासाठी.

पाइपलाइनमध्ये एकत्रीकरण

TOON CLI ची खरी ताकद तेव्हा येते जेव्हा तुम्ही त्याला curl आणि jq सारख्या इतर साधनांनी साखळी करता. तुम्ही API वरून डेटा आणू शकता, ते आवश्यक गोष्टींमध्ये फिल्टर करू शकता आणि एका ओळीत ते TOON मध्ये रूपांतरित करू शकता—प्रॉम्प्टमध्ये पेस्ट करण्यासाठी किंवा अनुमान अंत्यबिंदूवर पाठवण्यास तयार आहे.

या वर्कफ्लोमध्ये, तुम्ही डेटा आणता, फक्त सक्रिय वापरकर्ते काढता, ते पाईप-डिलिमिटेड TOON फॉरमॅटमध्ये रूपांतरित करता आणि तुम्ही नुकतेच किती टोकन जतन केले याचा आकडेवारी अहवाल मिळवा.

``बाश curl -s https://api.example.com/users \ | jq '.data.active_users' \ | toon --stats --delimiter "|"

सारांश

@toon-format/cli हे फक्त फाइल कनवर्टरपेक्षा अधिक आहे; एलएलएम युगासाठी हा युटिलिटी बेल्ट आहे. डेटा प्रोसेसिंग कमांड लाइनवर हलवून, तुम्ही जलद पुनरावृत्ती करू शकता, ऑप्टिमायझेशन त्वरित व्हिज्युअलाइज करू शकता आणि टोकन-कार्यक्षम स्वरूप तुमच्या विद्यमान अभियांत्रिकी वर्कफ्लोमध्ये समाकलित करू शकता.

तुम्ही RAG (Retrieval-Augmented Generation) दस्तऐवज तयार करत असाल किंवा फक्त एका छोट्या संदर्भ विंडोमध्ये एक मोठा JSON ब्लॉब बसवण्याचा प्रयत्न करत असाल, CLI ला स्पिन द्या. तुमचे टोकन बजेट तुमचे आभार मानेल.