शब्दशः आणि रिडंडंसी

JSON चे वाक्यरचना मूळतः शब्दशः आहे. हे कुरळे कंस, कंस आणि अवतरण यांसारखे बरेच विरामचिन्हे वापरते. ॲरेमधील प्रत्येक ऑब्जेक्टसाठी की पुनरावृत्ती केल्या जातात, ज्यामुळे लक्षणीय टोकन कचरा होतो.

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

"आयडी" आणि "नाव" की पुनरावृत्ती केल्या जातात आणि सर्व विरामचिन्हे टोकन संख्येत जोडतात.

स्कीमा अंमलबजावणीचा अभाव

JSON मध्ये अंगभूत स्कीमा नाही. तुम्हाला प्रॉम्प्टमध्येच इच्छित रचना आणि डेटा प्रकारांचे वर्णन करणे आवश्यक आहे, मौल्यवान संदर्भ विंडो स्पेस वापरणे आणि LLM गैर-अनुपालक आउटपुट तयार करण्याची शक्यता वाढवणे.

सिंटॅक्टिक कडकपणा

एकच चुकीचा स्वल्पविराम किंवा कोट संपूर्ण JSON दस्तऐवज अवैध बनवू शकतो. LLM सहजपणे या छोट्या चुका करू शकतात, ज्यासाठी विकसकांना त्रुटी हाताळण्यासाठी मजबूत प्रमाणीकरण आणि पार्सिंग लॉजिक लागू करणे आवश्यक आहे.

{"name": "Alice", "age": 30,}

'30' नंतर आलेला स्वल्पविराम अनेक विश्लेषकांमध्ये या JSON ला अवैध बनवतो.

अकार्यक्षम टोकनायझेशन

LLM टोकनायझर्स अनेकदा विरामचिन्हे आणि विशेष वर्णांना एकाधिक टोकनमध्ये विभाजित करतात. याचा अर्थ '{', '}', '"' सारखी अक्षरे एका वर्णापेक्षा जास्त टोकन वापरू शकतात, पुढील खर्च वाढवू शकतात.