ভার্বোসিটি এবং রিডানডেন্সি

JSON এর সিনট্যাক্স সহজাতভাবে ভার্বস। এটি কোঁকড়া ধনুর্বন্ধনী, বন্ধনী এবং উদ্ধৃতিগুলির মতো অনেক বিরাম চিহ্ন ব্যবহার করে। একটি অ্যারের প্রতিটি বস্তুর জন্য কীগুলি পুনরাবৃত্তি করা হয়, যা উল্লেখযোগ্য টোকেন অপচয়ের দিকে পরিচালিত করে।

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

কী "আইডি" এবং "নাম" পুনরাবৃত্তি হয়, এবং সমস্ত বিরাম চিহ্ন টোকেন গণনায় যোগ করে।

স্কিমা প্রয়োগের অভাব

JSON-এর কোনো বিল্ট-ইন স্কিমা নেই। আপনাকে প্রম্পটের মধ্যেই পছন্দসই কাঠামো এবং ডেটা প্রকারগুলি বর্ণনা করতে হবে, মূল্যবান কনটেক্সট উইন্ডো স্পেস ব্যবহার করে এবং LLM-এর অ-সঙ্গত আউটপুট তৈরির সম্ভাবনা বৃদ্ধি করে।

সিনট্যাকটিক অনমনীয়তা

একটি একক ভুল কমা বা উদ্ধৃতি একটি সম্পূর্ণ JSON নথিকে অবৈধ রেন্ডার করতে পারে। এলএলএমগুলি সহজেই এই ছোট ছোট ভুলগুলি করতে পারে, যার জন্য ডেভেলপারদের শক্তিশালী বৈধতা প্রয়োগ করতে হবে এবং ত্রুটিগুলি পরিচালনা করার জন্য যুক্তি পার্সিং করতে হবে।

{"name": "Alice", "age": 30,}

'30' এর পরের কমা এই JSON কে অনেক পার্সারে অবৈধ করে তোলে।

অদক্ষ টোকেনাইজেশন

এলএলএম টোকেনাইজাররা প্রায়ই বিরাম চিহ্ন এবং বিশেষ অক্ষরকে একাধিক টোকেনে বিভক্ত করে। এর অর্থ হল '{', '}', '"'-এর মতো অক্ষরগুলি একটি একক অক্ষরের চেয়ে বেশি টোকেন ব্যবহার করতে পারে, আরও খরচ বাড়াতে পারে৷