வாய்மொழி மற்றும் பணிநீக்கம்

JSON இன் தொடரியல் இயல்பாகவே வாய்மொழியாக உள்ளது. இது சுருள் பிரேஸ்கள், அடைப்புக்குறிகள் மற்றும் மேற்கோள்கள் போன்ற பல நிறுத்தற்குறிகளைப் பயன்படுத்துகிறது. ஒரு வரிசையில் உள்ள ஒவ்வொரு பொருளுக்கும் விசைகள் மீண்டும் மீண்டும் செய்யப்படுகின்றன, இது குறிப்பிடத்தக்க டோக்கன் கழிவுகளுக்கு வழிவகுக்கிறது.

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

"ஐடி" மற்றும் "பெயர்" விசைகள் மீண்டும் மீண்டும் வருகின்றன, மேலும் அனைத்து நிறுத்தற்குறிகளும் டோக்கன் எண்ணிக்கையில் சேர்க்கப்படுகின்றன.

திட்ட அமலாக்கமின்மை

JSON இல் உள்ளமைக்கப்பட்ட திட்டம் இல்லை. நீங்கள் விரும்பிய கட்டமைப்பு மற்றும் தரவு வகைகளை வரியில் விவரிக்க வேண்டும், மதிப்புமிக்க சூழல் சாளர இடத்தைப் பயன்படுத்துகிறது மற்றும் LLM இணக்கமற்ற வெளியீட்டை உருவாக்கும் வாய்ப்புகளை அதிகரிக்கிறது.

தொடரியல் விறைப்பு

ஒரு தவறான காற்புள்ளி அல்லது மேற்கோள் முழு JSON ஆவணத்தையும் செல்லாததாக்கும். LLMகள் இந்த சிறிய தவறுகளை எளிதாக செய்யலாம், டெவலப்பர்கள் வலுவான சரிபார்ப்பு மற்றும் பிழைகளை கையாள தர்க்கத்தை பாகுபடுத்த வேண்டும்.

{"name": "Alice", "age": 30,}

'30'க்குப் பின் வரும் காற்புள்ளி இந்த JSONஐ பல பாகுபடுத்திகளில் செல்லாததாக்குகிறது.

திறமையற்ற டோக்கனைசேஷன்

LLM டோக்கனைசர்கள் பெரும்பாலும் நிறுத்தற்குறிகள் மற்றும் சிறப்பு எழுத்துக்களை பல டோக்கன்களாக பிரிக்கின்றன. அதாவது, '{', '}', '"' போன்ற எழுத்துக்கள் ஒரு எழுத்தை விட அதிக டோக்கன்களை உட்கொள்ளும், மேலும் செலவுகளை அதிகரிக்கும்.