વર્બોસિટી અને રીડન્ડન્સી

JSON નું વાક્યરચના સ્વાભાવિક રીતે વર્બોઝ છે. તે સર્પાકાર કૌંસ, કૌંસ અને અવતરણ જેવા ઘણા બધા વિરામચિહ્નોનો ઉપયોગ કરે છે. એરેમાં દરેક ઑબ્જેક્ટ માટે કી પુનરાવર્તિત થાય છે, જે નોંધપાત્ર ટોકન કચરો તરફ દોરી જાય છે.

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

"id" અને "નામ" કી પુનરાવર્તિત થાય છે, અને તમામ વિરામચિહ્નો ટોકન ગણતરીમાં ઉમેરે છે.

સ્કીમા અમલીકરણનો અભાવ

JSON પાસે કોઈ બિલ્ટ-ઇન સ્કીમા નથી. તમારે પ્રોમ્પ્ટમાં જ ઇચ્છિત માળખું અને ડેટા પ્રકારોનું વર્ણન કરવાની જરૂર છે, મૂલ્યવાન સંદર્ભ વિંડો સ્પેસનો ઉપયોગ કરીને અને LLM બિન-સુસંગત આઉટપુટ જનરેટ કરવાની તકો વધારવી.

સિન્ટેક્ટિક કઠોરતા

એક ખોટો અલ્પવિરામ અથવા અવતરણ સમગ્ર JSON દસ્તાવેજને અમાન્ય રેન્ડર કરી શકે છે. LLM આ નાની ભૂલો સરળતાથી કરી શકે છે, જેમાં ડેવલપર્સને ભૂલોને હેન્ડલ કરવા માટે મજબૂત માન્યતા અને પાર્સિંગ તર્કનો અમલ કરવાની જરૂર પડે છે.

{"name": "Alice", "age": 30,}

'30' પછીનો પાછળનો અલ્પવિરામ ઘણા વિશ્લેષકોમાં આ JSON ને અમાન્ય બનાવે છે.

બિનકાર્યક્ષમ ટોકનાઇઝેશન

એલએલએમ ટોકનાઇઝર્સ ઘણીવાર વિરામચિહ્નો અને વિશિષ્ટ અક્ષરોને બહુવિધ ટોકન્સમાં વિભાજિત કરે છે. આનો અર્થ એ છે કે '{', '}', '"' જેવા અક્ષરો એક અક્ષર કરતાં વધુ ટોકન્સનો ઉપયોગ કરી શકે છે, વધુ ખર્ચ વધારી શકે છે.