വാചാടോപവും ആവർത്തനവും

JSON-ൻ്റെ വാക്യഘടന അന്തർലീനമായി വാചാലമാണ്. ഇത് ചുരുണ്ട ബ്രേസുകൾ, ബ്രാക്കറ്റുകൾ, ഉദ്ധരണികൾ എന്നിവ പോലെ ധാരാളം വിരാമചിഹ്നങ്ങൾ ഉപയോഗിക്കുന്നു. ഒരു അറേയിലെ എല്ലാ ഒബ്ജക്റ്റിനും കീകൾ ആവർത്തിക്കുന്നു, ഇത് കാര്യമായ ടോക്കൺ മാലിന്യത്തിലേക്ക് നയിക്കുന്നു.

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

"ഐഡി", "പേര്" എന്നീ കീകൾ ആവർത്തിക്കുന്നു, കൂടാതെ എല്ലാ വിരാമചിഹ്നങ്ങളും ടോക്കൺ എണ്ണത്തിൽ ചേർക്കുന്നു.

സ്കീമ നിർവ്വഹണത്തിൻ്റെ അഭാവം

JSON-ന് ബിൽറ്റ്-ഇൻ സ്കീമയില്ല. പ്രോംപ്റ്റിനുള്ളിൽ തന്നെ ആവശ്യമുള്ള ഘടനയും ഡാറ്റ തരങ്ങളും നിങ്ങൾ വിവരിക്കേണ്ടതുണ്ട്, വിലയേറിയ സന്ദർഭ വിൻഡോ സ്പേസ് ഉപയോഗിക്കുകയും എൽഎൽഎം അനുസരണമില്ലാത്ത ഔട്ട്പുട്ട് സൃഷ്ടിക്കുന്നതിനുള്ള സാധ്യത വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു.

വാക്യഘടന ദൃഢത

ഒരൊറ്റ തെറ്റായ കോമ അല്ലെങ്കിൽ ഉദ്ധരണിക്ക് മുഴുവൻ JSON പ്രമാണവും അസാധുവാകും. LLM-കൾക്ക് ഈ ചെറിയ തെറ്റുകൾ എളുപ്പത്തിൽ വരുത്താൻ കഴിയും, പിശകുകൾ കൈകാര്യം ചെയ്യുന്നതിനായി ഡെവലപ്പർമാർ ശക്തമായ മൂല്യനിർണ്ണയവും പാഴ്‌സിംഗ് ലോജിക്കും നടപ്പിലാക്കേണ്ടതുണ്ട്.

{"name": "Alice", "age": 30,}

'30'-ന് ശേഷമുള്ള കോമ ഈ JSON-നെ പല പാർസറുകളിലും അസാധുവാക്കുന്നു.

കാര്യക്ഷമമല്ലാത്ത ടോക്കണൈസേഷൻ

LLM ടോക്കണൈസറുകൾ പലപ്പോഴും വിരാമചിഹ്നങ്ങളെയും പ്രത്യേക പ്രതീകങ്ങളെയും ഒന്നിലധികം ടോക്കണുകളായി വിഭജിക്കുന്നു. ഇതിനർത്ഥം '{', '}', '"' പോലുള്ള പ്രതീകങ്ങൾക്ക് ഒരൊറ്റ പ്രതീകത്തേക്കാൾ കൂടുതൽ ടോക്കണുകൾ ഉപയോഗിക്കാമെന്നും ഇത് ചെലവ് വർദ്ധിപ്പിക്കുകയും ചെയ്യും.