ਵਰਬੋਸਿਟੀ ਅਤੇ ਰਿਡੰਡੈਂਸੀ

JSON ਦਾ ਸੰਟੈਕਸ ਮੂਲ ਰੂਪ ਵਿੱਚ ਵਰਬੋਜ਼ ਹੈ। ਇਹ ਬਹੁਤ ਸਾਰੇ ਵਿਰਾਮ ਚਿੰਨ੍ਹਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਕਰਲੀ ਬਰੇਸ, ਬਰੈਕਟਸ ਅਤੇ ਕੋਟਸ। ਕੁੰਜੀਆਂ ਨੂੰ ਇੱਕ ਐਰੇ ਵਿੱਚ ਹਰੇਕ ਵਸਤੂ ਲਈ ਦੁਹਰਾਇਆ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਮਹੱਤਵਪੂਰਨ ਟੋਕਨ ਦੀ ਰਹਿੰਦ-ਖੂੰਹਦ ਹੁੰਦੀ ਹੈ।

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

ਕੁੰਜੀਆਂ "id" ਅਤੇ "ਨਾਮ" ਨੂੰ ਦੁਹਰਾਇਆ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਸਾਰੇ ਵਿਰਾਮ ਚਿੰਨ੍ਹ ਟੋਕਨ ਗਿਣਤੀ ਵਿੱਚ ਜੋੜਦੇ ਹਨ।

ਸਕੀਮਾ ਲਾਗੂ ਕਰਨ ਦੀ ਘਾਟ

JSON ਕੋਲ ਕੋਈ ਬਿਲਟ-ਇਨ ਸਕੀਮਾ ਨਹੀਂ ਹੈ। ਤੁਹਾਨੂੰ ਪ੍ਰੋਂਪਟ ਦੇ ਅੰਦਰ ਹੀ ਲੋੜੀਦੀ ਬਣਤਰ ਅਤੇ ਡੇਟਾ ਕਿਸਮਾਂ ਦਾ ਵਰਣਨ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਕੀਮਤੀ ਸੰਦਰਭ ਵਿੰਡੋ ਸਪੇਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਅਤੇ LLM ਦੁਆਰਾ ਗੈਰ-ਅਨੁਕੂਲ ਆਉਟਪੁੱਟ ਪੈਦਾ ਕਰਨ ਦੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਨੂੰ ਵਧਾਉਂਦੇ ਹੋਏ।

ਸਿੰਟੈਕਟਿਕ ਕਠੋਰਤਾ

ਇੱਕ ਇਕੱਲਾ ਗਲਤ ਕੌਮਾ ਜਾਂ ਹਵਾਲਾ ਇੱਕ ਪੂਰੇ JSON ਦਸਤਾਵੇਜ਼ ਨੂੰ ਅਵੈਧ ਬਣਾ ਸਕਦਾ ਹੈ। LLM ਆਸਾਨੀ ਨਾਲ ਇਹ ਛੋਟੀਆਂ ਗਲਤੀਆਂ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਸ ਲਈ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਤਰਕ ਨੂੰ ਮਜ਼ਬੂਤ ​​​​ਪ੍ਰਮਾਣਿਕਤਾ ਅਤੇ ਤਰਕ ਪਾਰਸ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

{"name": "Alice", "age": 30,}

'30' ਤੋਂ ਬਾਅਦ ਦਾ ਪਿਛਲਾ ਕੌਮਾ ਇਸ JSON ਨੂੰ ਕਈ ਪਾਰਸਰਾਂ ਵਿੱਚ ਅਵੈਧ ਬਣਾਉਂਦਾ ਹੈ।

ਅਕੁਸ਼ਲ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ

LLM ਟੋਕਨਾਈਜ਼ਰ ਅਕਸਰ ਵਿਰਾਮ ਚਿੰਨ੍ਹ ਅਤੇ ਵਿਸ਼ੇਸ਼ ਅੱਖਰਾਂ ਨੂੰ ਮਲਟੀਪਲ ਟੋਕਨਾਂ ਵਿੱਚ ਵੰਡਦੇ ਹਨ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ '{', '}', '"' ਵਰਗੇ ਅੱਖਰ ਇੱਕ ਸਿੰਗਲ ਅੱਖਰ ਤੋਂ ਵੱਧ ਟੋਕਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਨ, ਲਾਗਤਾਂ ਨੂੰ ਵਧਾ ਸਕਦੇ ਹਨ।