ਜੇਕਰ ਤੁਸੀਂ Large Language Models (LLMs) ਨਾਲ ਕੰਮ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ JSON ਡੇਟਾ ਐਕਸਚੇਂਜ ਦੀ ਭਾਸ਼ਾ ਹੈ। ਹਾਲਾਂਕਿ, ਤੁਸੀਂ ਇਹ ਵੀ ਜਾਣਦੇ ਹੋ ਕਿ JSON ਬਦਨਾਮ "ਗੱਲਬਾਤ" ਹੈ। ਉਹ ਸਾਰੇ ਬ੍ਰੇਸ, ਕੋਟਸ, ਅਤੇ ਦੁਹਰਾਈਆਂ ਜਾਣ ਵਾਲੀਆਂ ਕੁੰਜੀਆਂ ਤੁਹਾਡੀ ਸੰਦਰਭ ਵਿੰਡੋ ਨੂੰ ਖਾ ਜਾਂਦੀਆਂ ਹਨ, ਲੇਟੈਂਸੀ ਵਧਾਉਂਦੀਆਂ ਹਨ, ਅਤੇ API ਲਾਗਤਾਂ ਨੂੰ ਵਧਾਉਂਦੀਆਂ ਹਨ।

ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਟੂਨ (ਆਬਜੈਕਟ-ਓਰੀਐਂਟਡ ਨੋਟੇਸ਼ਨ) ਚਮਕਦਾ ਹੈ। ਜਦੋਂ ਕਿ ਟਾਈਪਸਕ੍ਰਿਪਟ ਲਾਇਬ੍ਰੇਰੀ ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਲਈ ਬਹੁਤ ਵਧੀਆ ਹੈ, ਕਈ ਵਾਰ ਤੁਹਾਨੂੰ ਟਰਮੀਨਲ ਵਿੱਚ ਚੀਜ਼ਾਂ ਨੂੰ ਜਲਦੀ ਪੂਰਾ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਭਾਵੇਂ ਤੁਸੀਂ ਇੱਕ ਪ੍ਰੋਂਪਟ ਨੂੰ ਡੀਬੱਗ ਕਰ ਰਹੇ ਹੋ, ਇੱਕ ਡੇਟਾਸੈਟ ਤਿਆਰ ਕਰ ਰਹੇ ਹੋ, ਜਾਂ ਸਿਰਫ਼ ਇਸ ਬਾਰੇ ਉਤਸੁਕ ਹੋ ਕਿ ਤੁਸੀਂ ਟੋਕਨਾਂ 'ਤੇ ਕਿੰਨਾ ਪੈਸਾ ਬਚਾ ਸਕਦੇ ਹੋ, @toon-format/toon CLI ਤੁਹਾਡਾ ਨਵਾਂ ਸਭ ਤੋਂ ਵਧੀਆ ਦੋਸਤ ਹੈ।

ਇਸ ਗਾਈਡ ਵਿੱਚ, ਅਸੀਂ ਦੇਖਾਂਗੇ ਕਿ ਡੇਟਾ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਨੂੰ ਸਿੱਧੇ ਤੁਹਾਡੇ ਸ਼ੈੱਲ ਵਰਕਫਲੋ ਵਿੱਚ ਜੋੜਨ ਲਈ ਟੂਨ ਕਮਾਂਡ ਲਾਈਨ ਇੰਟਰਫੇਸ ਦਾ ਲਾਭ ਕਿਵੇਂ ਲੈਣਾ ਹੈ।

ਸੈੱਟਅੱਪ ਹੋ ਰਿਹਾ ਹੈ

ਆਧੁਨਿਕ JavaScript ਟੂਲਿੰਗ ਬਾਰੇ ਸਭ ਤੋਂ ਵਧੀਆ ਚੀਜ਼ਾਂ ਵਿੱਚੋਂ ਇੱਕ ਇਹ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਅਕਸਰ ਸ਼ੁਰੂਆਤ ਕਰਨ ਲਈ ਕੁਝ ਵੀ "ਇੰਸਟਾਲ" ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਸਿਰਫ਼ ਇੱਕ ਫਾਈਲ 'ਤੇ TOON ਨੂੰ ਅਜ਼ਮਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਬਾਇਨਰੀ ਨੂੰ ਸਿੱਧਾ ਚਲਾਉਣ ਲਈ npx ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ:

ਬਾਸ਼ npx @toon-format/cli input.json -o output.toon

ਹਾਲਾਂਕਿ, ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ ਅਕਸਰ ਵਰਤਣ ਦੀ ਯੋਜਨਾ ਬਣਾ ਰਹੇ ਹੋ - ਅਤੇ ਇੱਕ ਵਾਰ ਜਦੋਂ ਤੁਸੀਂ ਟੋਕਨ ਬਚਤ ਵੇਖਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਕਰੋਗੇ - ਇੱਕ ਗਲੋਬਲ ਇੰਸਟਾਲੇਸ਼ਨ ਜਾਣ ਦਾ ਤਰੀਕਾ ਹੈ। ਇਹ ਤੁਹਾਨੂੰ ਤੁਹਾਡੇ ਸਿਸਟਮ ਵਿੱਚ ਕਿਤੇ ਵੀ ਸੰਖੇਪ ਟੂਨ ਕਮਾਂਡ ਤੱਕ ਪਹੁੰਚ ਦਿੰਦਾ ਹੈ।

``ਬਾਸ਼ npm install -g @toon-format/cli

ਜਾਂ

pnpm add -g @toon-format/cli ``

ਇੱਕ ਵਾਰ ਸਥਾਪਿਤ ਹੋਣ ਤੋਂ ਬਾਅਦ, ਤੁਸੀਂ ਆਪਣੇ ਡੇਟਾ ਨੂੰ ਸੁੰਗੜਨਾ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਤਿਆਰ ਹੋ।

ਆਟੋ-ਡਿਟੈਕਸ਼ਨ ਦਾ ਜਾਦੂ

TOON CLI ਨੂੰ ਤੁਸੀਂ ਜੋ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਹੋ ਉਸ ਬਾਰੇ ਚੁਸਤ ਹੋਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਤੁਹਾਨੂੰ ਘੱਟ ਹੀ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਇਸਨੂੰ ਏਨਕੋਡ ਜਾਂ ਡੀਕੋਡ ਕਰਨ ਲਈ ਦੱਸਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ; ਇਹ ਫੈਸਲਾ ਕਰਨ ਲਈ ਤੁਹਾਡੀਆਂ ਫਾਈਲ ਐਕਸਟੈਂਸ਼ਨਾਂ ਨੂੰ ਦੇਖਦਾ ਹੈ।

ਜੇਕਰ ਤੁਸੀਂ ਇਸਨੂੰ .json ਫਾਈਲ ਫੀਡ ਕਰਦੇ ਹੋ, ਤਾਂ ਇਹ ਮੰਨਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਇਸਨੂੰ TOON ਵਿੱਚ ਏਨਕੋਡ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ। ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ .toon ਫ਼ਾਈਲ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹੋ, ਤਾਂ ਇਹ ਤੁਹਾਨੂੰ JSON ਵਾਪਸ ਦੇਣ ਲਈ ਡੀਕੋਡਿੰਗ ਮੋਡ 'ਤੇ ਸਵਿਚ ਕਰਦੀ ਹੈ।

``ਬਾਸ਼

ਟੂਨ ਨੂੰ ਆਟੋਮੈਟਿਕਲੀ ਏਨਕੋਡ ਕਰਦਾ ਹੈ

toon data.json -o compressed.toon

ਆਟੋਮੈਟਿਕਲੀ JSON ਨੂੰ ਡੀਕੋਡ ਕਰਦਾ ਹੈ

toon compressed.toon -o restored.json ``

ਪਰ ਜਿੱਥੇ CLI ਸੱਚਮੁੱਚ ਸਾਬਤ ਕਰਦਾ ਹੈ ਕਿ ਇਸਦੀ ਕੀਮਤ "ਯੂਨਿਕਸ ਫ਼ਲਸਫ਼ੇ" ਵਿੱਚ ਹੈ - ਛੋਟੇ ਔਜ਼ਾਰ ਢਿੱਲੇ ਤੌਰ 'ਤੇ ਸ਼ਾਮਲ ਹੋਏ। ਕਿਉਂਕਿ TOON CLI ਸਟੈਂਡਰਡ ਇਨਪੁਟ (stdin) ਤੋਂ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਸਟੈਂਡਰਡ ਆਉਟਪੁੱਟ (stdout) 'ਤੇ ਲਿਖਦਾ ਹੈ, ਤੁਸੀਂ ਇਸ ਰਾਹੀਂ ਸਿੱਧਾ ਡਾਟਾ ਪਾਈਪ ਕਰ ਸਕਦੇ ਹੋ।

``ਬਾਸ਼

JSON ਨੂੰ ਸਿੱਧਾ TOON ਵਿੱਚ ਪਾਈਪ ਕਰੋ

cat large-dataset.json | toon > data.toon

ਇਹ ਦੇਖਣ ਲਈ ਇੱਕ ਤੇਜ਼ ਵਸਤੂ ਨੂੰ ਗੂੰਜੋ ਕਿ ਇਹ ਟੂਨ ਵਿੱਚ ਕਿਵੇਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ

echo '{"name": "Ada", "role": "admin"}' | ਟੂਨ ``

ਜਦੋਂ ਤੁਸੀਂ stdin ਰਾਹੀਂ ਡਾਟਾ ਪਾਈਪ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ CLI ਡਿਫੌਲਟ ਏਨਕੋਡ ਮੋਡ ਵਿੱਚ ਹੋ ਜਾਂਦਾ ਹੈ। ਜੇਕਰ ਤੁਹਾਨੂੰ ਕਿਸੇ ਹੋਰ ਪ੍ਰਕਿਰਿਆ ਤੋਂ ਆਉਣ ਵਾਲੇ TOON ਡੇਟਾ ਦੀ ਇੱਕ ਸਟ੍ਰੀਮ ਨੂੰ ਡੀਕੋਡ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਬਸ --ਡੀਕੋਡ (ਜਾਂ -d) ਫਲੈਗ ਸ਼ਾਮਲ ਕਰੋ।

ਟੋਕਨ ਬਚਤ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ

ਡਾਟਾ ਫਾਰਮੈਟਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਅਕਸਰ ਗੇਮਾਂ ਦਾ ਅਨੁਮਾਨ ਲਗਾਉਣ ਬਾਰੇ ਹੁੰਦਾ ਹੈ। "ਜੇ ਮੈਂ ਵ੍ਹਾਈਟਸਪੇਸ ਨੂੰ ਹਟਾ ਦਿੰਦਾ ਹਾਂ, ਤਾਂ ਮੈਂ ਕਿੰਨੀ ਬਚਤ ਕਰਾਂਗਾ?" "ਜੇ ਮੈਂ YAML 'ਤੇ ਸਵਿਚ ਕਰਾਂ ਤਾਂ ਕੀ ਹੋਵੇਗਾ?"

TOON CLI --stats ਫਲੈਗ ਨਾਲ ਅਨੁਮਾਨ ਨੂੰ ਖਤਮ ਕਰਦਾ ਹੈ। ਏਨਕੋਡਿੰਗ ਕਰਦੇ ਸਮੇਂ, ਇਹ ਵਿਕਲਪ ਅਨੁਮਾਨਿਤ ਟੋਕਨ ਗਿਣਤੀ ਦੀ ਗਣਨਾ ਕਰਦਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਤੁਰੰਤ ਬਚਤ ਦਿਖਾਉਂਦਾ ਹੈ। ਜਦੋਂ ਤੁਸੀਂ ਉੱਚ-ਵਾਲੀਅਮ LLM ਕਾਲਾਂ ਲਈ ਬਜਟ ਬਣਾ ਰਹੇ ਹੋ ਤਾਂ ਇਹ ਅਨਮੋਲ ਹੈ।

ਬਾਸ਼ toon context.json --stats

ਤੁਸੀਂ ਆਉਟਪੁੱਟ ਦੇਖ ਸਕਦੇ ਹੋ ਜੋ ਆਕਾਰ ਵਿੱਚ 30% ਜਾਂ 40% ਕਮੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਹ ਸਿਰਫ਼ ਡਿਸਕ ਸਪੇਸ ਹੀ ਨਹੀਂ ਹੈ; ਜੋ ਕਿ ਇਨਪੁਟ ਟੋਕਨਾਂ 'ਤੇ 40% ਘੱਟ ਲੇਟੈਂਸੀ ਅਤੇ 40% ਘੱਟ ਲਾਗਤ ਹੈ।

ਐਡਵਾਂਸਡ ਟਿਊਨਿੰਗ: ਡੀਲੀਮੀਟਰ ਅਤੇ ਫਾਰਮੈਟਿੰਗ

ਮੂਲ ਰੂਪ ਵਿੱਚ, TOON ਐਰੇ ਆਈਟਮਾਂ ਨੂੰ ਵੱਖ ਕਰਨ ਲਈ ਕਾਮਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, JSON ਦੇ ਸਮਾਨ। ਹਾਲਾਂਕਿ, ਵੱਖ-ਵੱਖ LLM ਟੋਕਨਾਈਜ਼ਰ ਵਿਰਾਮ ਚਿੰਨ੍ਹਾਂ ਦੇ ਨਾਲ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਵਿਵਹਾਰ ਕਰਦੇ ਹਨ। ਕਈ ਵਾਰ, ਇੱਕ ਟੈਬ ਅੱਖਰ ਜਾਂ ਪਾਈਪ (|) ਇੱਕ ਕੌਮੇ ਨਾਲੋਂ ਵਧੇਰੇ ਟੋਕਨ-ਕੁਸ਼ਲ ਹੁੰਦਾ ਹੈ।

CLI ਤੁਹਾਨੂੰ ਫਲਾਈ 'ਤੇ ਡੈਲੀਮੀਟਰਾਂ ਨੂੰ ਸਵੈਪ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਸਾਰਣੀਬੱਧ ਡੇਟਾ ਨਾਲ ਕੰਮ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਇੱਕ ਟੈਬ ਡੀਲੀਮੀਟਰ 'ਤੇ ਸਵਿਚ ਕਰਨ ਨਾਲ ਆਉਟਪੁੱਟ ਸਾਫ਼ ਦਿਖਾਈ ਦੇ ਸਕਦੀ ਹੈ ਅਤੇ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਪ੍ਰਕਿਰਿਆ ਕਰ ਸਕਦੀ ਹੈ।

ਉਤਪਾਦਾਂ ਦੀ ਸੂਚੀ ਲਈ, ਇਹ ਆਉਟਪੁੱਟ ਨੂੰ ਕਾਮੇ ਨਾਲ ਵੱਖ ਕੀਤੀ ਸੂਚੀ ਤੋਂ ਇੱਕ ਸਾਫ਼, ਟੈਬ-ਵੱਖ ਕੀਤੇ ਢਾਂਚੇ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ ਜੋ ਲਗਭਗ ਇੱਕ ਸਪ੍ਰੈਡਸ਼ੀਟ ਵਾਂਗ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨੂੰ ਬਹੁਤ ਸਾਰੇ ਮਾਡਲ ਬਹੁਤ ਵਧੀਆ ਢੰਗ ਨਾਲ ਪਾਰਸ ਕਰਦੇ ਹਨ।

``ਬਾਸ਼

ਐਰੇ ਆਈਟਮਾਂ ਲਈ ਟੈਬਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ

toon items.json --delimiter "\t" -o items.toon ``

::: ਟਿਪ ਪ੍ਰੋ ਟਿਪ: ਟੈਬ ਡੀਲੀਮੀਟਰ ਅਕਸਰ ਕੋਟਸ ਤੋਂ ਬਚਣ ਦੀ ਲੋੜ ਨੂੰ ਘਟਾਉਂਦੇ ਹਨ ਅਤੇ ਨਤੀਜੇ ਵਜੋਂ ਸੰਖਿਆਤਮਕ ਡੇਟਾ ਲਈ ਬਿਹਤਰ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਹੋ ਸਕਦੇ ਹਨ। ਜੇਕਰ ਤੁਸੀਂ ਵੱਡੇ ਡੇਟਾਸੇਟਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਹਰ ਕੁਸ਼ਲਤਾ ਨੂੰ ਨਿਚੋੜਨ ਲਈ --ਡਿਲੀਮੀਟਰ "\t" ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋ। :::

ਕੁੰਜੀ ਫੋਲਡਿੰਗ ਨਾਲ ਸੰਕੁਚਿਤ ਬਣਤਰ

CLI ਵਿੱਚ ਉਪਲਬਧ ਨਵੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚੋਂ ਇੱਕ (ਵਿਸ਼ੇਸ਼ v1.5 ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ) ਕੀ ਫੋਲਡਿੰਗ ਹੈ। 'data.response.items' ਵਰਗੀਆਂ ਰੈਪਰ ਕੁੰਜੀਆਂ ਦੇ ਨਾਲ, JSON ਡੇਟਾ ਅਕਸਰ ਡੂੰਘਾਈ ਨਾਲ ਨੇਸਟਡ ਹੁੰਦਾ ਹੈ ਜੋ ਬਿਨਾਂ ਅਰਥ ਜੋੜੇ ਢਾਂਚਾਗਤ ਡੂੰਘਾਈ ਨੂੰ ਜੋੜਦੀਆਂ ਹਨ।

CLI ਤੁਹਾਨੂੰ ਇਹਨਾਂ ਨੇਸਟਡ ਕੁੰਜੀਆਂ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਡਾਟ-ਨੋਟਿਡ ਮਾਰਗ ਵਿੱਚ "ਫੋਲਡ" ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਲੜੀ ਨੂੰ ਸਮਤਲ ਕਰਦਾ ਹੈ ਅਤੇ ਇੰਡੈਂਟੇਸ਼ਨ ਅਤੇ ਬਰੇਸ 'ਤੇ ਟੋਕਨਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਦਾ ਹੈ।

ਬਾਸ਼ toon deep-structure.json --key-folding safe -o flat.toon

ਇਹ ਨੇਸਟਡ ਵਸਤੂਆਂ ਨੂੰ ਬਦਲਦਾ ਹੈ:

ਜੇਸਨ { "ਉਪਭੋਗਤਾ": { "ਪ੍ਰੋਫਾਈਲ": { "ਆਈਡੀ": 1 } } }

ਇੱਕ ਸੰਖੇਪ TOON ਨੁਮਾਇੰਦਗੀ ਵਿੱਚ:

ਯਮਲ user.profile.id: 1

ਜੇਕਰ ਤੁਹਾਨੂੰ ਬਾਅਦ ਵਿੱਚ ਇਸਨੂੰ ਵਾਪਸ ਪੂਰੇ JSON ਵਿੱਚ ਬਦਲਣ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਡੂੰਘੇ ਵਸਤੂ ਢਾਂਚੇ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਾਲ ਪੁਨਰਗਠਨ ਕਰਨ ਲਈ ਡੀਕੋਡਿੰਗ ਦੌਰਾਨ --expand-paths safe ਫਲੈਗ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ।

ਪਾਈਪਲਾਈਨਾਂ ਵਿੱਚ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ

TOON CLI ਦੀ ਅਸਲ ਸ਼ਕਤੀ ਉਦੋਂ ਆਉਂਦੀ ਹੈ ਜਦੋਂ ਤੁਸੀਂ ਇਸਨੂੰ ਹੋਰ ਟੂਲਸ ਜਿਵੇਂ ਕਿ curl ਅਤੇ jq ਨਾਲ ਜੋੜਦੇ ਹੋ। ਤੁਸੀਂ ਇੱਕ API ਤੋਂ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ, ਇਸਨੂੰ ਜ਼ਰੂਰੀ ਵਿੱਚ ਫਿਲਟਰ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਇਸਨੂੰ ਇੱਕ ਲਾਈਨ ਵਿੱਚ TOON ਵਿੱਚ ਬਦਲ ਸਕਦੇ ਹੋ - ਇੱਕ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਪੇਸਟ ਕਰਨ ਲਈ ਤਿਆਰ ਜਾਂ ਇੱਕ ਅਨੁਮਾਨ ਅੰਤਮ ਬਿੰਦੂ ਤੇ ਭੇਜਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਇਸ ਵਰਕਫਲੋ ਵਿੱਚ, ਤੁਸੀਂ ਡੇਟਾ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋ, ਸਿਰਫ ਕਿਰਿਆਸ਼ੀਲ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਐਕਸਟਰੈਕਟ ਕਰਦੇ ਹੋ, ਇਸਨੂੰ ਇੱਕ ਪਾਈਪ-ਡਿਲਿਮਿਟਡ ਟੂਨ ਫਾਰਮੈਟ ਵਿੱਚ ਬਦਲਦੇ ਹੋ, ਅਤੇ ਇੱਕ ਅੰਕੜੇ ਦੀ ਰਿਪੋਰਟ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋ ਕਿ ਤੁਸੀਂ ਹੁਣੇ ਕਿੰਨੇ ਟੋਕਨ ਸੁਰੱਖਿਅਤ ਕੀਤੇ ਹਨ।

ਬਾਸ਼ curl -s https://api.example.com/users \ | jq '.data.active_users' \ | toon --stats --delimiter "|"

ਸੰਖੇਪ

@toon-format/cli ਸਿਰਫ਼ ਇੱਕ ਫਾਈਲ ਕਨਵਰਟਰ ਤੋਂ ਵੱਧ ਹੈ; ਇਹ LLM ਯੁੱਗ ਲਈ ਇੱਕ ਉਪਯੋਗਤਾ ਬੈਲਟ ਹੈ। ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਕਮਾਂਡ ਲਾਈਨ 'ਤੇ ਲੈ ਕੇ, ਤੁਸੀਂ ਤੇਜ਼ੀ ਨਾਲ ਦੁਹਰਾ ਸਕਦੇ ਹੋ, ਤੁਰੰਤ ਅਨੁਕੂਲਤਾ ਦੀ ਕਲਪਨਾ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਟੋਕਨ-ਕੁਸ਼ਲ ਫਾਰਮੈਟਾਂ ਨੂੰ ਆਪਣੇ ਮੌਜੂਦਾ ਇੰਜੀਨੀਅਰਿੰਗ ਵਰਕਫਲੋਜ਼ ਵਿੱਚ ਜੋੜ ਸਕਦੇ ਹੋ।

ਭਾਵੇਂ ਤੁਸੀਂ RAG (ਰੀਟ੍ਰੀਵਲ-ਔਗਮੈਂਟਡ ਜਨਰੇਸ਼ਨ) ਦਸਤਾਵੇਜ਼ ਤਿਆਰ ਕਰ ਰਹੇ ਹੋ ਜਾਂ ਇੱਕ ਛੋਟੇ ਪ੍ਰਸੰਗ ਵਿੰਡੋ ਵਿੱਚ ਇੱਕ ਵਿਸ਼ਾਲ JSON ਬਲੌਬ ਨੂੰ ਫਿੱਟ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਹੋ, CLI ਨੂੰ ਇੱਕ ਸਪਿਨ ਦਿਓ। ਤੁਹਾਡਾ ਟੋਕਨ ਬਜਟ ਤੁਹਾਡਾ ਧੰਨਵਾਦ ਕਰੇਗਾ।