TOON CLI'da uzmanlaşmak

Büyük Dil Modelleri (LLM'ler) ile çalışıyorsanız, JSON'un veri alışverişinin ortak dili olduğunu biliyorsunuzdur. Ancak JSON'un herkesin bildiği gibi "konuşkan" olduğunu da biliyorsunuz. Tüm bu ayraçlar, alıntılar ve tekrarlanan anahtarlar bağlam pencerenizi tüketir, gecikmeyi artırır ve API maliyetlerini artırır.

TOON'un (Nesneye Yönelik Gösterim) parladığı yer burasıdır. TypeScript kitaplığı uygulama kodu için harika olsa da bazen terminalde işleri hızlı bir şekilde halletmeniz gerekir. İster bir istemde hata ayıklıyor olun, ister bir veri kümesi hazırlıyor olun, ister yalnızca belirteçlerden ne kadar tasarruf edebileceğinizi merak ediyor olun, @toon-format/toon CLI yeni en iyi arkadaşınızdır.

Bu kılavuzda, veri optimizasyonunu doğrudan kabuk iş akışlarınıza entegre etmek için TOON Komut Satırı Arayüzünden nasıl yararlanabileceğinize bakacağız.

Kurulum

Modern JavaScript araçlarının en iyi yanlarından biri, genellikle başlamak için herhangi bir şeyi "yüklemenize" gerek olmamasıdır. TOON'u tek bir dosyada denemek istiyorsanız, ikili dosyayı doğrudan çalıştırmak için 'npx'i kullanabilirsiniz:

npx @toon-format/cli girdi.json -o çıktı.toon 
''''

Ancak bunu sık sık kullanmayı planlıyorsanız ve token tasarruflarını gördüğünüzde büyük olasılıkla anlayacaksınız, gidilecek yol küresel bir kurulumdur. Sisteminizin herhangi bir yerindeki kısa 'toon' komutuna erişmenizi sağlar.

npm install -g @toon-format/cli 
# veya 
pnpm add -g @toon-format/cli 
''''

Kurulduktan sonra verilerinizi küçültmeye hazırsınız.

Otomatik Algılamanın Büyüsü

TOON CLI, yapmaya çalıştığınız şey konusunda akıllı olacak şekilde tasarlanmıştır. Ona kodlamasını veya kodunu çözmesini nadiren açıkça söylemeniz gerekir; karar vermek için dosya uzantılarınıza bakar.

Eğer onu bir .json dosyasıyla beslerseniz, onu TOON'a kodlamak istediğinizi varsayar. Bir .toon dosyası sağlarsanız, size JSON'u geri vermek için kod çözme moduna geçer.

# Otomatik olarak TOON'a kodlanır 
çizgi veri.json -o sıkıştırılmış.toon 

# Otomatik olarak JSON'a kod çözer 
çizgi film sıkıştırılmış.toon -o restore edildi.json 
''''

Ancak CLI'nin gerçekten değerini kanıtladığı yer "Unix felsefesi"dir; küçük araçlar gevşek bir şekilde birleştirilmiştir. TOON CLI standart girişten (stdin) okuyup standart çıkışa (stdout) yazdığından, verileri doğrudan bunun üzerinden aktarabilirsiniz.

# JSON'u doğrudan TOON'a aktarın 
cat büyük veri kümesi.json | çizgi film > veri.toon 

# TOON'da nasıl göründüğünü görmek için hızlı bir nesneyi yankılayın 
echo '{"isim": "Ada", "rol": "yönetici"}' | çizgi film 
''''

Verileri stdin yoluyla aktardığınızda, CLI varsayılan olarak kodlama moduna geçer. Başka bir süreçten gelen TOON verisi akışının kodunu çözmeniz gerekiyorsa, "--decode" (veya "-d") işaretini eklemeniz yeterlidir.

Token Tasarruflarını Analiz Etme

Veri formatlarını optimize etmek genellikle oyunları tahmin etmekle ilgilidir. "Boşlukları kaldırırsam ne kadar tasarruf ederim?" "YAML'ye geçersem ne olur?"

TOON CLI, --stats bayrağıyla tahminleri ortadan kaldırır. Kodlama sırasında bu seçenek tahmini jeton sayısını hesaplar ve size tasarrufları anında gösterir. Yüksek hacimli LLM çağrıları için bütçe ayırdığınızda bu çok değerlidir.

toon context.json --stats 
''''

Boyutun %30 veya %40 küçüldüğünü gösteren çıktıyı görebilirsiniz. Bu yalnızca disk alanı değil; bu, %40 daha az gecikme süresi ve giriş tokenlarında %40 daha düşük maliyet demektir.

Gelişmiş Ayarlama: Sınırlayıcılar ve Biçimlendirme

Varsayılan olarak TOON, JSON'a benzer şekilde dizi öğelerini ayırmak için virgül kullanır. Bununla birlikte, farklı LLM belirteçleri noktalama işaretleri konusunda farklı davranır. Bazen bir sekme karakteri veya dikey çizgi (|) virgülden daha verimlidir.

CLI, sınırlayıcıları anında değiştirmenize olanak tanır. Tablo verileriyle çalışıyorsanız sekme sınırlayıcıya geçmek, çıktının daha temiz görünmesini ve daha verimli işlenmesini sağlayabilir.

Bir ürün listesi için bu, çıktıyı virgülle ayrılmış bir listeden, çoğu modelin son derece iyi bir şekilde ayrıştırdığı, neredeyse bir elektronik tabloya benzeyen temiz, sekmeyle ayrılmış bir yapıya dönüştürür.

# Dizi öğeleri için sekmeleri kullanın 
toon items.json --delimiter "\t" -o items.toon 
''''

::: ipucu Profesyonel İpucu: Sekme sınırlayıcılar genellikle tırnak işaretlerinden kaçma ihtiyacını azaltır ve sayısal veriler için daha iyi simgeleştirmeyle sonuçlanabilir. Çok büyük veri kümeleri işliyorsanız, verimliliğin her bir kısmını kısmak için --delimiter "\t"yi deneyin. :::

Anahtar Katlama ile Yapıyı Sıkıştırma

CLI'de bulunan daha yeni özelliklerden biri (spesifikasyon v1.5'te tanıtılmıştır) Anahtar Katlama'dır. JSON verileri genellikle derin bir şekilde iç içe geçmiş durumdadır ve "data.response.items" gibi anlam katmadan yapısal derinlik katan sarmalayıcı anahtarlara sahiptir.

CLI, bu iç içe geçmiş anahtarları nokta işaretli tek bir yola "katlamanıza" olanak tanır, hiyerarşiyi düzleştirir ve girinti ve ayraçlardaki belirteçleri kaydeder.

toon deep-structure.json --anahtar katlama kasası -o flat.toon 
''''

Bu, iç içe geçmiş nesneleri dönüştürür:

{ "kullanıcı": { "profil": { "id": 1 } } } 
''''

Kısa bir TOON temsiline göre:

kullanıcı.profil.id: 1 
''''

Bunu daha sonra tekrar tam JSON'a dönüştürmeniz gerekirse, derin nesne yapısını mükemmel bir şekilde yeniden oluşturmak için kod çözme sırasında `--expand-paths güvenli' bayrağını kullanabilirsiniz.

Boru Hatlarına entegrasyon

TOON CLI'nin gerçek gücü, onu 'curl' ve 'jq' gibi diğer araçlarla zincirlediğinizde ortaya çıkar. Bir API'den veri alabilir, onu temel unsurlara göre filtreleyebilir ve tek bir satırda TOON'a dönüştürebilirsiniz; bir bilgi istemine yapıştırılmaya veya bir çıkarım uç noktasına gönderilmeye hazırdır.

Bu iş akışında verileri getirir, yalnızca aktif kullanıcıları çıkarır, bunu çizgiyle sınırlandırılmış TOON formatına dönüştürür ve az önce kaç token kaydettiğinize ilişkin bir istatistik raporu alırsınız.

curl -s https://api.example.com/users \ 
| jq '.data.active_users' \ 
| çizgi --istatistikler --delimiter "|" 
''''

Özet

@toon-format/cli bir dosya dönüştürücüsünden daha fazlasıdır; LLM dönemi için bir yardımcı kemerdir. Veri işlemeyi komut satırına taşıyarak daha hızlı yineleme yapabilir, optimizasyonları anında görselleştirebilir ve belirteç açısından verimli formatları mevcut mühendislik iş akışlarınıza entegre edebilirsiniz.

İster RAG (Geri Alma-Artırılmış Üretim) belgeleri hazırlıyor olun, ister yalnızca büyük bir JSON bloğunu küçük bir bağlam penceresine sığdırmaya çalışıyor olun, CLI'ye bir göz atın. Token bütçeniz size teşekkür edecek.