Breedsprakigheid en redundantie

De syntaxis van JSON is inherent uitgebreid. Er wordt veel interpunctie gebruikt, zoals accolades, haakjes en aanhalingstekens. Sleutels worden herhaald voor elk object in een array, wat leidt tot aanzienlijke tokenverspilling.

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

De toetsen "id" en "name" worden herhaald, en alle leestekens dragen bij aan het aantal tokens.

Gebrek aan schemahandhaving

JSON heeft geen ingebouwd schema. U moet de gewenste structuur en gegevenstypen binnen de prompt zelf beschrijven, waardoor u waardevolle contextvensterruimte in beslag neemt en de kans vergroot dat de LLM niet-conforme uitvoer genereert.

Syntactische stijfheid

Een enkele misplaatste komma of aanhalingsteken kan een volledig JSON-document ongeldig maken. LLM's kunnen deze kleine fouten gemakkelijk maken, waardoor ontwikkelaars robuuste validatie- en parseerlogica moeten implementeren om fouten af ​​te handelen.

{"name": "Alice", "age": 30,}

De afsluitende komma na '30' maakt deze JSON in veel parsers ongeldig.

Inefficiënte tokenisatie

LLM-tokenizers splitsen interpunctie en speciale tekens vaak op in meerdere tokens. Dit betekent dat tekens als '{', '}', '"' meer tokens kunnen verbruiken dan één enkel teken, waardoor de kosten verder worden opgedreven.