Szczegółowość i redundancja

Składnia JSON jest z natury gadatliwa. Używa wielu znaków interpunkcyjnych, takich jak nawiasy klamrowe, nawiasy i cudzysłowy. Klucze są powtarzane dla każdego obiektu w tablicy, co prowadzi do znacznych strat tokenów.

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

Klawisze „id” i „name” są powtarzane, a wszystkie znaki interpunkcyjne są dodawane do liczby tokenów.

Brak egzekwowania schematu

JSON nie ma wbudowanego schematu. Musisz opisać żądaną strukturę i typy danych w samym znaku zachęty, zużywając cenne miejsce w oknie kontekstowym i zwiększając ryzyko, że LLM wygeneruje niezgodne dane wyjściowe.

Sztywność syntaktyczna

Pojedynczy źle umieszczony przecinek lub cudzysłów może spowodować, że cały dokument JSON będzie nieważny. LLM mogą z łatwością popełnić te drobne błędy, co wymaga od programistów wdrożenia solidnej logiki sprawdzania poprawności i analizowania w celu obsługi błędów.

{"name": "Alice", "age": 30,}

Końcowy przecinek po „30” powoduje, że ten JSON jest nieprawidłowy w wielu analizatorach składni.

Nieefektywna tokenizacja

Tokenizatory LLM często dzielą znaki interpunkcyjne i specjalne na wiele tokenów. Oznacza to, że znaki takie jak „{”, „}”, „” mogą zużywać więcej tokenów niż pojedynczy znak, co dodatkowo zwiększa koszty.