Многословие и избыточность

Синтаксис JSON по своей сути многословен. Он использует много знаков препинания, таких как фигурные скобки, круглые скобки и кавычки. Ключи повторяются для каждого объекта в массиве, что приводит к значительной потере токенов.

[
  {"id": 1, "name": "Alice"},
  {"id": 2, "name": "Bob"}
]

Ключи «id» и «name» повторяются, а все знаки препинания добавляются к счетчику токенов.

Отсутствие соблюдения схемы

JSON не имеет встроенной схемы. Вам необходимо описать желаемую структуру и типы данных в самом приглашении, занимая ценное пространство контекстного окна и увеличивая вероятность того, что LLM создаст несовместимый вывод.

Синтаксическая жесткость

Одна неправильная запятая или кавычка могут сделать весь документ JSON недействительным. LLM могут легко допустить эти небольшие ошибки, требуя от разработчиков реализации надежной логики проверки и анализа для обработки ошибок.

{"name": "Alice", "age": 30,}

Запятая после «30» делает этот JSON недействительным во многих синтаксических анализаторах.

Неэффективная токенизация

Токенизаторы LLM часто разделяют знаки препинания и специальные символы на несколько токенов. Это означает, что такие символы, как '{', '}', '"' могут потреблять больше токенов, чем один символ, что еще больше увеличивает затраты.