Por qué TOON Supera a Otros Formatos
Si estás construyendo aplicaciones LLM, específicamente sistemas de Generación Aumentada por Recuperación (RAG) o agentes que consumen grandes conjuntos de datos, probablemente estés luchando una guerra constante en dos frentes: costo de tokens y límites de ventana de contexto.
Durante años, JSON ha sido la lengua franca predeterminada del intercambio de datos. Es legible por humanos (en su mayoría) y ubicuo. Pero cuando pegas un array JSON de 500 filas en un prompt, estás quemando miles de tokens en nombres de campos repetidos ("id":, "nombre":, "email":) que tienen cero valor semántico para la fila específica.
Entra TOON. Es un formato diseñado específicamente para resolver el problema de la relación señal/ruido en las entradas de LLM. He estado profundizando en los últimos benchmarks, y los resultados son sorprendentes: TOON no solo está ahorrando espacio; en realidad está ayudando a modelos como GPT-5-nano y Gemini-2.5-flash a entender los datos mejor.
Vamos a desglosar por qué TOON está venciendo a los pesos pesados (JSON, CSV, YAML, XML) y veamos los números brutos.
La Trampa de la Verbosidad: JSON vs. TOON
El mayor enemigo de la eficiencia de tokens es la repetición de estructura. Veamos un conjunto de datos estándar de Análisis de Series Temporales. En JSON, cada punto de datos individual lleva el equipaje de su esquema.
JSON (Estándar) Tokens usados en benchmark: 22,250
Eso es mucho espacio desperdiciado. Ahora, mira el equivalente en TOON. TOON define el esquema una vez en el encabezado y luego cambia a un diseño denso estilo CSV para los valores.
TOON Tokens usados en benchmark: 9,120
El Resultado: Una reducción masiva del 59.0% en el uso de tokens.
Al eliminar las claves repetidas, TOON te permite ajustar más historial en la ventana de contexto del modelo. Pero crucialmente, a diferencia de CSV, mantiene la conciencia de tipo y la estructura explícita a través de la definición del encabezado metricas[5]{...}.
¿Por Qué No Simplemente Usar CSV?
Este es el contraargumento más común. "Si quieres datos planos, solo usa CSV".
El problema es que los datos del mundo real rara vez son perfectamente planos. CSV se desmorona completamente en el momento en que tienes estructuras anidadas, listas dentro de objetos o descripciones complejas que contienen comas y comillas.
En los benchmarks, específicamente la Pista de Estructura Mixta (que incluye pedidos de comercio electrónico y registros de eventos), CSV fue excluido por completo porque no podía representar los datos sin un aplanamiento con pérdidas.
TOON maneja esto con gracia. Permite objetos anidados mientras optimiza los arrays. En una prueba de 100 repositorios de GitHub (que contienen descripciones de texto mixtas y metadatos), la brecha de eficiencia fue clara:
- JSON: 15,145 tokens
- TOON: 8,745 tokens (42.3% de ahorro)
Incluso contra JSON Compacto (minificado), TOON todavía exprimió casi un 24% más de ahorro. Cuando estás pagando por millón de tokens, eso es ROI inmediato.
Precisión: El Ganador Sorpresa
Aquí está la parte que me sorprendió. Generalmente, cuando comprimes datos, pierdes claridad. Esperarías que el LLM tuviera dificultades para analizar un formato más denso. Los benchmarks muestran lo contrario.
A través de 209 preguntas de recuperación de datos probadas en modelos como Claude Haiku, Gemini Flash y GPT-5-nano, TOON logró una precisión de recuperación del 73.9%, en comparación con el 69.7% del JSON estándar.
¿Por qué? Probablemente se reduce a la Carga Cognitiva (o el equivalente en LLM).
- Menos Ruido: El modelo no tiene que atender a miles de tokens
"clave"repetidos. Los valores relevantes están más cerca unos de otros en el mecanismo de atención.
- Metadatos Explícitos: Los encabezados de TOON incluyen el conteo (
[N]) y los nombres de campo explícitamente.
- Conciencia de Estructura: En pruebas preguntando sobre la estructura del conjunto de datos (ej., "¿Cuántas filas hay?"), TOON alcanzó un 88% de precisión, mientras que JSON y XML se quedaron atrás. El conteo explícito en el encabezado de TOON (
repositorios[100]) actúa como una pista que evita que el modelo tenga que "contar" tokens manualmente, algo en lo que los LLM son notoriamente malos.
La Fatiga de XML y YAML
Deberíamos mencionar brevemente a los otros contendientes.
XML es el gran perdedor aquí. Es verboso, difícil de leer y costoso de procesar. En los benchmarks, XML usó consistentemente la mayor cantidad de tokens (más de 5,000 para un conjunto de registros de empleados uniforme que TOON representó en ~2,700) y tuvo la precisión más baja (67.1%).
YAML funciona mejor que XML pero aún sufre de inflación de tokens en comparación con TOON. Aunque YAML es excelente para archivos de configuración humana, su naturaleza sensible a los espacios en blanco y la repetición de claves lo hacen subóptimo para contextos de datos de alto volumen. En la prueba de "Pedidos de comercio electrónico", YAML usó ~14% más tokens que TOON.
¿Cuándo Cambiar?
Los datos son bastante concluyentes. Si estás tratando con:
- Listas de Objetos: Registros, historiales de transacciones, resultados de búsqueda o catálogos de productos.
- Tuberías RAG: Donde recuperas fragmentos de datos de una base de datos para alimentar un prompt.
- APIs de Alto Volumen: Donde el ancho de banda y la latencia importan.
TOON ofrece un escenario de "lo mejor de ambos mundos". Obtienes la densidad de CSV con la integridad estructural de JSON.
En los benchmarks, GPT-5-nano logró una asombrosa precisión del 90.9% en datos formateados en TOON. Esto sugiere que los modelos más nuevos e inteligentes se están volviendo cada vez más adeptos a analizar estos formatos optimizados, lo que significa que la "penalización de legibilidad" de alejarse de JSON es efectivamente cero para la máquina.
Si todavía estás formateando tu contexto RAG como JSON.stringify(data, null, 2), efectivamente estás pagando un "impuesto de legibilidad" en cada llamada a la API. Podría ser hora de cambiar formatos.