Tokenizador v2: medido con texto que no había visto

Esta mañana publicamos que nuestro tokenizador necesitaba 1,27 tokens por palabra frente a 1,45 de Salamandra. Era una muestra pequeña y del mismo tipo de texto con el que se entrenó. Hoy lo hemos repetido como hay que hacerlo: entrenado con el corpus de 147 millones de tokens y evaluado con 4.715 palabras de Wikipedia que ningún tokenizador había visto.

Resultado

• Propio v2 con 48.000 unidades: 1,297 tokens por palabra.
• Propio v2 con 32.000: 1,338.
• Salamandra del BSC, con 256.000 unidades: 1,390.
• Qwen3, con 151.669: 1,692.

El de 48.000 gana con un vocabulario cinco veces más pequeño que el de Salamandra, lo que además abarata el modelo porque la tabla de embeddings es mucho menor. La ventaja real sobre Salamandra es del 7 %, no del 12 %: la cifra de la mañana estaba inflada por medir sobre texto parecido al de entrenamiento. Preferimos corregirnos en público.

También hoy

• Un descargador de legislación del BOE por su API de datos abiertos. Las disposiciones oficiales no tienen derechos de autor, así que es el corpus legal en español más limpio posible. Trae solo las secciones normativas, no las de nombramientos ni anuncios, y elimina correos y teléfonos.
• La API ya sirve embeddings en formato OpenAI, con registro de uso. Es la pieza que necesita el asistente documental que estamos construyendo.