Cómo reducir un 77% el coste de ejecutar modelos de IA cambiando solo el vocabulario

Los modelos de lenguaje como Qwen o Gemma procesan el texto dividiéndolo en piezas llamadas tokens (las unidades mínimas que el modelo lee y escribe). Un tokenizador (el componente que decide cómo cortar el texto) heredado de un modelo general suele estar diseñado para funcionar en decenas de idiomas y todo tipo de textos, desde código de programación hasta documentos legales. Pero cuando se usa ese modelo para una tarea específica —por ejemplo, corregir redacciones escolares en portugués— ese vocabulario universal se vuelve ineficiente: divide en muchas piezas exactamente lo que la aplicación repite con más frecuencia, y obliga al modelo a calcular probabilidades para miles de tokens que nunca va a usar.

Un equipo de investigadores de Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) aplicó esta idea a un corrector automático de redacciones que ejecutan en producción, basado en Qwen3-4B (un modelo de lenguaje de 4.000 millones de parámetros). El sistema recibe una redacción, la consigna y textos de apoyo, y devuelve una evaluación en formato JSON (un tipo de archivo estructurado con llaves y etiquetas) con una calificación y un comentario por cada competencia evaluada. El tokenizador original de Qwen3-4B tenía 151.669 entradas, muchas de ellas en idiomas o contextos que el corrector nunca utiliza. El equipo desarrolló un método llamado VocabX que reconstruye ese vocabulario priorizando las expresiones que más cuestan generar, en lugar de las más frecuentes.

La clave está en entender que leer texto es mucho más barato que generarlo. La ejecución de un modelo de lenguaje tiene dos fases: prefill (el modelo procesa toda la entrada de una sola pasada, reutilizando los pesos —los parámetros aprendidos durante el entrenamiento— para cada token de entrada) y decode (el modelo genera la respuesta un token a la vez, y cada token requiere una pasada completa por la red). En la segunda fase, la GPU (el procesador especializado que ejecuta el modelo) pasa la mayor parte del tiempo esperando que lleguen datos desde la memoria, no calculando. En el caso del corrector, generar un token cuesta 7,4 veces más que leer uno. Además, la última capa del modelo —la que convierte el estado interno en una probabilidad para cada token posible— debe leer y multiplicar una fila de parámetros por cada entrada del vocabulario en cada token generado. Un vocabulario más pequeño reduce directamente ese coste.

VocabX combina dos estrategias bajo el mismo criterio de coste. Primero, reconstruye cómo se cortan las palabras en piezas (nivel de sub-palabras), adaptándolo al dominio específico. Segundo, identifica secuencias completas que se repiten —desde expresiones cortas hasta líneas enteras del sobre JSON que envuelve cada respuesta— y las convierte en un solo token, que llaman macro tokens. Ambas capas se optimizan conjuntamente, y cada token candidato se evalúa no por cuántas veces aparece, sino por cuánto coste de ejecución elimina, ponderando más las apariciones en la respuesta que en la entrada. Métodos previos como fast vocabulary transfer o multi-word tokenization reducían la fragmentación, pero elegían tokens por frecuencia y trabajaban en una sola capa.

Según los resultados preliminares del artículo académico que el equipo publicará próximamente (aún en revisión), aplicar VocabX al corrector de redacciones redujo el coste medido de inferencia (el proceso de ejecutar el modelo para generar una respuesta) en un 77%, sin modificar el modelo base ni cambiar los datos de entrenamiento. El vocabulario pasó de unas 152.000 entradas a unas 65.000, lo que también redujo el tamaño de la capa de salida en casi un 10% del total de parámetros del modelo. El método está pensado especialmente para modelos pequeños que sirven peticiones en lotes moderados, donde el cuello de botella es el ancho de banda de la memoria y donde cada token generado pesa mucho en la factura final.