Definición:
Un token de IA es una unidad de información que un modelo utiliza para representar y procesar contenido. En los modelos de lenguaje, puede corresponder a una palabra, una parte de palabra, un signo de puntuación o una combinación de caracteres.
Los tokens permiten convertir el texto en una secuencia que el modelo puede manejar. También se utilizan para expresar límites de contexto y contabilizar el uso de muchos servicios de inteligencia artificial.
Índice de contenidos
Cómo se convierte el texto en tokens
La tokenización es el proceso que divide el texto en unidades siguiendo las reglas de un tokenizador. Este asigna a cada unidad un identificador numérico que el modelo utiliza para trabajar con ella.
La tokenización se emplea desde antes de los asistentes actuales en el procesamiento del lenguaje natural. Muchos modelos modernos utilizan unidades menores que una palabra, lo que permite representar términos poco frecuentes, palabras nuevas y código sin necesitar una entrada distinta para cada palabra completa.
Entre los métodos utilizados se encuentran BPE, WordPiece y Unigram. Los algoritmos de tokenización aplican criterios diferentes para construir esas unidades, por lo que no todos los modelos dividen un mismo texto de la misma manera.
En la generación de texto, el modelo produce una secuencia de tokens que después se convierte en una respuesta legible.
Por qué un token no equivale a una palabra
Una palabra frecuente puede representarse con un solo token, mientras que otra puede dividirse en varios. Los espacios, los signos y los números también intervienen en la tokenización.
El número de tokens depende del texto y del tokenizador utilizado. Influyen el idioma, los caracteres, el formato y la presencia de elementos como código o direcciones web.
Por eso, no existe una equivalencia universal entre palabras, caracteres y tokens. Las reglas aproximadas pueden servir para una estimación inicial, pero no sustituyen el recuento correspondiente al modelo elegido.
Tampoco conviene trasladar automáticamente a un texto español una estimación calculada para inglés. Dos textos de longitud parecida pueden requerir cantidades distintas de tokens.
Tokens de entrada y de salida
En una interacción con un modelo suele distinguirse entre los tokens que recibe y los que genera:
- Tokens de entrada: representan la información enviada al modelo. Pueden incluir las instrucciones, el mensaje del usuario, conversaciones anteriores, documentos y resultados de herramientas.
- Tokens de salida: corresponden al contenido generado por el modelo durante la respuesta.
El prompt visible no siempre constituye toda la entrada. Una aplicación puede incorporar instrucciones y materiales adicionales que también ocupan espacio.
Algunos servicios distinguen otras categorías, como tokens de entrada reutilizados mediante caché o tokens de razonamiento. Su contabilización depende del modelo y del proveedor; la longitud de la respuesta visible no siempre refleja todo el uso registrado.
Relación con la ventana de contexto
La ventana de contexto es la capacidad de información que un modelo puede manejar en una interacción, habitualmente expresada en tokens.
El presupuesto disponible debe contemplar la entrada y el espacio necesario para la generación, según los límites del modelo. La longitud máxima de una respuesta puede tener, además, un límite propio.
Cuando una conversación o un documento supera la capacidad admitida, la aplicación puede rechazar la petición, recortar información, resumirla o seleccionar solo una parte. El comportamiento depende de cómo esté implementada.
Una ventana de contexto amplia no equivale a memoria permanente ni garantiza que el modelo aproveche correctamente todos los detalles. Indica capacidad de procesamiento, no precisión asegurada.
Cómo influyen los tokens en el coste
Muchas API de inteligencia artificial calculan parte del precio según los tokens procesados. Las tarifas pueden diferenciar entre entrada, salida y contenido recuperado de caché.
Por ello, el coste no depende únicamente del número de preguntas. También influyen la longitud de las instrucciones, los documentos enviados, el historial incluido y la extensión de las respuestas.
Una suscripción a un asistente, en cambio, puede utilizar cuotas o límites diferentes. No debe suponerse que todas las herramientas cobran directamente por token.
Para estimar el consumo conviene utilizar el contador compatible con el modelo y revisar los datos de uso del servicio. El número de tokens es una medida útil, pero no permite comparar por sí solo el coste o la velocidad de modelos distintos.
Otros usos de la palabra token
El significado de token cambia según el ámbito. Es importante distinguir estos usos:
- En modelos de IA: unidad utilizada para representar y procesar información.
- En autenticación: credencial que permite acreditar una sesión o autorizar el acceso a un recurso.
- En blockchain: representación digital de un activo, derecho o utilidad dentro de una red.
En los modelos multimodales también pueden existir representaciones y recuentos asociados a imágenes, audio o vídeo. No deben interpretarse como una simple cantidad de palabras: su procesamiento y contabilización dependen del sistema.