Definición:
Un embedding es una representación de un dato mediante un vector de números dentro de un espacio matemático. Permite expresar características y relaciones de elementos como palabras, documentos, imágenes, audios o nodos de un grafo para utilizarlos en sistemas de inteligencia artificial.
En muchas aplicaciones se emplean vectores densos aprendidos mediante modelos. La cercanía entre dos representaciones puede expresar similitud de significado, apariencia o función, según cómo se haya construido el espacio. No equivale a que una máquina comprenda esos datos como una persona.
Índice de contenidos
Características principales de los embeddings
Las propiedades de un embedding dependen del modelo y de la tarea para la que se utiliza. Entre sus características habituales se encuentran las siguientes:
- Representación compacta: puede sustituir representaciones dispersas de muchas dimensiones por vectores más manejables. Baja dimensionalidad es una comparación con la representación de partida, no significa necesariamente dos o tres números.
- Relaciones aprendidas: la distribución de los vectores puede reflejar semejanzas relevantes para la tarea. No todas las relaciones humanas quedan representadas ni todas las dimensiones tienen una interpretación individual clara.
- Diversidad de datos: existen embeddings de texto, imágenes, audio y grafos. Comparar modalidades distintas requiere un modelo que las sitúe en espacios compatibles.
- Dependencia del modelo: el entrenamiento, los datos y el objetivo influyen en la representación. Los embeddings no se generan necesariamente mediante una única arquitectura de red neuronal.
- Uso en grandes colecciones: permiten comparar y organizar conjuntos de datos mediante operaciones e índices vectoriales. La eficiencia también depende del almacenamiento, del índice y del volumen de consultas.
- Visualización: pueden proyectarse en dos o tres dimensiones para explorar agrupaciones. Esa proyección simplifica el espacio original y puede distorsionar distancias o relaciones.
Cómo funcionan los embeddings
Un modelo transforma la entrada en una secuencia de valores numéricos. Durante su entrenamiento aprende representaciones útiles para determinados objetivos, como relacionar palabras por su contexto o aproximar consultas y documentos pertinentes.
En el lenguaje, técnicas como Word2Vec asignan representaciones estáticas a las palabras. Los modelos contextuales pueden producir representaciones distintas según la frase. Por ejemplo, el término "banco" no tiene el mismo sentido en una conversación sobre finanzas que en una descripción de un parque.
La cercanía entre "perrito" y "canino" ilustra una relación que un modelo podría aprender, no un resultado garantizado para cualquier sistema. Los modelos de imagen pueden utilizar redes convolucionales o transformers, mientras que técnicas como Node2Vec y DeepWalk generan representaciones de nodos a partir de la estructura de un grafo.
Para comparar vectores se utilizan medidas como la similitud coseno, el producto escalar o la distancia euclídea. La elección debe corresponder al modelo y al objetivo. La documentación de Sentence Transformers muestra cómo calcular similitudes entre representaciones de textos.
Los vectores deben pertenecer a espacios compatibles. Dos modelos distintos pueden producir vectores con el mismo número de dimensiones sin que sus coordenadas sean comparables. Cambiar el modelo de embeddings puede exigir volver a generar las representaciones almacenadas.
Aplicaciones y casos de uso de los embeddings
Los embeddings sirven como entrada o componente de diferentes tareas de machine learning:
- Búsqueda semántica: comparar consultas y contenidos para recuperar resultados relacionados aunque no compartan exactamente las mismas palabras.
- Sistemas de recomendación: representar usuarios, productos o contenidos para estudiar afinidades y proponer elementos potencialmente relevantes.
- Procesamiento del lenguaje: aportar representaciones a sistemas de clasificación, traducción, análisis de sentimientos y otras tareas. Generar un embedding no produce por sí solo una respuesta conversacional.
- Visión por computadora: comparar imágenes y aportar características a sistemas de clasificación, búsqueda visual u otras tareas de reconocimiento.
- Agrupamiento y segmentación: organizar elementos por semejanza, por ejemplo para explorar temas en una colección de documentos o patrones en datos de clientes.
- Representación de grafos: utilizar relaciones entre nodos para tareas como clasificación de nodos o predicción de enlaces.
Una base de datos vectorial puede almacenar estas representaciones y facilitar búsquedas por similitud. El embedding es la representación; la base de datos es el sistema que la guarda y permite consultarla.
En un sistema de generación aumentada por recuperación, o RAG, los embeddings pueden ayudar a localizar fragmentos que después se aportan como contexto a un modelo generativo. Son funciones distintas: recuperar información y redactar una respuesta. Un sistema RAG también puede combinar búsqueda vectorial con otros métodos.
Ventajas y límites de los embeddings en modelos de IA
Los embeddings permiten reutilizar representaciones numéricas en búsquedas, clasificadores y otros sistemas. Frente a una codificación que trate cada elemento como una categoría aislada, pueden expresar relaciones aprendidas y facilitar el trabajo con datos no estructurados.
La mejora de precisión o el ahorro de recursos no son automáticos. Dependen del modelo, del idioma, del dominio, de la forma de preparar los datos y del método de búsqueda. Un modelo adecuado para textos generales puede no representar igual de bien vocabulario especializado.
La similitud tampoco demuestra equivalencia, veracidad o pertinencia para cualquier objetivo. Dos afirmaciones contradictorias sobre el mismo tema pueden obtener representaciones próximas. Los datos y objetivos de entrenamiento también pueden trasladar sesgos a las comparaciones.
Reutilizar embeddings puede reducir parte del trabajo de desarrollo, pero su adecuación debe evaluarse en la tarea concreta. Un vector no es una copia legible del documento ni una explicación completa de su significado; es una representación diseñada para operar dentro de un sistema.