Definición:
El data mining o minería de datos es el proceso de examinar conjuntos de datos para descubrir patrones, relaciones, grupos, anomalías o reglas que resulten útiles para responder una pregunta. Combina métodos estadísticos, algoritmos y técnicas de aprendizaje automático con tareas de preparación, evaluación e interpretación.
Puede utilizar datos estructurados, semiestructurados o no estructurados y no exige que toda la información proceda de un almacén de datos ni que tenga escala de Big Data. El resultado puede describir lo que sucede o ayudar a estimar un resultado desconocido, pero encontrar un patrón no demuestra por sí mismo una causa ni garantiza una decisión correcta.
Para qué sirve el data mining
La minería de datos convierte una necesidad de conocimiento en un análisis reproducible. Puede utilizarse para identificar regularidades, dividir observaciones en grupos, asignar categorías, estimar valores, detectar casos atípicos o estudiar qué elementos aparecen juntos y en qué orden.
No es sinónimo de machine learning. El aprendizaje automático aporta muchos de los métodos con los que se ajustan modelos a partir de datos; el data mining abarca además la selección de la información, su preparación, la búsqueda de patrones, la evaluación y la interpretación dentro de un problema concreto.
Técnicas de data mining
La técnica debe elegirse según la pregunta, el tipo de variable que se desea analizar y la evidencia disponible. Entre las más habituales se encuentran:
- Clasificación: Asigna observaciones a categorías definidas a partir de ejemplos etiquetados, como distinguir mensajes legítimos y spam.
- Regresión: Estima un valor numérico continuo, como una demanda, un importe o un tiempo de respuesta.
- Clustering: Agrupa observaciones similares sin partir de clases predefinidas y permite explorar segmentos que después necesitan interpretación.
- Reglas de asociación: Detecta combinaciones que aparecen juntas con una frecuencia relevante, por ejemplo en el análisis de cestas de compra.
- Detección de anomalías: Localiza comportamientos alejados de los patrones habituales para someterlos a revisión.
- Análisis de secuencias: Estudia el orden de eventos o acciones para identificar recorridos y transiciones recurrentes.
Cada técnica puede aplicarse mediante distintos modelos y parámetros. La comparación debe realizarse con métricas adecuadas al objetivo y con datos que no se hayan utilizado para ajustar el modelo.
Proceso de minería de datos
El proceso es iterativo: una evaluación puede obligar a redefinir la pregunta, revisar la fuente o preparar de nuevo los datos. Sus fases principales son:
- Comprensión del problema: Define la pregunta, la población analizada, el uso previsto del resultado y los criterios para considerar útil el análisis.
- Selección de datos: Identifica fuentes, variables, periodos, permisos y restricciones relevantes, sin recopilar información innecesaria.
- Exploración y calidad: Examina distribuciones, valores ausentes, duplicados, errores, cambios de definición y posibles sesgos de cobertura.
- Preparación: Integra, limpia, transforma y documenta los datos que se utilizarán en el análisis.
- Modelado y evaluación: Ajusta las técnicas seleccionadas y comprueba su rendimiento, estabilidad y utilidad con datos de validación.
- Aplicación y seguimiento: Comunica o integra el resultado, registra sus condiciones de uso y controla si los datos o el comportamiento cambian.
La comunicación forma parte del proceso. Una tabla, una explicación o una visualización de datos debe mostrar qué se midió, con qué periodo y bajo qué supuestos, no solo el patrón final.
Aplicaciones del data mining
En marketing, puede apoyar la segmentación de mercado, el análisis de abandono, las recomendaciones y el estudio de respuestas a campañas. En servicios financieros y comercio electrónico se utiliza para priorizar operaciones atípicas; en operaciones, para encontrar cuellos de botella o anticipar necesidades de mantenimiento.
También se aplica a investigación, salud, telecomunicaciones y seguridad. Su aportación consiste en generar evidencia que pueda evaluarse, no en convertir automáticamente una correlación en una explicación, una alerta en fraude confirmado o una predicción en una decisión obligatoria.
Herramientas para minería de datos
Las herramientas cubren partes diferentes del proceso y pueden combinarse en un mismo proyecto:
- Lenguajes y bibliotecas: Python y R permiten preparar datos, aplicar modelos y evaluar resultados mediante bibliotecas estadísticas y de aprendizaje automático.
- Flujos visuales: KNIME Analytics Platform y Weka ofrecen entornos de código abierto; Rapidminer AI Studio también permite conectar operaciones de preparación, modelado y evaluación mediante una interfaz visual.
- Plataformas de datos: Bases de datos y servicios analíticos pueden ejecutar determinados modelos cerca de la información almacenada, como Oracle Machine Learning for SQL.
- Exploración y comunicación: Herramientas como Tableau ayudan a examinar y presentar resultados, aunque una visualización no sustituye la preparación, el modelado ni la validación.
La elección depende del tipo y volumen de datos, los conocimientos del equipo, la trazabilidad necesaria, la integración con otros sistemas y los requisitos de seguridad.
Limitaciones del data mining
Los resultados dependen de la calidad y representatividad de los datos. Registros incompletos, etiquetas erróneas, cambios de definición o muestras sesgadas pueden producir patrones que no describen correctamente la población de interés.
Un modelo también puede ajustarse demasiado a los datos históricos, incorporar información que no estaría disponible en uso real o perder validez cuando cambia el comportamiento. La validación fuera de muestra, la documentación y el seguimiento reducen estos riesgos, pero no eliminan la incertidumbre.
El análisis debe respetar la finalidad, los permisos, la privacidad, la seguridad y los plazos de conservación aplicables. Además, una asociación estadística no demuestra causalidad: los patrones necesitan contexto y revisión antes de utilizarse para tomar decisiones sobre personas, operaciones o recursos.