A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

Qué es Big Data

Big Data Definición:

Big Data designa conjuntos y flujos de datos cuya escala, velocidad, diversidad o complejidad requieren métodos e infraestructuras diferentes de los utilizados en un procesamiento convencional.

El concepto comprende la captura, integración, almacenamiento, consulta, análisis, gobierno, seguridad y comunicación de los datos. Puede combinar información estructurada, semiestructurada y no estructurada procedente de sistemas, sensores, transacciones, documentos, imágenes o interacciones digitales.

Big Data se asocia con técnicas como la analítica predictiva, pero acumular datos no produce automáticamente conocimiento ni decisiones correctas. La utilidad depende de la calidad, la representatividad, la finalidad, el método analítico y la capacidad de interpretar los resultados.

El tamaño del Big Data

Big Data no se define mediante una cantidad fija de terabytes o petabytes. Un volumen puede resultar manejable para una organización y superar la capacidad, el tiempo o el coste aceptable de otra. También puede existir un problema de Big Data con un volumen menor si los datos llegan muy rápido, tienen formatos muy diversos o exigen relaciones complejas.

Las arquitecturas pueden distribuir el almacenamiento y el procesamiento entre varios sistemas, utilizar servicios en la nube o combinar procesamiento por lotes y en tiempo real. La elección depende del caso de uso, la latencia necesaria, el coste, la seguridad y las competencias disponibles. Una base de datos relacional puede seguir siendo adecuada para parte del sistema y coexistir con otras tecnologías.

Las tres V del Big Data

El modelo clásico describe Big Data mediante tres características:

  • Volumen: Cantidad de datos que deben almacenarse, procesarse o transferirse dentro de los límites del proyecto.
  • Velocidad: Ritmo al que los datos se generan, reciben y procesan, y rapidez con la que se necesita una respuesta.
  • Variedad: Diversidad de fuentes, estructuras, formatos y significados que deben integrarse.

Con el tiempo se han propuesto otras V para explicar desafíos adicionales. No existe una lista ampliada única o universal, pero son frecuentes las siguientes:

  • Veracidad: Calidad, fiabilidad, trazabilidad e incertidumbre de los datos.
  • Valor: Capacidad de utilizar los datos para una finalidad concreta y obtener un beneficio que justifique el coste y el riesgo.
  • Variabilidad: Cambios en el significado, la distribución o el comportamiento de los datos a lo largo del tiempo.
  • Visualización: Formas de representar resultados complejos para facilitar su exploración y comunicación sin distorsionarlos.
  • Volatilidad: Periodo durante el que los datos conservan utilidad y condiciones para su retención o eliminación.

Ejemplos de uso de Big Data

Las aplicaciones dependen de la disponibilidad y legitimidad de los datos, del problema que se quiera resolver y de la validación de los resultados. Algunos ejemplos son:

  • Ámbito digital: En marketing digital puede ayudar a analizar recorridos, segmentar audiencias y medir campañas. También puede apoyar recomendaciones y mejoras de experiencia de usuario, siempre que la personalización respete el consentimiento y no se confunda correlación con intención.
  • Salud y medicina: El análisis de datos clínicos, epidemiológicos o genómicos puede apoyar la investigación, la vigilancia y la toma de decisiones, con controles estrictos de privacidad, calidad y validación médica.
  • Marketing y ventas: Los datos de clientes, productos y canales pueden utilizarse para estudiar demanda, atribución, satisfacción y respuesta a ofertas, evitando perfiles discriminatorios o inferencias sin base suficiente.
  • Finanzas: Se emplea en detección de fraude, evaluación de riesgo, cumplimiento y seguimiento de operaciones, con supervisión de errores, sesgos y falsos positivos.
  • Retail: Puede apoyar previsiones de demanda, inventario, surtido y precios. Los modelos deben adaptarse a cambios estacionales, promociones y acontecimientos no presentes en los datos históricos.
  • Transporte y logística: Permite estudiar rutas, capacidad, tiempos de entrega y mantenimiento de equipos a partir de datos operativos y sensores.
  • Energía: Puede utilizarse para monitorizar redes, prever demanda, detectar incidencias y combinar datos meteorológicos con generación renovable.

Evaluación del Big Data

El valor de un proyecto depende tanto de su gobierno como de su infraestructura. Entre los principales desafíos se encuentran:

  • Privacidad y seguridad: La recopilación debe tener una finalidad y una base legítima, limitar el acceso y aplicar medidas de protección durante todo el ciclo de vida.
  • Calidad de los datos: Errores, duplicados, ausencias, sesgos o cambios de definición pueden producir resultados engañosos aunque el volumen sea grande.
  • Gestión de datos: La arquitectura, el catálogo, los permisos, la trazabilidad, la retención y los costes necesitan responsabilidades y procesos claros.
  • Interpretación de resultados: Un patrón estadístico no demuestra causalidad. Las conclusiones deben incluir incertidumbre, contexto, límites y validación frente al objetivo.
  • Integración de datos: Unir fuentes exige resolver identificadores, formatos, periodicidad y significado sin perder procedencia ni introducir asociaciones incorrectas.