Definición:
El scraping es la extracción automatizada de datos desde la salida o la interfaz de otro sistema. Cuando la fuente es una página o aplicación web se denomina web scraping: un programa obtiene el contenido, localiza los elementos relevantes y transforma sus valores en datos que puedan almacenarse o analizarse.
El proceso puede recuperar unas pocas páginas o trabajar a mayor escala, pero no implica necesariamente recopilar millones de registros. Tampoco equivale por sí solo a rastrear todo un sitio, vulnerar sus controles ni reutilizar libremente la información. Su alcance depende de la fuente consultada, los datos extraídos y la finalidad.
Índice de contenidos
Cómo funciona el web scraping
El proceso comienza con una solicitud a la fuente. El scraper puede descargar HTML mediante HTTP, utilizar un navegador automatizado cuando el contenido se genera con JavaScript o consultar una respuesta estructurada. La técnica utilizada depende de cómo entregue los datos el sistema.
Después, un analizador sintáctico interpreta el documento y permite seleccionar campos concretos. Los selectores CSS, las expresiones regulares o XPath pueden localizar títulos, precios, enlaces, tablas u otros elementos dentro de la estructura.
Los valores extraídos suelen limpiarse, normalizarse y guardarse en una tabla, base de datos o archivo. Este paso puede corregir formatos de fecha, monedas, espacios, duplicados y caracteres. La preparación posterior es necesaria porque el texto visible no siempre coincide con un dato completo o comparable.
En sitios dinámicos, parte de la información puede llegar mediante peticiones internas o aparecer después de una interacción. Este contenido dinámico puede requerir un navegador automatizado. Cuando existe una API documentada y adecuada, esta ofrece una interfaz más estable y estructurada, aunque su disponibilidad, permisos, cobertura y límites pueden diferir de lo mostrado en la web.
Aplicaciones del scraping
La extracción automatizada puede utilizarse en tareas de observación, integración e investigación. Entre sus aplicaciones habituales se encuentran:
- Precios y catálogos: Recopilar precios, disponibilidad, características o referencias para comparar cambios entre fuentes y momentos.
- Investigación de mercados: Organizar información pública sobre productos, empresas, ofertas de empleo o actividad sectorial.
- Seguimiento de contenidos: Detectar modificaciones en páginas, avisos, publicaciones, normativas o conjuntos de datos accesibles.
- Integración y migración: Recuperar contenidos propios o autorizados cuando no existe una exportación estructurada suficiente.
- Investigación y análisis: Construir un conjunto de observaciones para estudiarlo posteriormente, documentando fuente, fecha y método.
El scraping obtiene datos, pero no garantiza que sean correctos, completos o representativos. Una página puede mostrar información desactualizada, personalizada o limitada a una ubicación. Las conclusiones necesitan considerar la cobertura real de la muestra y las reglas con las que se generó.
Diferencias con otros procesos
Un crawler recorre enlaces para descubrir o actualizar recursos, mientras que un scraper se centra en extraer campos de las fuentes obtenidas. Ambos procesos pueden combinarse, pero el rastreo determina qué visitar y la extracción determina qué datos recoger.
Una API define operaciones y formatos para intercambiar información entre sistemas. El scraping trabaja sobre una representación creada principalmente para otro uso, como una página visible. Por ello, una API suele ofrecer mayor estabilidad contractual, mientras el scraper depende de una estructura ajena que puede cambiar sin aviso.
El web mining utiliza datos de contenido, estructura o uso para encontrar patrones y producir conocimiento. El scraping puede aportar parte de esos datos, pero no realiza por sí mismo el análisis. Del mismo modo, la minería de datos abarca fuentes y métodos que no se limitan a la web.
Un parser, un selector CSS o XPath son componentes técnicos, no sinónimos del proceso completo. También puede existir extracción manual o semiautomática. El término scraping describe la obtención estructurada, no una herramienta, lenguaje de programación o formato concreto.
Condiciones legales y de privacidad
Que un dato sea visible en internet no significa que carezca de protección o que pueda reutilizarse para cualquier finalidad. Pueden intervenir condiciones de acceso, derechos de autor o bases de datos, secretos empresariales, protección de datos personales, competencia y otras normas. La evaluación depende del caso concreto y de la jurisdicción.
Cuando se recopilan datos personales, deben revisarse la base jurídica, la finalidad, la minimización, la conservación, la seguridad y los derechos de las personas. La declaración conjunta difundida por la ICO sobre data scraping recuerda que la información personal accesible públicamente continúa sujeta a normas de privacidad.
Las condiciones de servicio y las licencias pueden establecer usos permitidos o restricciones contractuales. También deben respetarse autenticación, controles de acceso y límites técnicos. Evitar una barrera o acceder a información no destinada al público plantea un contexto diferente al de consultar páginas abiertas.
El archivo robots.txt comunica reglas de rastreo a agentes compatibles, pero no es un mecanismo de autorización ni de seguridad. El estándar Robots Exclusion Protocol indica que esas reglas no sustituyen controles de acceso. Permitir o excluir una ruta tampoco resuelve por sí solo la licitud del tratamiento.
Calidad, protección y límites
La fiabilidad de un scraper depende tanto de la fuente como de su mantenimiento. Estos controles de calidad son habituales:
- Validar selectores: Comprobar que cada campo sigue apuntando al elemento correcto después de cambios de diseño o plantilla.
- Controlar frecuencia: Ajustar solicitudes, concurrencia y reintentos para evitar sobrecargar la fuente o duplicar resultados.
- Registrar procedencia: Conservar URL, fecha, versión y método para poder interpretar o reproducir el conjunto obtenido.
- Detectar anomalías: Identificar valores ausentes, bloqueos, páginas de error, contenido personalizado y cambios de formato.
- Limitar datos: Recopilar únicamente los campos necesarios y aplicar las reglas de acceso, conservación y eliminación correspondientes.
Los sitios pueden utilizar límites de velocidad, autenticación, detección de automatización o CAPTCHA. Estas medidas reducen determinados accesos, pero no ofrecen protección absoluta y también pueden afectar a usuarios legítimos, buscadores o tecnologías de asistencia. La defensa requiere capas proporcionadas.
El scraping es sensible a cambios de HTML, contenido dinámico, geolocalización, pruebas A/B y personalización. Sus resultados describen lo que el sistema pudo recuperar bajo condiciones concretas. No demuestran que se haya observado todo el sitio ni que los datos representen a toda una población.