La base teórica: conceptos fundamentales
Sociedad de la información y sociedad del conocimiento
Sociedad de la información: modelo de sociedad en el que la creación, distribución y uso de la información es una actividad económica, social y cultural central. Se apoya en las Tecnologías de la Información y la Comunicación (TIC): internet, telefonía móvil, redes sociales, almacenamiento masivo de datos.
Sociedad del conocimiento: concepto impulsado por la UNESCO que va un paso más allá: no basta con tener acceso a la información, sino que es necesario transformarla en conocimiento útil para el desarrollo humano, la innovación y la toma de decisiones.
Inteligencia de negocios (Business Intelligence, BI)
Conjunto de estrategias, procesos, aplicaciones, datos y arquitectura tecnológica que permiten convertir los datos de una organización en información y conocimiento para apoyar la toma de decisiones.
Componentes típicos de una solución BI
- Fuentes de datos: sistemas transaccionales (OLTP), ERP, CRM, archivos, web, sensores.
- Proceso ETL: extracción, transformación y carga de los datos.
- Almacén de datos: data warehouse y data marts.
- Análisis: OLAP, minería de datos, consultas ad hoc.
- Presentación: reportes, tableros (dashboards), indicadores (KPI).
Reducir incertidumbreDetectar tendenciasVentaja competitivaDecisiones basadas en datos
OLAP (Online Analytical Processing)
Tecnología que permite analizar grandes volúmenes de datos desde múltiples perspectivas (dimensiones) de forma rápida e interactiva. Organiza la información en estructuras multidimensionales llamadas cubos.
Elementos del cubo
- Dimensiones: ejes de análisis (tiempo, producto, región, cliente).
- Medidas (hechos): valores numéricos a analizar (ventas, costos, unidades).
- Jerarquías: niveles dentro de una dimensión (año → trimestre → mes → día).
Operaciones OLAP
Tipos de almacenamiento
- ROLAP: usa bases de datos relacionales; escalable, consultas más lentas.
- MOLAP: usa cubos multidimensionales propios; consultas muy rápidas, menos escalable.
- HOLAP: híbrido; detalle en relacional, agregados en multidimensional.
Minería de datos
Proceso de explorar grandes volúmenes de datos para descubrir patrones, relaciones y tendencias no triviales, previamente desconocidos y potencialmente útiles, mediante técnicas de estadística, aprendizaje automático (machine learning) y bases de datos.
- Descriptiva: explica lo que ocurre en los datos (segmentos, asociaciones).
- Predictiva: estima valores o clases futuras a partir de datos históricos.
Aplicaciones: detección de fraude, segmentación de clientes, análisis de canasta de mercado, predicción de abandono (churn), diagnóstico médico, sistemas de recomendación.
Proceso, técnicas y herramientas
El proceso KDD (Knowledge Discovery in Databases)
¿Qué es? KDD, o "Descubrimiento de Conocimiento en Bases de Datos", es el proceso completo, interactivo e iterativo, de identificar patrones válidos, novedosos, potencialmente útiles y comprensibles en los datos (Fayyad, Piatetsky-Shapiro y Smyth, 1996). La minería de datos es una de sus etapas, la que aplica los algoritmos para extraer patrones.
¿Cuáles son las etapas y qué hace cada una?
- Selección. Se define el objetivo del análisis y se eligen los datos relevantes: fuentes, tablas, variables y periodos que servirán para el problema. Resultado: datos objetivo.
- Preprocesamiento (limpieza). Se tratan valores faltantes, ruido, duplicados, inconsistencias y valores atípicos (outliers) para asegurar la calidad de los datos. Resultado: datos limpios.
- Transformación. Se adaptan los datos al algoritmo: normalización, discretización, creación o reducción de variables, agregaciones, codificación de categorías. Resultado: datos transformados, que forman la vista minable.
- Minería de datos. Se elige la tarea (clasificación, agrupamiento, asociación, etc.) y la técnica, y se ejecuta el algoritmo para encontrar patrones y construir modelos. Resultado: patrones o modelos.
- Interpretación y evaluación. Se analizan los patrones, se miden con métricas (precisión, soporte, confianza, error), se descartan los irrelevantes y se validan con expertos. Si no son satisfactorios se vuelve a etapas anteriores. Resultado: conocimiento aplicable a la toma de decisiones.
Tareas y técnicas de minería de datos, y su correlación
Una tarea es el tipo de problema que se quiere resolver; una técnica es el método o algoritmo que se emplea para resolverlo. Una misma tarea puede resolverse con varias técnicas, y una técnica puede servir para varias tareas.
| Tipo | Tarea | Objetivo | Técnicas asociadas |
|---|---|---|---|
| Predictiva | Clasificación | Asignar un registro a una clase conocida (ej. cliente moroso / no moroso). | Árboles de decisión, Naive Bayes, k-NN, redes neuronales, SVM, regresión logística |
| Predictiva | Regresión | Predecir un valor numérico continuo (ej. monto de ventas). | Regresión lineal y múltiple, árboles de regresión, redes neuronales |
| Predictiva | Series de tiempo | Pronosticar valores futuros según el comportamiento histórico. | ARIMA, suavizado exponencial, redes neuronales recurrentes |
| Descriptiva | Agrupamiento (clustering) | Formar grupos de registros similares sin clases previas (ej. segmentos de clientes). | k-means, clustering jerárquico, DBSCAN, mapas autoorganizados (SOM) |
| Descriptiva | Reglas de asociación | Hallar elementos que ocurren juntos (ej. "quien compra pan compra leche"). | Apriori, FP-Growth |
| Descriptiva | Patrones secuenciales | Descubrir secuencias de eventos en el tiempo. | GSP, PrefixSpan |
| Descriptiva | Detección de anomalías | Identificar registros inusuales (ej. fraude). | Métodos estadísticos, clustering, Isolation Forest |
Correlación: las tareas predictivas usan aprendizaje supervisado (hay una variable objetivo conocida), mientras que las descriptivas usan aprendizaje no supervisado (no hay variable objetivo).
Técnicas de minería de datos
Vista minable
Es la tabla única y plana que se obtiene tras seleccionar, limpiar y transformar los datos, y que sirve como entrada directa al algoritmo de minería. Cada fila representa un caso (cliente, transacción, producto) y cada columna un atributo o variable. Incluye, cuando aplica, la variable objetivo a predecir.
Características
- Integra datos de varias fuentes en una sola estructura.
- Contiene datos limpios, sin valores faltantes problemáticos y en formatos adecuados.
- Incluye variables derivadas (ej. edad calculada, promedio de compras).
- Su calidad determina en gran medida la calidad del modelo.
| ID_Cliente | Edad | Ingreso | Compras_12m | Segmento | Abandona (objetivo) |
|---|---|---|---|---|---|
| 001 | 34 | 18,500 | 12 | B | No |
| 002 | 52 | 32,000 | 3 | A | Sí |
| 003 | 27 | 14,200 | 8 | C | No |
Herramientas ETL, MOLAP, Data Warehouse y Data Marts
ETL (Extract, Transform, Load)
Proceso que extrae datos de las fuentes, los transforma (limpieza, integración, formato) y los carga en el data warehouse.
TalendPentaho Data Integration (Kettle)Informatica PowerCenterMicrosoft SSISIBM DataStageOracle Data IntegratorApache NiFiAzure Data FactoryAWS Glue
MOLAP
Almacenamiento OLAP multidimensional: los datos se precalculan y guardan en cubos propietarios, lo que da consultas muy veloces.
Oracle EssbaseSQL Server Analysis Services (modo multidimensional)IBM Cognos TM1
Data Warehouse (almacén de datos)
Repositorio central que integra datos históricos de toda la organización para análisis y toma de decisiones. Según Bill Inmon, es:
- Orientado a temas (ventas, clientes, productos).
- Integrado (datos homogéneos de distintas fuentes).
- No volátil (los datos no se modifican, solo se agregan).
- Variante en el tiempo (conserva el histórico).
Modelado habitual: esquema estrella (tabla de hechos con dimensiones) y copo de nieve (dimensiones normalizadas).
Ejemplos: TeradataAmazon RedshiftGoogle BigQuerySnowflakeMicrosoft Azure SynapseOracle Exadata
Data Marts
Subconjunto del data warehouse enfocado en un área o departamento específico (ventas, finanzas, marketing). Es más pequeño, rápido y fácil de implementar.
- Dependientes: se alimentan del data warehouse central.
- Independientes: se alimentan directamente de las fuentes.
- Híbridos: combinan ambos orígenes.
Herramientas de minería de datos
| Herramienta | Tipo | Características |
|---|---|---|
| WEKA | Código abierto (Java) | Amplia colección de algoritmos de clasificación, clustering y asociación; muy usada en educación. |
| RapidMiner | Comercial / versión gratuita | Flujos de trabajo visuales de arrastrar y soltar para todo el proceso KDD. |
| KNIME | Código abierto | Plataforma modular basada en nodos; integra R, Python y bases de datos. |
| Orange | Código abierto | Programación visual y visualización interactiva. |
| R | Código abierto | Lenguaje estadístico con miles de paquetes de minería y modelado. |
| Python (scikit-learn, pandas) | Código abierto | Librerías para preparación de datos, machine learning y deep learning. |
| IBM SPSS Modeler | Comercial | Minería de datos visual de nivel empresarial. |
| SAS Enterprise Miner | Comercial | Modelado predictivo avanzado para grandes organizaciones. |
| SQL Server Analysis Services | Comercial | Algoritmos de minería integrados al ecosistema Microsoft. |