Base teórica: Inteligencia de Negocios y Minería de Datos

Temas y conceptos importantes

1

La base teórica: conceptos fundamentales

Sociedad de la información y sociedad del conocimiento

Sociedad de la información: modelo de sociedad en el que la creación, distribución y uso de la información es una actividad económica, social y cultural central. Se apoya en las Tecnologías de la Información y la Comunicación (TIC): internet, telefonía móvil, redes sociales, almacenamiento masivo de datos.

Sociedad del conocimiento: concepto impulsado por la UNESCO que va un paso más allá: no basta con tener acceso a la información, sino que es necesario transformarla en conocimiento útil para el desarrollo humano, la innovación y la toma de decisiones.

InformaciónDatos organizados y con contexto. Abundante y de acceso rápido.
ConocimientoInformación interpretada, validada y aplicada. Genera valor y decisiones.
Pilares (UNESCO)Acceso universal a la información, libertad de expresión, diversidad cultural y lingüística, educación de calidad para todos.
Idea clave: Datos → Información → Conocimiento → Sabiduría. La minería de datos y la inteligencia de negocios son herramientas para recorrer ese camino.

Inteligencia de negocios (Business Intelligence, BI)

Conjunto de estrategias, procesos, aplicaciones, datos y arquitectura tecnológica que permiten convertir los datos de una organización en información y conocimiento para apoyar la toma de decisiones.

Componentes típicos de una solución BI

  1. Fuentes de datos: sistemas transaccionales (OLTP), ERP, CRM, archivos, web, sensores.
  2. Proceso ETL: extracción, transformación y carga de los datos.
  3. Almacén de datos: data warehouse y data marts.
  4. Análisis: OLAP, minería de datos, consultas ad hoc.
  5. Presentación: reportes, tableros (dashboards), indicadores (KPI).

Reducir incertidumbreDetectar tendenciasVentaja competitivaDecisiones basadas en datos

OLAP (Online Analytical Processing)

Tecnología que permite analizar grandes volúmenes de datos desde múltiples perspectivas (dimensiones) de forma rápida e interactiva. Organiza la información en estructuras multidimensionales llamadas cubos.

Elementos del cubo

Operaciones OLAP

Roll-upAgrega datos subiendo de nivel (mes → año).
Drill-downDetalla datos bajando de nivel (año → mes).
SliceCorta el cubo fijando un valor de una dimensión.
DiceSubcubo seleccionando valores en varias dimensiones.
Pivot (rotar)Cambia la orientación de los ejes para ver otra perspectiva.

Tipos de almacenamiento

OLTP vs OLAP: OLTP registra transacciones del día a día (muchas escrituras pequeñas); OLAP analiza datos históricos consolidados (lecturas complejas y agregaciones).

Minería de datos

Proceso de explorar grandes volúmenes de datos para descubrir patrones, relaciones y tendencias no triviales, previamente desconocidos y potencialmente útiles, mediante técnicas de estadística, aprendizaje automático (machine learning) y bases de datos.

Aplicaciones: detección de fraude, segmentación de clientes, análisis de canasta de mercado, predicción de abandono (churn), diagnóstico médico, sistemas de recomendación.

2

Proceso, técnicas y herramientas

El proceso KDD (Knowledge Discovery in Databases)

¿Qué es? KDD, o "Descubrimiento de Conocimiento en Bases de Datos", es el proceso completo, interactivo e iterativo, de identificar patrones válidos, novedosos, potencialmente útiles y comprensibles en los datos (Fayyad, Piatetsky-Shapiro y Smyth, 1996). La minería de datos es una de sus etapas, la que aplica los algoritmos para extraer patrones.

¿Cuáles son las etapas y qué hace cada una?

  1. Selección. Se define el objetivo del análisis y se eligen los datos relevantes: fuentes, tablas, variables y periodos que servirán para el problema. Resultado: datos objetivo.
  2. Preprocesamiento (limpieza). Se tratan valores faltantes, ruido, duplicados, inconsistencias y valores atípicos (outliers) para asegurar la calidad de los datos. Resultado: datos limpios.
  3. Transformación. Se adaptan los datos al algoritmo: normalización, discretización, creación o reducción de variables, agregaciones, codificación de categorías. Resultado: datos transformados, que forman la vista minable.
  4. Minería de datos. Se elige la tarea (clasificación, agrupamiento, asociación, etc.) y la técnica, y se ejecuta el algoritmo para encontrar patrones y construir modelos. Resultado: patrones o modelos.
  5. Interpretación y evaluación. Se analizan los patrones, se miden con métricas (precisión, soporte, confianza, error), se descartan los irrelevantes y se validan con expertos. Si no son satisfactorios se vuelve a etapas anteriores. Resultado: conocimiento aplicable a la toma de decisiones.
El proceso es iterativo: en cualquier etapa se puede regresar a una anterior para mejorar los resultados.

Tareas y técnicas de minería de datos, y su correlación

Una tarea es el tipo de problema que se quiere resolver; una técnica es el método o algoritmo que se emplea para resolverlo. Una misma tarea puede resolverse con varias técnicas, y una técnica puede servir para varias tareas.

TipoTareaObjetivoTécnicas asociadas
PredictivaClasificaciónAsignar un registro a una clase conocida (ej. cliente moroso / no moroso).Árboles de decisión, Naive Bayes, k-NN, redes neuronales, SVM, regresión logística
PredictivaRegresiónPredecir un valor numérico continuo (ej. monto de ventas).Regresión lineal y múltiple, árboles de regresión, redes neuronales
PredictivaSeries de tiempoPronosticar valores futuros según el comportamiento histórico.ARIMA, suavizado exponencial, redes neuronales recurrentes
DescriptivaAgrupamiento (clustering)Formar grupos de registros similares sin clases previas (ej. segmentos de clientes).k-means, clustering jerárquico, DBSCAN, mapas autoorganizados (SOM)
DescriptivaReglas de asociaciónHallar elementos que ocurren juntos (ej. "quien compra pan compra leche").Apriori, FP-Growth
DescriptivaPatrones secuencialesDescubrir secuencias de eventos en el tiempo.GSP, PrefixSpan
DescriptivaDetección de anomalíasIdentificar registros inusuales (ej. fraude).Métodos estadísticos, clustering, Isolation Forest

Correlación: las tareas predictivas usan aprendizaje supervisado (hay una variable objetivo conocida), mientras que las descriptivas usan aprendizaje no supervisado (no hay variable objetivo).

Técnicas de minería de datos

Árboles de decisiónEstructura jerárquica de reglas "si-entonces" fácil de interpretar. Ej.: C4.5, CART, ID3.
Redes neuronalesModelos inspirados en el cerebro; aprenden relaciones complejas no lineales.
RegresiónModela la relación entre variables (lineal, múltiple, logística).
k-means / ClusteringAgrupa registros por similitud o distancia.
Reglas de asociaciónApriori y FP-Growth; miden soporte, confianza y lift.
Naive BayesClasificador probabilístico basado en el teorema de Bayes.
k-NN (vecinos más cercanos)Clasifica según los k ejemplos más parecidos.
SVMMáquinas de vectores de soporte; separan clases con un hiperplano óptimo.
Algoritmos genéticosOptimización inspirada en la evolución natural.

Vista minable

Es la tabla única y plana que se obtiene tras seleccionar, limpiar y transformar los datos, y que sirve como entrada directa al algoritmo de minería. Cada fila representa un caso (cliente, transacción, producto) y cada columna un atributo o variable. Incluye, cuando aplica, la variable objetivo a predecir.

Características

  • Integra datos de varias fuentes en una sola estructura.
  • Contiene datos limpios, sin valores faltantes problemáticos y en formatos adecuados.
  • Incluye variables derivadas (ej. edad calculada, promedio de compras).
  • Su calidad determina en gran medida la calidad del modelo.
ID_ClienteEdadIngresoCompras_12mSegmentoAbandona (objetivo)
0013418,50012BNo
0025232,0003ASí
0032714,2008CNo

Herramientas ETL, MOLAP, Data Warehouse y Data Marts

ETL (Extract, Transform, Load)

Proceso que extrae datos de las fuentes, los transforma (limpieza, integración, formato) y los carga en el data warehouse.

TalendPentaho Data Integration (Kettle)Informatica PowerCenterMicrosoft SSISIBM DataStageOracle Data IntegratorApache NiFiAzure Data FactoryAWS Glue

MOLAP

Almacenamiento OLAP multidimensional: los datos se precalculan y guardan en cubos propietarios, lo que da consultas muy veloces.

Oracle EssbaseSQL Server Analysis Services (modo multidimensional)IBM Cognos TM1

Data Warehouse (almacén de datos)

Repositorio central que integra datos históricos de toda la organización para análisis y toma de decisiones. Según Bill Inmon, es:

  • Orientado a temas (ventas, clientes, productos).
  • Integrado (datos homogéneos de distintas fuentes).
  • No volátil (los datos no se modifican, solo se agregan).
  • Variante en el tiempo (conserva el histórico).

Modelado habitual: esquema estrella (tabla de hechos con dimensiones) y copo de nieve (dimensiones normalizadas).

Ejemplos: TeradataAmazon RedshiftGoogle BigQuerySnowflakeMicrosoft Azure SynapseOracle Exadata

Data Marts

Subconjunto del data warehouse enfocado en un área o departamento específico (ventas, finanzas, marketing). Es más pequeño, rápido y fácil de implementar.

  • Dependientes: se alimentan del data warehouse central.
  • Independientes: se alimentan directamente de las fuentes.
  • Híbridos: combinan ambos orígenes.
Enfoques: Inmon (de arriba hacia abajo: primero el DW y luego los data marts) y Kimball (de abajo hacia arriba: se construyen data marts que integran el DW).

Herramientas de minería de datos

HerramientaTipoCaracterísticas
WEKACódigo abierto (Java)Amplia colección de algoritmos de clasificación, clustering y asociación; muy usada en educación.
RapidMinerComercial / versión gratuitaFlujos de trabajo visuales de arrastrar y soltar para todo el proceso KDD.
KNIMECódigo abiertoPlataforma modular basada en nodos; integra R, Python y bases de datos.
OrangeCódigo abiertoProgramación visual y visualización interactiva.
RCódigo abiertoLenguaje estadístico con miles de paquetes de minería y modelado.
Python (scikit-learn, pandas)Código abiertoLibrerías para preparación de datos, machine learning y deep learning.
IBM SPSS ModelerComercialMinería de datos visual de nivel empresarial.
SAS Enterprise MinerComercialModelado predictivo avanzado para grandes organizaciones.
SQL Server Analysis ServicesComercialAlgoritmos de minería integrados al ecosistema Microsoft.