Ítem
Acceso Abierto
Desarrollo de una librería MLOps: versionamiento, trazabilidad y automatización del ciclo de vida de modelos en entornos Big Data
Título de la revista
Autores
Acevedo Orjuela, Bryam Camilo
Fecha
2026-02-27
Directores
Avilán Vargas, Nicolás Guillermo
ISSN de la revista
Título del volumen
Editor
Universidad del Rosario
Buscar en:
Métricas alternativas
Resumen
Esta tesis de maestría presenta el diseño, implementación y validación empírica de MomentumML, una librería modular de MLOps construida sobre PySpark y MLflow, desarrollada para cerrar la brecha entre la experimentación de modelos de ML y su despliegue confiable en producción — desafío respaldado por evidencia que indica que más del 90% de los modelos desarrollados nunca alcanzan entornos productivos estables. La librería comprende 34.582 líneas de código organizadas en módulos especializados que cubren el ciclo de vida completo del ML: preprocesamiento (10 clases Transformer), entrenamiento (5 clases Estimator con soporte para 8 algoritmos), versionado automático en Unity Catalog, predicción y monitoreo de drift mediante técnicas estadísticas multimodales como PSI, Kolmogorov-Smirnov, Jensen-Shannon Divergence y Chi-cuadrado. Validada durante seis meses en una organización real del sector telecomunicaciones, los resultados fueron contundentes: reducción del 81% en código para pipelines end-to-end, disminución del 71% en tiempos de despliegue (de 3–4 semanas a 5–7 días), incremento del 740% en frecuencia de despliegue, reducción del 77% en tasa de fallos, y disminución del 40% en consumo de unidades de cómputo en Databricks. El resultado más destacado: 35 de 85 modelos operativos (41.2%) lograron transitar exitosamente a entornos de QA, un hito inédito en la organización. El trabajo aporta un framework práctico, de código abierto y escalable que integra ingeniería de software, ciencia de datos y operaciones, posicionándose como referencia replicable para la adopción empresarial de MLOps.
Abstract
This master's thesis presents the design, implementation, and empirical validation of MomentumML, a modular MLOps library built on PySpark and MLflow, developed to address the well-documented gap between ML model experimentation and reliable production deployment — a challenge reflected in industry figures suggesting that over 90% of developed models never reach stable production environments. The library comprises 34,582 lines of code organized into specialized modules covering the full ML lifecycle: preprocessing (10 Transformer classes), training (5 Estimator classes supporting 8 algorithms), automatic versioning via Unity Catalog, inference, and drift monitoring through multimodal statistical techniques including PSI, Kolmogorov-Smirnov, Jensen-Shannon Divergence, and Chi-squared tests. Validated over six months in a real telecommunications organization, the results were substantial: an 81% reduction in end-to-end pipeline code, a 71% decrease in deployment time (from 3–4 weeks to 5–7 days), a 740% increase in deployment frequency, a 77% reduction in failure rate, and a 40% reduction in Databricks compute unit consumption. Most notably, 35 of 85 operational models (41.2%) successfully transitioned to QA environments — an organizational first. The work contributes a practical, open-source, and scalable framework that bridges software engineering, data science, and operations, positioning itself as a replicable reference for enterprise MLOps adoption.
Palabras clave
MLOps , Machine Learning , PySpark , MLflow , Ciclo de vida de modelos , Automatización , Trazabilidad , Reproducibilidad , Versionado , Detección de drift , Big Data , Entornos distribuidos , Despliegue de modelos , Monitoreo continuo , Deuda técnica , Unity Catalog , Databricks , Pipelines de ML , Ingeniería de software , Ciencia de datos
Keywords
Mlops , Machine Learning , Pyspark , Mlflow , Model Lifecycle , Automation , Traceability , Reproducibility , Versioning , Drift Detection , Distributed Environments , Big Data , Model Deployment , Continuous Monitoring , Technical Debt , Unity Catalog , Databricks , ML Pipelines , Software Engineering , Data Science
