ListoOct 2026
Weather Databricks Pipeline
ETL medallion en Databricks SQL — ingest en volumen de Unity Catalog, Delta bronze/silver/gold, tabla de cuarentena, controles de calidad, job y dashboard Lakeview sobre el mismo panel de 167k filas
- Rol
- Ingeniero de datos / analista
- Stack
- Databricks SQLDelta LakeUnity CatalogETLData qualityKaggle Global Weather Repository
Contexto
Complemento de Weather Trend Forecasting sobre el mismo Global Weather Repository. El proyecto Jupyter profundiza en pronóstico y inferencia para Kyiv; este repositorio implementa un pipeline tipo lakehouse en Databricks con SQL, Delta, cuarentena, controles DQ y dashboard.
Qué demuestra
ELT en lakehouse: aterrizaje crudo, transformaciones en el warehouse, cuarentena auditable y compuertas DQ explícitas para tablas orientadas a analistas.
Puntos clave
- Catálogo `weather_pipeline`: bronze desde `/Volumes/.../GlobalWeatherRepository.csv` con columnas de linaje
- Dedupe en silver sobre `(location_name, last_updated)` — 167.811 filas limpias, 2 en cuarentena; reconcilia con 167.813 en bronze
- Seis controles DQ en `weather_dq.pipeline_checks` (claves duplicadas, nulos, reconciliación, cobertura gold Kyiv)
- Job `weather_medallion_pipeline`: cuatro tareas SQL (bronze → silver → gold → dq) en warehouse serverless
- Dashboard Lakeview: conteos por capa, tabla DQ, serie diaria de temperatura en Kyiv
Retos
Resultados
- Repositorio público con scripts SQL idempotentes y documentación de despliegue
- Ejecución exitosa del job (~4,5 min) y dashboard publicado con capturas en el repo
- Complementa Weather Trend Forecasting — exploración en Python, pipeline y BI en Databricks