Tema 4 · Lagos de datos y almacenamiento masivo
Actividades del tema, en el orden en que se hacen. Las que son una carpeta traen los ficheros de la actividad y su README.md con los pasos; las que son un .md son una guía que se sigue en la consola de AWS o en la terminal.
Ayuda de los scripts. Todos los scripts del tema responden a --ayuda (o --help): muestran sus pasos y opciones y recuerdan que cada carpeta trae un README.md para resolver dudas.
| Actividad | Qué haces | Tipo |
|---|---|---|
04.01-creardatalake/ |
Crear el Data Lake (stack de CloudFormation) | Carpeta con ficheros |
04.02-titanic/ |
Ejercicio 1: Titanic (CSV, Crawler, nulos, Parquet y medir) | Carpeta con ficheros |
04.03-nyctaxi/ |
Ejercicio 2: NYC Taxi (Parquet, particiones, vista y tabla curated) | Carpeta con ficheros |
04.04-airemadrid/ |
Ejercicio adicional A: calidad del aire de Madrid | Carpeta con ficheros |
04.05-euriboripc/ |
Ejercicio adicional B: Euribor e IPC (cruzar dos fuentes abiertas) | Carpeta con ficheros |
04.06-optimizarpresupuesto/ |
Ejercicio adicional C: optimizar el lago y defender el presupuesto | Carpeta con ficheros |
04.07-PanelStreamlitSeguridad.md |
Panel Streamlit y seguridad del Data Lake (opcional) | Guía |
Coste y apagado automático. Todo el tema cuelga del stack g214-datalake-demo (04.01). Su única parte que cuesta si te olvidas es la EC2 del panel Streamlit (unos 4,6 USD al día): gestionar-datalake.sh la apaga sola a las 4 horas (se para, no se borra). Para ampliar el plazo vuelve a ejecutar ./gestionar-datalake.sh crear (o extender; --permanente la deja siempre encendida). S3, Glue y Athena no consumen si se dejan. Los scripts de cada actividad (gestionar-titanic.sh, gestionar-nyc-taxi.sh) tienen estado y eliminar, y el borrado de todo el stack va el último con ./gestionar-datalake.sh eliminar.