Tema 5 · Procesos ETL en la nube con AWS Lambda
Actividades del tema, en el orden en que se hacen. Las que son una carpeta traen los ficheros de la actividad y su README.md con los pasos; las que son un .md son una guía que se sigue en la consola de AWS o en la terminal.
Ayuda de los scripts. Todos los scripts del tema responden a --ayuda (o --help): muestran sus pasos y opciones y recuerdan que cada carpeta trae un README.md para resolver dudas.
| Actividad | Qué haces | Tipo |
|---|---|---|
05.01-infraestructurabase/ |
Infraestructura base (Paso 0) | Carpeta con ficheros |
05.02-etltitanic/ |
Ejercicio 1: ETL Titanic (S3 a RDS) | Carpeta con ficheros |
05.03-cryptoas3/ |
Ejercicio 2, tipo 1: CoinGecko a S3 (con Athena y Glue) | Carpeta con ficheros |
05.04-cryptoadynamodb/ |
Ejercicio 2, tipo 2: CoinGecko a DynamoDB | Carpeta con ficheros |
05.05-cryptoas3yrds/ |
Ejercicio 2, tipo 3: CoinGecko a S3 y RDS | Carpeta con ficheros |
05.06-ProgramarEventBridge.md |
Programar la ejecución con EventBridge (opcional) | Guía |
05.07-adicionalaree/ |
Ejercicio adicional A: demanda eléctrica (REE) a S3 con Athena | Carpeta con ficheros |
05.08-adicionalbeuribor/ |
Ejercicio adicional B: Euribor incremental (BCE) a RDS | Carpeta con ficheros |
05.09-adicionalcclima/ |
Ejercicio adicional C: meteorología (Open-Meteo) a DynamoDB | Carpeta con ficheros |
Apagado automático. La infraestructura base (05.01) apaga sola la EC2 y la RDS a las 4 horas de estar listas (las para, no las borra). Si al empezar una actividad la base de datos no responde, ejecuta ./gestionar-etl-base.sh crear en 05.01-infraestructurabase: arranca lo apagado y renueva otras 4 horas (extender solo amplía el plazo; --permanente lo desactiva, cuesta dinero). Solo eliminar borra. Detalles en el README de 05.01.
Programaciones de EventBridge. programar (en 05.03, 05.04 y 05.05, y la guía 05.06) también se apaga sola: a las 4 horas la propia función desactiva su regla (queda desactivada, no se borra). extender amplía el plazo, programar --permanente lo quita y volver a ejecutar programar la reactiva; desprogramar o eliminar la borran.