G214 · Procesamiento y almacenamiento de datos en la nube
Material de la asignatura para trabajar en tu propia cuenta de AWS. Aquí puedes leer las guías y los README de cada actividad, con los mismos enlaces que en el material, y descargar todo el material en un único fichero.
Descargar g214-materiales.zip (0.9 MB)Cómo usar el material (CloudShell, zip, etiquetas)Adminer (cliente SQL)
Para usar el zip en CloudShell: Actions → Upload file, y después unzip -o g214-materiales.zip. Los pasos exactos y qué hacer si algo da Permission denied están en el README principal.
Adminer: pide los datos de tu base de datos (servidor, usuario y contraseña). Solo funciona en el horario de clase (ver el aviso de arriba).
Tema 1 · Introducción a la computación y al almacenamiento en la nube: tu primera máquina virtual
- 01.01-CrearYConectarVM · Tema 1 · 1 · Crear tu primera máquina virtual y conectarte
- 01.02-ServidorWeb · Tema 1 · 2 · Publicar una página web desde tu máquina
- 01.03-PararRedimensionarBorrar · Tema 1 · 3 · Parar, cambiar el tamaño y borrarlo todo
Tema 2 · Almacenamiento de datos en la nube
- 02.01-s3primerbucket · Tema 2 · 1 · Tu primer bucket de S3: subir, listar y compartir datos
- 02.02-s3versionadoysync · Tema 2 · 2 · S3: versionado, URL firmada y sincronización
- 02.03-EBSWindowsFormatearDisco · Tema 2 · 3 · Almacenamiento en bloques (EBS): un disco nuevo en Windows
- 02.04-EBSSnapshotDetachAmpliar · Tema 2 · 4 · EBS: snapshot, mover el disco a otra máquina y ampliarlo
- 02.05-EFSCarpetaCompartida · Tema 2 · 5 · Almacenamiento de archivos (EFS): una carpeta compartida por dos máquinas
- 02.06-laboratoriocafeteria · Tema 2 · 6 · Laboratorio de recapitulación: la cafetería (EC2 + EBS + EFS)
- 02.07-ejercicioaciclodevida · Tema 2 · 7 · Ejercicio A: ciclo de vida y clases de almacenamiento (padrón del INE)
- 02.08-ejerciciobdatosabiertos · Tema 2 · 8 · Ejercicio B: publicar datos abiertos y pagar la salida
- 02.09-ejerciciocbicimad · Tema 2 · 9 · Ejercicio C: los tres almacenamientos sobre un dataset real (BiciMAD)
Tema 3 · Bases de datos relacionales y no relacionales
- 03.01-RDSMariaDB · Tema 3 · 1 · Crear tu base de datos relacional (RDS MariaDB)
- 03.02-adminer · Tema 3 · 2 · Desplegar Adminer y conectar con tu RDS
- 03.03-sqlestudiantes · Tema 3 · 3 · SQL con la tabla de estudiantes (carga, CRUD, administración y ejercicios 1 y 2)
- 03.04-webappexportar · Tema 3 · 4 · Web app propia en una EC2 y ejercicio 3 (exportar e importar)
- 03.05-paiseseuribor · Tema 3 · 5 · Ejercicios 4 y 5: tipos de datos (países) e importar el Euribor
- 03.06-acidrigidez · Tema 3 · 6 · Transacciones ACID y rigidez de esquema
- 03.07-dynamodbcli · Tema 3 · 7 · DynamoDB: tabla Usuarios, CLI, Python y exportar/importar con S3
- 03.08-dynamodbvisor · Tema 3 · 8 · Visor web de DynamoDB con Streamlit
- 03.09-ineaire · Tema 3 · 9 · Ejercicios adicionales A y B: población del INE e índices con datos de aire
- 03.10-estacionesdynamodb · Tema 3 · 10 · Ejercicio adicional C: estaciones de bicicleta en DynamoDB (clave compuesta)
- 03.11-csvparquet · Tema 3 · 11 · Ejercicio D (opcional): de CSV a Parquet, filas frente a columnas
Tema 4 · Lagos de datos y almacenamiento masivo
- 04.01-creardatalake · Tema 4 · 1 · Crear el Data Lake (stack de CloudFormation)
- 04.02-titanic · Tema 4 · 2 · Ejercicio 1: Titanic (CSV, Crawler, nulos, Parquet y medir)
- 04.03-nyctaxi · Tema 4 · 3 · Ejercicio 2: NYC Taxi (Parquet, particiones, vista y tabla curated)
- 04.04-airemadrid · Tema 4 · 4 · Ejercicio adicional A: calidad del aire de Madrid
- 04.05-euriboripc · Tema 4 · 5 · Ejercicio adicional B: Euribor e IPC (cruzar dos fuentes abiertas)
- 04.06-optimizarpresupuesto · Tema 4 · 6 · Ejercicio adicional C: optimizar el lago y defender el presupuesto
- 04.07-PanelStreamlitSeguridad · Tema 4 · 7 · Panel Streamlit y seguridad del Data Lake (opcional)
Tema 5 · Procesos ETL en la nube con AWS Lambda
- 05.01-infraestructurabase · Tema 5 · 1 · Infraestructura base (Paso 0)
- 05.02-etltitanic · Tema 5 · 2 · Ejercicio 1: ETL Titanic (S3 a RDS)
- 05.03-cryptoas3 · Tema 5 · 3 · Ejercicio 2, tipo 1: CoinGecko a S3 (con Athena y Glue)
- 05.04-cryptoadynamodb · Tema 5 · 4 · Ejercicio 2, tipo 2: CoinGecko a DynamoDB
- 05.05-cryptoas3yrds · Tema 5 · 5 · Ejercicio 2, tipo 3: CoinGecko a S3 y RDS
- 05.06-ProgramarEventBridge · Tema 5 · 6 · Programar la ejecución con EventBridge (opcional)
- 05.07-adicionalaree · Tema 5 · 7 · Ejercicio adicional A: demanda eléctrica (REE) a S3 con Athena
- 05.08-adicionalbeuribor · Tema 5 · 8 · Ejercicio adicional B: Euribor incremental (BCE) a RDS
- 05.09-adicionalcclima · Tema 5 · 9 · Ejercicio adicional C: meteorología (Open-Meteo) a DynamoDB