Funciones para limpieza y transformación de datos en Python (nivel primer año)

1. Tema 1: Tratamiento básico de texto en pandas

   Descripción corta: uso de métodos de cadena en pandas (str.strip, str.lower, etc.) y aplicación en columnas de un DataFrame para limpieza inicial.

2. Tema 2: Normalización y manejo de espacios y diacríticos

   Descripción corta: normalización de casos, eliminación de espacios redundantes y manejo de acentos y caracteres especiales para uniformar textos.

3. Tema 3: Eliminación de caracteres no deseados y manejo de valores inconsistentes

   Descripción corta: uso de expresiones regulares y filtros para quitar caracteres no deseados y detectar valores atípicos o mal formateados.

4. Tema 4: Estandarización de categorías

   Descripción corta: mapeo de valores para consolidar categorías equivalentes (ej., “Masculino” = “M”, “Femenino” = “F”) y creación de categorías consistentes para análisis.

1. Actividad 1: Limpieza básica de una columna de nombres

   Descripción: aplicar trimming y conversión a minúsculas en una columna de nombres en un DataFrame. Puntos clave: identificar espacios fronterizos, normalizar el caso y validar resultados. Aprendizajes: entender cómo tiny errores de formato pueden afectar el análisis de textos.

2. Actividad 2: Normalización de direcciones y textos descriptivos

   Descripción: estandarizar direcciones o descripciones cortas, eliminando espacios duplicados y convirtiendo a minúsculas. Puntos clave: consistencia entre filas y preparación para búsquedas. Aprendizajes: importancia de la consistencia de etiquetas textuales.

3. Actividad 3: Eliminación de caracteres no deseados y manejo de valores inconsistentes

   Descripción: usar expresiones regulares para quitar caracteres especiales y detectar valores inconsistentes (p. ej., fechas mal formateadas, puntuación extra). Aprendizajes: técnicas de filtrado y validación de datos textuales.

4. Actividad 4: Estándarización de categorías

   Descripción: implementar mappings para agrupar categorías equivalentes y crear una columna de categorías estandarizadas. Puntos clave: uso de map y replace. Aprendizajes: mejora de la calidad de agrupamientos y análisis por categorías.

5. Actividad 5: Proyecto corto de limpieza de un dataset de ventas

   Descripción: aplicar las técnicas vistas para limpiar varias columnas de un dataset real o simulado (nombres, direcciones, comentarios). Aprendizajes: integración de todas las habilidades en un flujo de trabajo de limpieza de datos.

La evaluación está diseñada para medir el logro de los objetivos de aprendizaje y se estructura en dos tipos: formativa durante la unidad y una evaluación sumativa al finalizar.

• Evaluación del Objetivo General: proyecto final de limpieza y transformación de un pequeño dataset, con entrega de código y resultados esperados. Criterios: correcta aplicación de trimming, lowercasing, eliminación de caracteres no deseados, manejo de valores inconsistentes y estandarización de categorías; claridad y eficiencia del código; documentación de pasos.
• Evaluación de Objetivos Específicos:
  • Objetivo Específico 1: Evidencia de trimming y conversión a minúsculas en al menos dos columnas; validación de resultados mediante pruebas de consistencia.
  • Objetivo Específico 2: Demostración de eliminación de caracteres no deseados y normalización de formatos en una o más columnas; uso de expresiones regulares cuando corresponda.
  • Objetivo Específico 3: Demostración de manejo de valores inconsistentes y estandarización de categorías; creación de una columna de categorías estandarizadas y verificación de consistencia entre filas.
• Instrumentos de evaluación: rúbricas de desempeño, revisión de código (legibilidad y buenas prácticas), y entrega de un informe corto de resultados con observaciones sobre posibles mejoras.

Duración de la unidad: 4 semanas

• Semana 1: Temas 1 y 2; Actividades 1 y 2; actividades de aprendizaje activo orientadas a limpieza básica y normalización.
• Semana 2: Tema 3; Actividad 3; inicio de Actividad 4; ejercici