Eduteka+

Webinar Retroalimentación y Evaluación en Educación No Presencial

Por Carlos Andrés Ávila 14 may 2020 94 min

Este webinar aborda la importancia de la retroalimentación y la evaluación auténtica en la educación no presencial. Explica cómo la evaluación debe ser un proceso integral que valore el aprendizaje significativo y relevante para los estudiantes y la sociedad, destacando tipos de evaluación como la formativa, co-evaluación, autoevaluación y heteroevaluación. Es útil para docentes que buscan mejorar sus prácticas evaluativas en entornos virtuales.

Ver en YouTube Arranca en el minuto 26:48

Transcripción

Transcripción automática; cada marca lleva el video a ese momento.

[00:00]Bueno, entonces vamos a dar inicio al webinar. Entonces, bienvenidos a este webinar. El webinar se llama Retroalimentación y evaluación en educación no presencial. Mi nombre es Carlos Andrés Ávila. Soy coordinador de formación del Centro Edutech, al cual pertenece a la Escuela de Ciencias de la Educación de la Universidad Icesi. Me estará acompañando Juan Carlos López García. Él es el editor del portal Eduteca. También es magistra en educación y nos va a estar apoyando en el apoyo a las preguntas. Cualquier pregunta o inquietud que tengan, por favor, la pueden ir compartiendo por medio del chat. Dentro de lo posible, Juan Carlos responderá y otras las recogeremos y al final de la presentación estaremos dando respuesta a ellos.

[00:55]El objetivo del webinar es destacar la importancia de la retroalimentación y evaluación como un componente integral en los procesos educativos, empleando una valoración auténtica que se diferencie de la evaluación tradicional. Entonces vamos a ver lo importante que es la evaluación no solamente como una parte final de un proceso, sino que hace parte de un proceso educativo. Vamos a hablar sobre la valoración auténtica, cómo podemos involucrar la evaluación que sea significativa para los estudiantes y que trascienda más allá del aula, más allá de los colegios. Y para empezar, entonces, la primera pregunta para ponernos en contexto es ¿qué es evaluación? La evaluación es un proceso que tiene por objeto determinar en qué medidas se han logrado los objetivos previamente establecidos. ¿Qué objetivos? Pues los objetivos de aprendizaje que normalmente todos manejamos. Que supone un juicio de valor sobre la programación establecida, que es decir, sobre lo que se ha planteado y planeado, y que se emite al contrastar esa información con dichos objetivos. Entonces, la evaluación es un proceso, ¿determina qué? Determina si se han logrado o alcanzado unos objetivos o unos propósitos educativos.

[02:16]Y al final, en esas actividades, quiere decir, en esa programación establecida, vamos a contrastar si esa información que se levanta en los procesos educativos y en los cuales la evaluación juega un papel importante, esa información nos dice si esos objetivos se han alcanzado o no. Pero entonces, ¿qué permite la evaluación? La evaluación, esta es una definición que da el Ministerio de Educación colombiano, la evaluación como elemento regulador de la prestación del servicio educativo, permite valorar el avance y los resultados del proceso a partir de evidencias, y destacamos esa parte, evidencias que garanticen una educación pertinente, significativa para el estudiante y relevante para la sociedad. Entonces, la evaluación me permite eso, es a través de unas evidencias, unas evidencias creadas por los estudiantes, que garanticen una educación pertinente y significativa, y mirar que esa evaluación sea relevante para el estudiante, pero también para la sociedad. Algo que debemos tener en cuenta es que los estudiantes o la principal labor de las instituciones educativas es formar ciudadanos, es eso que él aprende en la institución educativa, cómo le va a servir a él allá en el mundo real.

[03:42]Cuando nos pensamos eso, cuando pensamos en ambientes reales, eso ya nos va dando pistas de cómo deben ser las actividades, y unas actividades que por supuesto van a ser evaluadas. Entonces, ese es el objetivo de la evaluación, eso es lo que permite la evaluación. La evaluación no es solamente para ver si el estudiante cumplió o no cumplió unos contenidos, sino que me permite evidenciar si eso es relevante para la vida de ese estudiante, que sea significativa, quiere decir que hace referencia a que para él eso significa algo en su contexto real más allá del colegio, y por supuesto si es relevante para la sociedad, pues ese alumno es un sujeto que se relaciona con el mundo. Como ya sabemos, y esto es importante que lo miremos porque vamos a estar hablando de estos tipos de evaluaciones a lo largo del webinar, vamos a estar hablando de la evaluación formativa, la cual es reorientar esas prácticas de manera permanente en los procesos. Vamos a estar hablando de la co-evaluación, la cual es evaluar el desempeño a través de la observación y determinación que se puede hacer con otros compañeros de estudio. La auto-evaluación, o sea, cómo se reflexiona sobre lo realizado para mejorar los aprendizajes.

[04:53]Y la hetero-evaluación, que es la evaluación más tradicional, que es la que normalmente hacemos. Vamos a estar hablando de estos tipos de evaluación y vamos a ver cómo se pueden involucrar a lo largo de un proceso y no solamente al final de un proceso.

[05:14]Entonces, para empezar, vamos a hablar un poco sobre la consigna y evaluación consigna, entendiéndolo como esas indicaciones claras, específicas, puntuales que le compartimos a los estudiantes, que ponemos a disposición de los estudiantes para que ellos puedan desarrollar unas actividades, que a su vez esas actividades permiten llegar a unos objetivos de aprendizaje y en donde la evaluación lo que va a hacer es valorar ese proceso y mirar si sí se desarrollaron los aprendizajes, las competencias y si se cumplió con el objetivo. Entonces, vamos a hablar primero sobre la consigna y la evaluación. Para esto es importante tener en cuenta que la evaluación no es un hecho aislado. No podemos pretender que los objetivos sean una cosa, la descripción de las actividades sea otra, lo que el chico entrega sea una otra cosa y que la evaluación sea por allá algo nuevo que llegó al final, que está desarticulado de estas tres fases anteriores y que simplemente va a mirar cómo le fue y si eso me sirve o no para pasar una valoración. No, realmente todo esto está ligado y es un proceso y no necesariamente tiene que ser lineal. En algún momento la evaluación puede interactuar con los entregables, los entregables al mismo tiempo pueden estar interactuando con la descripción de actividades y los objetivos siempre están inmersos en ese proceso.

[06:36]Por eso la evaluación analiza el entregable de lo elaborado por los estudiantes y a su vez es entregable de ser coherente con las actividades planteadas por el docente y son unas actividades que deben permitir alcanzar el objetivo de aprendizaje establecido. Entonces vamos a mirar un poco cada aspecto, vamos a mirarlo por separado porque no podemos hablar de evaluación sin hablar de objetivo, descripción de actividades y entregable. Pero vamos a mirarlo despensándonos entonces, que debo tener en cuenta en cada parte de ese proceso para posteriormente ser evaluado. Entonces empecemos por los objetivos de aprendizaje. Los objetivos de aprendizaje, así sean en ambientes no presenciales, que es en lo cual nos estamos enfocando hoy, son los mismos. No necesariamente esos objetivos de aprendizaje que usted está utilizando el día de hoy tienen que cambiar para la educación no presencial. Son los mismos, simplemente lo que vamos a cambiar es la estrategia de cómo poner en juego esas actividades, esa interacción, esa gestión con los estudiantes para lograr ese objetivo. Y es muy importante tener en cuenta el objetivo desde el principio porque el objetivo normalmente cuando está bien elaborado, ese objetivo desde un principio ya me da pistas de lo observable para saber si un estudiante cumple o no.

[08:01]Para eso es muy recomendable, yo creo que todos lo conocemos, es la taxonomía de Bloom. La taxonomía de Bloom simplemente lo que hace es dividirme por niveles los aprendizajes de los estudiantes y en cada nivel recomienda una serie de preguntas que me permiten evidenciar si el estudiante alcanzó o no ese objetivo. Esto es muy importante porque a veces hay objetivos que, por ejemplo, el objetivo de aprendizaje es que el estudiante sepa manejar todas las operaciones de los fraccionarios. Pero usted cómo sabe que el estudiante maneja todas las operaciones con fraccionarios. Entonces es ahí donde ese objetivo de tener una palabra, un verbo, que me permita evidenciar si el estudiante maneja o no los objetivos de aprendizaje.

[08:59]La taxonomía de Bloom para el área digital es la misma taxonomía de Bloom, pero ajustada. Esto fue hecho por el doctor Andrew Charles. Es lo que hizo escoger esas palabras que se utilizan en la taxonomía de Bloom que lleva muchísimo tiempo, cómo pueden agregarse otro tipo de palabras que hacen correspondencia a nuestra actualidad. ¿Por qué? Porque cuando se generó la taxonomía de Bloom, pues no existía el Internet, no existía mucha tecnología, no existían muchas actividades que se pueden hacer ahora, como, por ejemplo, etiquetar, categorizar, compartir por redes. Ese tipo de acciones no existían cuando se creó la taxonomía de Bloom. Entonces la taxonomía de Bloom para el área digital me complementa la taxonomía de Bloom. Entonces lo primero es el objetivo de aprendizaje. Claro, el objetivo de aprendizaje que ustedes tenían fijado para la educación presencial, ahorita que nos estamos moviendo por la coyuntura del COVID-19 a lo no presencial, no necesariamente tiene que cambiar. El objetivo es el mismo. Lo que va a cambiar son esas actividades y esas estrategias que yo utilizo para comunicarme y gestionar las actividades con los alumnos. En esa propuesta de actividades de aprendizaje, es importante tener en cuenta la pirámide del aprendizaje.

[10:18]Esta pirámide del aprendizaje ya me da pistas de qué tipo de actividades debo privilegiar o tener en cuenta que tienen un mayor efecto en los estudiantes. Lo primero que hay que tener en cuenta en esta propuesta de actividades de aprendizaje es que lo que yo vaya a proponer al estudiante debe ser contextualizado al estudiante. Que eso tenga alguna relación con lo que él hace en su vida real, en su cotidianidad. Y, por supuesto, que eso resuelva, que dé luz, que dé línea, que dé razón de ser a problemas del mundo real, pero que enfrenta a ese estudiante. A veces planteamos actividades que están muy ligadas a los pareceres, a lo que cree el docente, a su mirada, pero resulta que el que va a desarrollar las actividades y a quien estamos apuntando en estos procesos son estudiantes, donde se mueven a otros contextos, tienen otras edades, tienen otros gustos. Entonces ahí es fundamental que todo lo que yo haga me lo piense es en torno al estudiante, a su vida y a su cotidianidad. En esta pirámide, por ejemplo, vemos que cuando las actividades que son con los estudiantes se basan solamente en escuchar y en escuchar principalmente al docente, la retención es del 5%. Quiere decir que todo eso que usted le habla a él, un 5% probablemente es lo que él va a retener y al final y para poder procesar.

[11:47]Cuando ya incluimos actividades que tienen tareas de lectura, ya ahí vamos incrementando la capacidad de aprendizaje y de retención y se considera que es más o menos un 10%. Cuando yo ya empiezo a implementar actividades audiovisuales, videos, presentaciones, animaciones, cómics, eso ya me ayuda a generar una retención del 20%. Entonces, miren, cuando yo voy teniendo en cuenta estos aspectos, yo ya me puedo ir pensando qué recursos le voy yo a facilitar a mi estudiante pensando en esta pirámide de aprendizaje. Cuando los ponemos a interactuar con diapositivas, con imágenes, con animaciones, esto ya genera una mayor atención, una mayor concentración y un mayor significado y le ayuda a que haya una mayor retención. Cuando ya planteamos actividades donde el estudiante tiene que demostrar algo, él tiene que hacer algo y demostrarlo, ya estamos hablando que existe una retención del 30%, pero cuando planteamos actividades que el estudiante tiene que argumentar con base en una lectura, una actividad, dar su punto de vista, argumentar, ahí ya se sube al 50%. Entonces, miren lo importante que es el poder de la argumentación y la argumentación en actividades no presenciales se facilita. Están los podcasts, están los mismos videos, los audios, ahorita vamos a hablar un poco más sobre esto, pero miren cómo esta pirámide ya me va dando pistas a qué le debo apuntar pensando en una mayor retención de ese aprendizaje.

[13:25]Cuando yo ya pongo a hacer actividades prácticas a los alumnos, ya estamos hablando de un 75% de retención. Es aquí donde el aprendizaje activo toma mayor relevancia, porque el aprendizaje activo dice que el estudiante hace algo y en ese algo aprende algo. Activo no es simplemente que el estudiante tenga una actividad de clase, no, es mientras él hace algo, aprende algo. ¿Listo?

[14:01]Cuando ya interactuamos con actividades que tienen que ver donde el estudiante coevalúa, interactúa con otra persona, ya podemos ponerlo a hacer actividades entre pares donde el uno aprende del otro y ya cuando es enseñar a otros ya alcanzamos un nivel de retención del 90%. Entonces, esta pirámide es importante porque nos ayuda a entender la actividad que estoy planteando, qué impacto en el aprendizaje puede tener del estudiante y me ayuda mucho mejor a enfocar esas actividades que yo quiero plantearle al alumno. Entonces, en esa descripción de actividades que yo quiero plantearle al estudiante, aquí es algo fundamental y es lo siguiente. Primero, hago una caracterización de los estudiantes en relación a los desafíos y problemáticas que enfrentan al realizar trabajo en línea. Como todos ustedes han dado cuenta, pues este paso abrupto a la educación no presencial ha generado muchos dolores de cabeza y quejas de los estudiantes y también quejas de los maestros y es algo completamente normal. ¿Por qué? Porque se hizo una transición de la noche a la mañana debido a la coyuntura, debido a la pandemia. No se dio el tiempo a la preparación, tanto en metodología y disciplina, porque el aprendizaje no presencial requiere una disciplina mayor, pero tampoco se tuvo una preparación en cómo diseñar actividades.

[15:27]Entonces, tuvimos que hacer esto casi que la noche a la mañana. Teniendo esa situación en contexto, pues es importante, entonces, primero entender cómo son esos estudiantes, cuál es su caracterización tecnológica, cuál es su ambiente, empezando por la misma edad de los estudiantes. Si estamos hablando de estudiantes de 5 a 10 años, pues obviamente la autonomía y el manejo de ellos en lo no presencial es diferente y es ahí donde tenemos que enfocar nuestros trabajos, nuestra consignia, nuestra comunicación, sobre todo orientado a los padres de familia que se vuelven ese apoyo, ese acompañamiento en la casa con los estudiantes. No podemos pretender que un estudiante de 5 años, de 8 años, hasta de 10 años, tenga la autonomía suficiente para entender solo una consigna, para defenderse solo con unas indicaciones. Ahí el padre de familia es fundamental. Cosa diferente con ya los chicos más grandes, de séptimo, octavo, noveno en adelante, ellos ya tienen mayor suficiencia en el manejo y la autonomía, en el manejo y la comprensión de información en Internet. Entonces, entender esos simple hechos hasta la misma edad, a quien me estoy dirigiendo, me da claridad a los desafíos con que ellos se van a enfrentar.

[16:46]Un desafío enorme es, por ejemplo, el trabajo.

[16:51]En lo presencial, cuando uno dice vamos a hacer, por ejemplo, un mapa conceptual y el docente está en el aula guiando al estudiante, pues es un trabajo que el estudiante va a tener una carga menor que si esa misma actividad se hace de manera no presencial. ¿Por qué? Porque de manera no presencial, el estudiante tiene que entender una consigna, tiene que entender las indicaciones, tiene que aprender a manejar la herramienta, tiene que entender los conceptos y la lectura o en qué se basa lo que tiene que hacer. Tiene, además, que elaborar el trabajo y después entregárselo al docente. Miren cómo en lo no presencial, cuando yo soy consciente que un solo producto, que podría parecer muy poquito, yo entiendo todo lo que eso implica, ya me está poniendo en contexto. En relación a los desafíos y problemáticas que puede tener ese estudiante. Pero muchos docentes han caído en el error que dicen, no, es que es un solo trabajo, eso es muy poquito, mejor pongámosle este otro y este otro. Entonces llega el docente de otra asignatura y piensa lo mismo y al final, el pobre estudiante con sus padres de familia terminan saturados de tareas. En lo no presencial, cada actividad es mucho más compleja de elaborar porque el estudiante tiene que defenderse solo o con la ayuda de los padres, tienen que enfrentarse a una consigna, no tiene el docente al lado que en dos o tres minutos le va a solucionar algo.

[18:14]Entonces, entendamos primero las implicaciones de plantear actividades no presenciales. Indique los temas, contenidos que tiene previsto cubrir y valore cuánto tiempo requieren los estudiantes para trabajarlos. Usted puede plantear una actividad que a usted como docente le puede parecer que no le va a requerir mucho tiempo al estudiante pero cuando es el estudiante que primero no tiene su conocimiento que apenas está aprendiendo sobre un tema, eso se le va a multiplicar por cuatro, por cinco veces más el tiempo. Entonces es bueno tener en cuenta esos tiempos, realmente un ejercicio cuánto tiempo le va a requerir en un nivel estudiante en desarrollar esos temas, contenidos que usted está planteando. Identifique qué temas, contenidos requieren una exposición de su parte. No quiere decir dar una clase por cámara de manera virtual como si fuera presencial. No. En qué actividad ellos requieren una introducción, una aclaración inicial para que con eso ellos puedan arrancar. De pronto en qué actividad a mitad del proceso podemos hacer una reunión general donde se aclaran las dudas que más se presentan y cómo hacer un cierre. Eso hay que pensarlo desde el mismo principio. ¿Dónde se requiere una exposición, una introducción del estudio?

[19:30]Desde el principio del docente, repito, dando claridad que no es dar clases por una cámara. Es simplemente dar una retroalimentación y unas guías. Y saber, y esto me va a permitir saber en qué momento son actividades sincrónicas, o sea, en qué momento me voy a conectar yo con ellos y en qué momento son actividades asincrónicas. Entonces los sincrónicos, por ejemplo, la apertura de actividades. Me reúno con ellos, doy algunas indicaciones, aclaro las más importantes, aclaro dudas y ya en el camino voy resolviendo otras. Y se recomienda en este caso que cuando sean actividades sincrónicas las conferencias o las reuniones virtuales sean en promedio en una hora máxima. Porque una hora máxima, más de una hora, recordemos que el estudiante no tiene solamente su clase sino que tiene otras asignaturas con indicaciones claras, con una consigna bien escrita es tiempo más que suficiente. Entonces esto es muy importante. Asocie cada actividad que usted está elaborando con los recursos y herramientas que va a necesitar. Vuelvo al ejemplo del mapa conceptual. Si yo le digo a un estudiante es que usted me va a elaborar un mapa conceptual sobre la lectura tal donde va a donde va a identificar los aspectos más importantes y los va a relacionar.

[20:54]Listo, un mapa conceptual. Siempre tiene que pensar en el peor de los casos. Y si el estudiante no sabe hacer un mapa conceptual, ¿qué necesita ese estudiante? Pues necesita por lo menos un videotutorial. Pero no cualquier videotutorial, un videotutorial que sea claro y concreto. Entonces ahí hay una tarea suya como docente que si yo le estoy pidiendo un mapa conceptual, tengo que darle un tutorial para que él sepa cómo hacerlo. Que él va a entregar ese mapa conceptual. Pues tengo que darle la lectura, tengo que darle un enlace. ¿Será que es toda la lectura? ¿Será que es todo un libro? ¿O será un capítulo específico? Ah, si es un capítulo específico, entonces ¿cuál es? Todo ese tipo de detalles cuando la educación es no presencial toman una importancia grandísima y por un detalle chiquitico como por ejemplo no decir qué capítulo de una lectura o qué página de una lectura. Hay dificultades en los estudiantes, probablemente esas dificultades también la van a notar los padres de familia y ahí el padre de familia va a ir donde usted como docente y ahí van a empezar pues unas tensiones en los procesos educativos. Entonces en las actividades no presenciales el nivel de detalle, cuidado y claridad de la escritura es fundamental.

[22:18]Una recomendación ahí también es por ejemplo hacer escrituras concretas. Si usted puede decir algo en 100 palabras si usted puede ser claro y concreto en una consigna directa hágalo, no de muchas vueltas no ponga un texto demasiado largo entre menos extenso sea menos probabilidad de confusionar. Entonces ahí el trabajo de síntesis por parte del docente es fundamental escribir en pocas palabras escribirlo en un formato claro en un formato claro un formato lo más sencillo posible ¿qué es? Actividades ojalá divididas paso a paso, uno a uno dejándole claridad qué va a entregar las características de lo que va a entregar y listo. A veces caemos en el error del formatitis entonces utilizamos unos formatos súper complejos súper enredados donde es más complejo entender el formato que la misma actividad. No, actividades con signos claras sencillas escritos de manera con formatos sencillos de entender aquí lo importante es que ellos lo comprendan ellos aquí, su institución educativa no es el salón de clases es lo que usted pueda tener con ellos por medio de una plataforma por medio de un documento que usted les entrega eso es fundamental esos son detalles que cuando el aprendizaje es presencial eso se puede superar fácilmente con una aclaración del docente en el aula porque si no, no eran muy relevantes y no marcaban mayor problema aquí se pueden volver un problema y muy grande.

[24:02]El principal problema que hemos notado en Eduteca a lo largo de la experiencia y los contactos que tenemos con todos los docentes de diferentes instituciones educativas y regiones del país es que la mayor dificultad en que los estudiantes entiendan lo que tienen que hacer es la consigna que envía el docente que no es clara de entender o que los recursos no están ahí para hacer tal cosa entonces si usted pone una tarea por ejemplo en Scratch si usted pone al estudiante a hacer un programa en Scratch donde tiene que hacer una simulación o un juego usted tiene que saber la realización de ese juego que me va a implicar en cuanto a comandos, a procesos y si el estudiante sí sabe manejarlos o si eso lo alcanzó a ver previamente y si no lo ha visto y es supremamente necesario que nos den ahí la actividad, el producto que estamos solicitando aquí hay que ser muy minucioso y aquí radica el éxito de la educación no presencial claridad en los entregables y eso va a dar claridad al momento de evaluar y ahorita vamos a ver por qué y el último punto es lo que les estaba diciendo escriba el plan de trabajo de los estudiantes en forma de consigna paso a paso primero esto en formato sencillos por favor y que cada actividad si requiere una lectura o algo eso tiene que ir asociado a un recurso y recursos que funcionen antes de usted mandar un recurso métase a esa dirección de internet a ver si todavía funciona si todavía abre si usted puede hacer un ejercicio que funciona mucho es comparte eso que usted escribió con otra persona dígale que lo lea dígale algo a usted para aclarar la consigna es porque algo falta ahí ese es un ejercicio que puede servir mucho para contrastar si nuestra consigna puede ser o no clara entonces en ese diseño de actividades se le va a pedir algo al estudiante es el entregable

[26:12]y cuando ya estamos hablando de la educación no presencial y antes de pensar en el entregable tenemos que pensar en lo que habíamos dicho previamente sobre el objetivo de aprendizaje ¿qué marca a mí? algo a lo cual yo le deseo apuntar o lo debo apuntar si son actividades de análisis si son actividades de argumentación de comprensión de categorización de síntesis y dependiendo a qué le quiero yo apuntar en ese objetivo es ahí donde yo pienso en el entregable

[26:48]si yo estoy apuntándole a que el estudiante sea capaz de sintetizar algo yo puedo pensar en entregables del estudiante por ejemplo en un podcast un podcast es un audio donde yo le puedo decir al estudiante que no más de dos minutos me sintetice tal cosa eso también lo puedo hacer por medio de un video que en un video de no más de dos o tres minutos el estudiante me argumente algo ahora si yo quiero es un trabajo donde el estudiante sea capaz de identificar y diferenciar conceptos y eso ya lo tengo claro desde el objetivo aprendizaje entonces el entregable ya le apunta el entregable ya le apunta a trabajar con gráficas por ejemplo mapas conceptuales un mapa conceptual me ayuda a mí a que el estudiante haga una síntesis extraiga de un documento los aspectos más importantes los conceptos y el entregable es simplemente una gráfica es una gráfica la mayoría de veces de una sola hoja pero para que el estudiante pueda llegar a un nivel de síntesis de un mapa conceptual previo a eso hay un trabajo muy grande porque no es fácil hacerlo así el entregable sea aparentemente sólo una hoja entonces cuando yo ya tengo claro en el objetivo a qué le estoy apuntando si son tareas de análisis de argumentación y si yo pienso entonces qué entregable se ajusta más a eso que yo quiero hacer en la educación no presencial hay muchos tipos de entregables que nos pueden trabajar en eso y que se salen de los entregables tradicionales que son simplemente los trabajos escritos o las exposiciones están los audios que son los podcasts por medio de eso el estudiante puede hacer trabajo de síntesis, de explicación, de argumentación y los puede enviar los blogs que son los estudiantes pueden hacer trabajos, publicar información los blogs son llamativos porque además por ahí pueden interactuar con compañeros de trabajo

[29:00]compartir ideas retroalimentarias entre sí, están los cómics los cómics permiten hacer narraciones y esto va más allá de la enseñanza del arte y del lenguaje por medio del cómics yo puedo, el estudiante puede narrar una historia usted puede estar trabajando en ciencias sociales y por medio de un cómic el estudiante puede describir consignar y demostrar lo que usted quiere que él aprenda o le demuestre que aprendió y además este tipo de actividades llaman mucho la atención a los estudiantes recuerden lo que veíamos ahora es lo importante de cómo lo que yo hago está relacionado al contexto de los estudiantes todos los estudiantes están relacionados con los audios entonces cuando yo planteo actividades entregables con este tipo de productos el estudiante los va a identificar va a ser más significativo para él y por ende va a tener mayor disposición y recuerden que en el aprendizaje es fundamental que haya disposición para la retención de conocimiento están los diagramas de flujo está la misma fotografía por medio de una fotografía se puede hacer muchos trabajos desde la misma matemáticas la fotografía de proporciones de ángulos yo puedo utilizar la fotografía para enseñar matemáticas sin ningún problema está el etiquetado social cuando es análisis de información de investigación, de consulta están las mismas redes sociales entonces cuando es no presencial podemos acudir a este tipo de productos que para los estudiantes son significativos que los conocen en su interno real y natural si nosotros estamos muy relacionados con este tipo de productos debemos darnos la oportunidad porque al fin y al cabo los que van a desarrollar las actividades son los chicos entonces la invitación es a eso a pensarnos productos más allá de los tradicionales a abrir esa posibilidad aquí les estamos compartiendo

[31:12]al lado derecho esa es una herramienta es un subsidy en eduteca que se llama herramientas que pueden tener los estudiantes y si usted desea puede ingresar a cada una de esas categorías que vemos ahí y van a encontrar ejemplos de uso en educación ahora bien cuando usted por ejemplo definió que fuera un video usted dijo bueno yo quiero que el estudiante me entregue un video listo, ¿cómo le va a entregar ese video? ¿cuánto debe durar máximo ese video? mínimo y máximo ¿por dónde le va a entregar ese video? ¿lo va a descargar a su computador y se lo envía en un correo? ¿lo va a subir a YouTube? y si lo sube a YouTube eso tiene unas implicaciones entonces hay que explicarle que por favor no lo ponga como listado para que otras personas no tengan acceso a esa información porque ahí pueden haber problemas porque son menores de edad y si yo le estoy solicitando eso al estudiante también le deje por lo menos un tutorial que explique cómo publicar un video de manera no listada entonces miren como esos detalles hasta esos detalles hay que tenerlos en cuenta a la hora de escribir una actividad y entregárselo a los alumnos ahora el formato es muy importante el formato es un video pero ¿en qué formato?

[32:44]¿en qué formato? mp4.avi hay muchos formatos de video todo ese tipo de detalles hay que tenerlo en cuenta a la hora de definir un entregable pero recordemos el entregable debe ir relacionado a lo que a mí me interesa que el estudiante desarrolle capacidad de análisis, síntesis, argumentación y eso viene desde el objetivo mismo y cuando yo tengo eso claro ahí sí pienso qué producto puede utilizar y hay muchos productos digitales que ellos pueden elaborar y entregárselos a ustedes cuando ya tenemos esto definido claro los objetivos clara las actividades el entregable con una descripción clara y específica ahora sí podemos empezar a hablar de lo que es una evaluación auténtica ¿qué se conoce como evaluación auténtica? la evaluación auténtica es aquella que vincula todos los escenarios del mundo real del estudiante y esto es fundamental porque todo lo que nosotros le propongamos al estudiante tiene que estar relacionado a su mundo real aquí encontramos esto es del Tecnológico de Monterrey y el Tecnológico de Monterrey dice para que la evaluación sea auténtica usted tiene que tener estos siete elementos vinculados en un proceso educativo lo primero es que lo que usted le está proponiendo al estudiante tenga un sentido retador que para él eso implique un reto hacer un blog, un diseño una narración eso si yo lo planteo de manera retadora eso va a generar mayor interés en el estudiante que los resultados sean tangibles siempre debe haber algo que me permita evidenciar si el estudiante aprendió o no aprendió y para eso la mejor manera es el entregable siempre hay que definir ese entregable ¿qué entregó el estudiante que me permita evidenciar la transferencia de conocimientos a la práctica?

[34:52]lo que él tiene que hacer tiene que vincular lo que ha aprendido no solamente en su asignatura sino en todas las asignaturas es por eso que ahorita se habla mucho en las instituciones educativas de la transversalidad la transversalidad lo que busca es a la hora de usted hacer un trabajo independiente de la asignatura que esté español, ciencias sociales matemáticas, educación física tecnología informática las asignaturas y es ahí donde es importante que usted tenga claridad en otras asignaturas que están trabajando yo sé que ustedes trabajan con proyectos transversales donde se ponen de acuerdo en un producto entonces ese tipo de trabajos tienen que estar inmersos en lo que ellos van a realizar que existan procesos metacognitivos en esos procesos de aprendizaje ¿qué es lo metacognitivo? es automonitoreo y la autoevaluación es lo que nos ayuda a saber cómo va que en esos procesos también estén aspectos de carácter formativo continuo quiere decir que usted como docente se vuelve un guía que lo acompaña y de esa manera en el proceso lo va guiando aclarando sus dudas donde la falla y el error no se ve como un castigo ni algo malo sino que hace parte de su activista el error es importante y sirve a veces el error en los estudiantes es visto como un castigo y que esto le puede afectar su nota pero cuando vemos que el error sirve para aprender algo y es parte de ese proceso ellos se van a sentir más tranquilos y además lo pueden aprovechar más porque se aprende mucho cuando se falla cuando no se falla pues no aprendemos cosas nuevas porque todo lo que sabemos funciona bien retroalimentación no solo del docente al estudiante sino del estudiante entre compañeros miren la retroalimentación entre pares sirve mucho por dos cosas la primera porque me siento en mayor confianza con un par que me dé su retroalimentación

[37:06]no hace lo mismo que me lo del docente además ese estudiante que me está dando retroalimentación está pasando por la misma experiencia de aprendizaje mía entonces me va a entender que cuando una persona retroalimenta a otra puede ver cosas e inspirarse en cosas que a él no se le habían ocurrido cuando yo retroalimento me inspiro también en lo que veo en otras personas y eso me sirve a mí entonces la retroalimentación mire cómo la retroalimentación que es una de las categorías que vemos ahora que hace parte de la evaluación la retroalimentación es una de las categorías que tenemos que pensar en la evaluación la evaluación no siempre tiene que ir acompañada de un número o una nota la evaluación formativa por ejemplo no acompaña eso simplemente es aprender en el proceso y no por eso voy a asignar una nota la co-evaluación la auto-evaluación menos y por supuesto el valor de la colaboración lo que les acababa de decir el mejor ambiente de trabajo el aprendizaje colaborativo cada vez es más utilizado y es fundamental entonces cuando reunimos estos siete aspectos en un proceso ahí podemos estar hablando que estamos llegando a una evaluación auténtica y por qué auténtica porque estoy reuniendo toda una serie de factores que me permiten ver en conjunto ese proceso y me permiten dar un juicio a toda una serie de actividades están por ejemplo el aprendizaje basado en problemas donde el estudiante se le plantea una situación problemica y ese problema por supuesto tiene que estar orientado a una situación que él se puede encontrar en su mundo entonces el aprendizaje basado en problemas es retadora porque el estudiante tiene que resolver un problema está el aprendizaje orientado a proyectos que yo sé que ustedes lo están trabajando cada vez más y el aprendizaje basado en proyectos es como yo desde el principio

[39:30]tengo pensado un producto final donde el estudiante va a estar haciendo algo y en ese haciendo algo va a aprender y como esto tiene unas fases en la fase uno qué van a hacer en la fase dos, fase tres mientras se hacía algo aprendió algo está el aprendizaje basado en investigación es donde se profundiza en disciplinas aquí ya se ve el método científico esto ya es un poco más avanzado y está el aprendizaje de servicio quiere decir que aquí vinculan lo que ellos están aprendiendo en el aula con las necesidades comunitarias de ambientes reales esas son algunas estrategias o técnicas didácticas que me permiten vincular más fácilmente con los aspectos que veíamos anteriormente para tener una evaluación auténtica y hay instrumentos de evaluación entendamos instrumentos como todo aquello que me permite a mí recoger la información necesaria para saber cómo está siendo el desempeño y el aprendizaje de los estudiantes todo aquello que me permite a mí recoger esa información me permite a mí dar un juicio de valor y por supuesto entre más información recoja en el proceso pues la valoración al final va a ser mucho más justa si nos quedamos solamente con una evaluación al final y solamente recogemos la información para la valoración basados en un examen por ejemplo eso además de que es injusto no me da una radiografía real del aprendizaje ¿por qué?

[41:03]puede ser que en ese examen precisamente el estudiante se bloqueó no se sentía bien se confundió o no es bueno para trabajo de memoria porque tenemos habilidades diferentes y le fue mal y resulta que usted lo calificó mal y resulta que él tiene otras habilidades si yo baso la evaluación la valoración solamente en un momento al final de un proceso eso no me da realmente certeza de que esto sea real y justo entonces vienen instrumentos por ejemplo como los organizadores gráficos en un proceso los organizadores gráficos me permiten ver bien cómo es esa manera de pensamiento organizar ideas de los estudiantes ensayos la escritura el ensayo como dar información de ese rendimiento las bitácoras de observaciones cómo él puede ir marcando día a día clase a clase si es un proyecto cómo están siendo esos informes de avance están los reportes de investigación que también son una especie de bitácoras pero son reportes ya documentos más formales que se presentan cuando la investigación termina y está uno que es de los más recomendados y son los portafolios los portafolios es la recopilación de esas pruebas y evidencias que van desarrollando los estudiantes en el proceso a medida que realizan actividades de aprendizaje los portafolios no se utilizan solamente al final a veces los portafolios los utilizan es cuando al final ya el estudiante aprendió algo entonces recojo los productos de los estudiantes los meto en una carpeta y ya ahí tengo mi portafolio no, eso sí es un portafolio pero está incompleto un portafolio es como fue la primera entrega como fueron los avances como iban avanzando y cada estudiante lo ideal es que ellos tengan su propio portafolio porque eso le va a permitir al estudiante el mismo valorar su desempeño y su proceso al final el docente obviamente junta todo esto

[42:56]lo une y genera un propio portafolio puede ser un portafolio de ejemplo no es necesario que reúnan el 100% si yo tengo 500 estudiantes pues no es necesario que yo reúna un portafolio con 500 pruebas de 500 estudiantes no es necesario yo puedo recoger lo más significativo y lo más significativo no es solamente las cosas más chéveres bonitas lo que funcionó bien sino por ejemplo donde hubo dificultades donde tuvieron problemas donde tuvieron fallas y cómo salieron adelante y yo puedo recoger muestras de cada grado muestras significativas de ejemplo para ver cómo se desarrolla los portafolios son muy utilizados y ahorita en la educación no presencial se pueden utilizar de manera muy fácil está por ejemplo Google Drive es una herramienta que usted puede donde puede crear carpetas usted puede montar los productos de los estudiantes y cuando digo productos quiere decir que si usted le pidió al estudiante por ejemplo que hiciera una maqueta era un proyecto de una maqueta pues él le puede tomar una fotografía grabar un vídeo y usted puede almacenar ya esa foto ese vídeo en un portafolio entonces cuando yo reúno toda esta información en el proceso el antes durante y después y yo tengo la mirada amplia de un estudiante cómo ha sido todo su proceso al final esa evaluación va a ser más justa porque me permite dar una valoración mucho más amplia e integral y es aquí donde llegamos a la evaluación integral la evaluación integral busca es que usted recoja la información que más pueda en diferentes momentos lo que usted observa en el estudiante los proyectos que él está realizando con sus correspondientes fases que experimentos que demostraciones que le entregó esos productos escritos que pueda elaborar en el proceso si fueron investigaciones que investigaciones los debates las discusiones

[44:48]que pronto tuvieron con ellos o entre mismos estudiantes la revisión y discusión de documentos y por supuesto reunir el portafolio estos son solamente ejemplos no es que decir que son solamente las fuentes de información para una valoración integral son solamente gente y los instrumentos quiere decir yo que utilizo para recoger esa información pues está la valoración del desempeño que ustedes manejan está la autovaloración o la auto evaluación que ellos pueden hacer y compartirla con ustedes una matriz y ahorita vamos a ver la matriz es uno de los elementos más utilizados porque permite de manera muy clara desde el inicio saber qué voy a evaluar y cómo lo voy a evaluar está la misma valor evaluación tradicional que es la evaluación esa evaluación que usted hace normalmente es la evaluación que usted hace normalmente al estudiante de su mirada de experto aquí también puede seguir tomada en cuenta están los exámenes orales que en este caso serían por ejemplo por un podcast por un video por un audio eso se puede considerar un examen oral y está por supuesto la valoración de los portafolios entonces miren cómo la valoración integral lo que busca es utilizar diferentes estrategias para recoger información de los estudiantes en su proceso utilizando diferentes instrumentos y eso me permite tener una mirada mucho más clara en cuanto a la evaluación y la evaluación integral también me permite tener una mirada mucho más amplia de cómo es el desempeño de los alumnos entonces ya hablando de las matrices de valoración las matrices yo sé que ustedes las utilizan yo sé que ustedes las conocen pero las matrices no existe solamente un tipo de matriz vamos a ver varias matrices las cuales uno selecciona dependiendo tanto el momento de una actividad como sus necesidades toda matriz tiene unos aspectos

[46:31]a evaluar o sea ¿qué voy a evaluar? esos son los aspectos ¿qué voy a evaluar? estos aspectos que voy a evaluar tienen que estar alineados con el entregable y también tienen que ser coherentes con el objetivo si su objetivo aprendizaje usted hablaba de análisis pues usted tiene que tener aspectos a evaluar relacionados al análisis si usted habla de argumentación pues tienen que haber aspectos relacionados a la argumentación los criterios es cada aspecto de evaluar ¿qué le voy a mirar a cada aspecto? hay que tener en cuenta tiene niveles de desempeño eso es en el caso que usted necesite diferenciar cuando es básico cuando es sobresaliente cuando es alto es diferenciar cada aspecto por cada nivel de desempeño estas son las matrices y por supuesto un título ¿por qué van a utilizar las rubricas? mejora la enseñanza porque hace que usted como docente también desde un principio tenga claro esos aspectos que va a evaluar y eso le ayuda a los alumnos mejora el desempeño de los alumnos porque cuando los alumnos conocen desde el principio que esa es una recomendación desde el principio hay que compartir esa matriz ellos saben que le van a evaluar cómo lo van a evaluar ellos pueden auto evaluarse yo no le puedo pedir a un estudiante que se auto evalúe si él no sabe que le van a estar mirando entonces la matriz de valoración permite eso permite hacer un feedback o una retroalimentación entre pares si yo voy a retroalimentar a mi compañero la matriz a mí me da una guía de qué voy a mirar en lo que hace ese compañero y de esa manera yo tengo claridad y podemos hacer un trabajo en conjunto donde todos van a estar enfocados en lo mismo entonces las rúbricas me dan claridad efectividad permiten disminuir bastante la ambigüedad profe ¿por qué no saqué superior?

[48:21]¿por qué alto? ¿qué pasó? la matriz desde un principio ya deja aspectos claros de cuándo es superior cuándo es alto y eso disminuye también muchas tensiones y dudas sobre la evaluación entonces hay diferentes tipos de rúbricas está la rúbrica analítica esa rúbrica la que normalmente más conocemos que está hay unos diferentes aspectos y cada aspecto yo dejo claro cuándo es superior cuándo es alto cuándo es básico cuándo es bajo esto es una rúbrica real esto es de una institución educativa de un docente que se creó para elaborar un periódico escolar para evaluar en esa actividad los titulares y leyendas el formato las gráficas y cómo hacen el trabajo por columnas ah bueno titulares y leyendas él es superior cuando todos los artículos que tienen los titulares captan la atención etcétera y también deja claro cuándo es bajo quiere decir cuándo los artículos no llevan el nombre del autor en fin un truco porque las las rúbricas analíticas un truco para poder hacer la diferenciación entre esos niveles de desempeño es llene primero los extremos cuando cuando es superior porque eso es más fácil de empezar a describir es superior cuando cumple todo lo que tiene que hacer y es bajo pues cuando tiene las mayores dificultades ya después internamente en los niveles intermedios ya es más fácil buscar cómo se diferencia el uno del otro pero esa no es la única matriz están las holísticas también tiene unos aspectos a evaluar claro tiene unos criterios de evaluación pero los criterios son los que uno esperaría que él al final alcance quiere decir el criterio más alto que yo espero que él alcance y se diferencia la analítica es que aquí yo dejo un espacio para que yo haga comentarios a la hora de revisar el trabajo a cada estudiante la holística es muy utilizada porque es mucho más personalizada

[50:22]que la analítica porque cuando yo reviso el trabajo de un estudiante y le miro un aspecto los comentarios de retroalimentación que le di a él de pronto no son los mismos que le tenga que dar a otro estudiante entonces la holística es mucho más personalizada se diferencia en la analítica en que su construcción es mucho más rápida diseñar una rúbrica holística es mucho más rápido porque yo digo que voy a evaluar y que voy a tener en cuenta la analítica tengo que empezar a hacer toda esta degradación una por una sin embargo al momento de evaluar ya cuando yo tengo un trabajo lo estoy evaluando la analítica es mucho más rápida porque yo simplemente miro cada aspecto lo que estoy revisando en que nivel se ajusta y ahí lo marco en cambio en la holística tengo que empezar a hacer comentarios una por una en lo particular a mi me gusta más las holísticas porque la retroalimentación es casi que personalizada y a la larga es mejor porque todos los estudiantes son diferentes aquí vemos un ejemplo aquí vemos una diferencia entre la analítica y la holística por ejemplo estas dos matrices están evaluando lo mismo en la primera la voz consistencia y miren que el aspecto en la holística que es la parte de abajo está mirando el mismo aspecto aquí por nivel de desempeño estoy marcando unos criterios y aquí simplemente en la holística yo digo que es lo que mayor el mayor rendimiento que se espera del alumno y al final yo hago un comentario y puedo fijar unos puntos entonces miren independiente de la actividad yo puedo decidirme por la analítica o puedo decidirme por la holística pero hay otros tipos de matrices están las famosas listas de verificación la lista de verificación es una lista donde yo tengo claro unos aspectos a evaluar y en los criterios tengo una serie de actividades o situaciones

[52:14]que yo voy a tener en cuenta si el estudiante está estudiando o si yo voy a tener en cuenta si el estudiante hace o no hace estas por ejemplo juegan muy bien cuando son trabajos prácticos tipo laboratorio por ejemplo o una actividad donde el estudiante tiene que pasar por un protocolo por unos pasos una secuencia esto se ajusta mucho entonces en cada aspecto yo lo puedo ir mirando que cumple y que no cumple el estudiante y eso me permite mirar en proporción cómo le fue en cada aspecto y de esa manera pues el programa de retroalimentación le sirve mucho al estudiante porque permite que él sepa qué le faltó cómo le fue qué tuvo en cuenta el docente qué vio y qué no vio si tiene la matriz desde el principio de la actividad qué es lo que se debe hacer él ya sabe en cada aspecto que en qué debe enfocarse en qué debe enfocarse qué es lo mínimo que debe tener en cuenta y eso le permite ir alineado a las actividades que se le han planteado está la escala de valoración es donde yo tengo unos niveles de desempeño tengo una descripción de situaciones que yo deseo que el estudiante logre o alcance y en cada una de esos criterios descritos yo como docente yo digo cómo le fue en cada uno de ellos dependiendo del nivel este es otro tipo de rúbrica esta es una mezcla como entre los dos la lista verificación y la analítica pero esta es mucho más ágil de diligenciar también y rápida está esta que es muy interesante se llama la rúbrica de punto único la rúbrica de punto único normalmente no está relacionada a una valoración a un número está es muy utilizado para utilizarla en valoración en evaluaciones formativas donde en cada momento yo le puedo decir al estudiante cómo va entonces por ejemplo en un aspecto de evaluar que es la tesis por ejemplo el enunciado de la tesis es claro yo le puedo

[54:26]decir en este aspecto qué desempeños tuvo muy buenos pero también qué aspectos tiene por mejorar cuando yo le entrego cuando yo diligencio esta matriz y se la entrego al estudiante él va a tener muy claro dónde mejorar entonces la rúbrica funciona mucho en la retroalimentación en los procesos de retroalimentación en la evaluación formativa y le da luces claras al estudiante cómo va en ese proceso aquí le recomiendo una una herramienta Rubistar que pronto algunos ya la conocen esto es una herramienta gratuita de internet es una herramienta donde usted ingresa si usted desea se puede inscribir sino si quiere no lo tenga que hacer es que se le inscribe en la categorización de posibles matrices que va a encontrar Rubistar se limita en que todas sus rubricas que maneja son de tipo analítico pero igual la analítica me sirve a mí si yo quiero utilizar otra rubrica me sirve para yo tener claro que aspectos voy a empezar a utilizar lo bueno de esta herramienta es que ingresa lectura él le genera otro tipo de subcategorías y al final él le recomienda aspectos de evaluar le dice si usted va a hacer un trabajo de lectura tenga en cuenta este de estos aspectos de los cuales usted escoge los que más le sirvan si usted quiere puede modificarlos y al final usted la puede guardar esta herramienta en su base de datos y le puede dar una guía y le facilita la creación de rubricas que yo entiendo que es un poco pesado a veces hacerlas pero ese tiempo que empleamos en el diseño de las rubricas al final se ve muy bien recompensado en la claridad de la evaluación en la velocidad que voy a ganar en la hora de evaluar y poderle entregar a sus estudiantes por último en esa retroalimentación y evaluación primero dé a conocer desde el principio esas matrices que va a utilizar en la evaluación para que los estudiantes

[56:48]sepan cómo lo van a evaluar sea claro en esas consignas utilice formatos simples y sencillos en cada cosa que usted describa no asuma que el estudiante ya lo sabe hacer relacione productos puede ser que no todos los estudiantes saben que no todos lo necesiten pero uno diseña y planea es en el peor de los casos o sea en el caso que el estudiante tenga mayores dificultades conozca el contexto de los estudiantes y sea específico en los entregables un solo entregable que pidamos en un trabajo no presencial puede demandar mucho trabajo cuando es solo en modalidad no presencial entonces eso es importante tenerlo en cuenta y en la retroalimentación una recomendación muy importante es que la videoconferencia es un mecanismo que debe utilizarse en momentos de retroalimentación específicos y es de retroalimentación para aclarar dudas no es para dar clases no se recomienda dar clases en un momento específico porque eso es algo que el estudiante debe valorar entonces es importante tener eso en cuenta no es para dar clases no se recomienda para dar clases uno escucha de casos tan extremos como que hay docentes que le piden a sus estudiantes que se pongan el uniforme para dar la retroalimentación por cámara yo creo que ahí hay que también ser conscientes del contexto si él está en su casa si él está en un ambiente el uniforme realmente me aporta la retroalimentación porque necesita ropa cómoda que le dé seguridad que tenga mayor comodidad es diferente entonces hay que mirar todo ese tipo de aspectos pero la retroalimentación por cámara es una retroalimentación que debe ser específica en momentos específicos y no es para dar una clase virtual entonces no sé Juan Carlos ¿Quiénes tienen el proceso?

[59:07]Hola Carlos Andrés y asistentes si hay muchas preguntas y muy interesantes podemos empezar con una que nos hace Claudia que habla acerca de los procesos de valoración evaluación y de calificación que requieren de un proceso de observación permanente del educando porque no sólo se valoran los conocimientos sino también se valoran sus actitudes sus comportamientos sus sentires pero a través de la plataforma este proceso es limitado y en muchos casos nulo nulos porque no puedo verlos en su totalidad entonces ella a partir de este contexto pregunta ¿Cómo saber si realmente estoy siendo objetiva en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones

[1:02:35]virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo

[1:06:32]saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales en mis apreciaciones virtuales sobre ese niño que es mi tijdo en mis apreciaciones virtuales sobre ese niño ¿Cómo puedo saber si realmente estoy siendo objetivo en mis apreciaciones virtuales sobre ese niño que es mi respuesta la respuesta que yo necesito es claro que variables en las apreciaciones virtuales sobre ese niño puedo saber si realmente estoy siendo objetivo en mis apreciaciones Esa es mi respuesta

Webinars relacionados