top of page
Search
Writer's pictureMiguel Zapata-Ros

La evaluación en la Universidad con la suspensión de las actividades en el aula (III):

Updated: Jun 15, 2020

El caso del curso "Diseño instruccional" de la Universidad de Alcalá.


En esta serie de post trataré cómo han reaccionado universidades y sistemas universitarios ante la transición hacia formas de docencia impuestas por el COVID19 y experiencias relacionasa con ella.

En las entradas anteriores hemos visto que hay modalidades de educación inmunes a la pandemia, son las que no se basan exclusiva o principalmente en exámenes y en clases magistrales.

En los dos casos analizados hemos podido observar que las universidades han hecho, o están haciendo, la transición de su educación tradicional a la educación del COVID sin que haya supuesto un gran trauma.


¿Por qué ha sido así?


En ambos casos la información de la evaluación sumativa y de la calificación, lo que consta en el libro de calificaciones o en las actas, proviene o bien de la evaluación formativa, a través de proyectos, estudios y en general elaboraciones con ayuda de mentorización y de supervisión en pequeño grupo o individual, o bien de una metodología de mastery learning (una forma de docencia y de evaluación asociada basada en el dominio del aprendizaje).


En este post la experiencia no es directa, no se produce como consecuencia de la emergencia que tenemos. Procede de una experiencia vivida como coordinador y docente en un curso investigativo derivado de los MOOC. La evaluación sumativa y la acreditación, en este caso es mediante el otorgamiento de badges. Se obtenía a través de la consecución de logros mediante mastery learning. Esta acreditación se producía online pero tenía igualmente una fuerte componente de evaluación formativa. Fue en la Universidad de Alcalá. Creo que merece la pena tener en cuenta este precedente en esta situación.


1


La Universidad de Alcalá de Henares es una de las más antiguas de Europa, sin embargo ello no impide que apueste por las modalidades docentes más innovadoras y disruptivas, como son la educación abierta, y dentro de ella los cursos dual layer, con metodología de mastery learning y el diseño instruccional de los cursos abiertos online.

Hay que dejar bien claro que, a pesar de su naturaleza investigativa, el curso "El diseño instruccional de los cursos abiertos on-line" era un curso acogido a la modalidad de estudios propios de la Universidad de Alcalá. No eran estudios formales que oficialmente fuesen capacitantes para una opción profesional ni para el desempeño de un puesto de gestión o de práctica docente. Aunque en la práctica luego sirvieron para que especialistas de distintas universidades utilizasen en su práctica las habilidades adquiridas en él.


En octubre de 2014 se presentó el curso que comenzó en abril de 2015 en primera edición. Y concluyó en mayo de 2018 en su cuarta edición.

En lo que sigue hacemos una descripción muy técnica y documentada de aquellos cursos. Si ya es un experto o un profesional del diseño instruccional puede que le interese, pero si no lo es y no tiene particular interés o tiempo, en esta época en que todo es urgente, puede saltarse este punto.


Se trataba de un curso abierto, online y eventualmente masivo. Pero con rasgos propios de unos cursos entonces nuevos, que recogían las aportaciones que entonces considerábamos en una línea de personalización (ver el trabajo El diseño instruccional de los MOOCs y el de los nuevos cursos online abiertos personalizados  y los Cogbooks), abiertos, en el sentido que atribuye Wiley (en Iterating toward openness-  The MOOC Misstep and the Open Education Infrastructure y en el curso Introduction to Openness in Education) y con la nueva norma open definition, pero sobre todo es que era un curso escalables en la metodología docente y en la ayuda pedagógica (en una línea extendida de la planteada por EDX en su propuesta de curso de dos capas, en este caso serían en un principio dos capas pero posiblemente en una versión definitiva tres capas o más).


Era un curso sobre diseño instruccional, y diseñado instruccionalmente en el sentido que le atribuyen los clásicos (Merrill, Reigeluth, Jonassen, Gagné,...) que se resume en

"Instructional Design is the practice of creating instructional experiences which make the acquisition of knowledge and skill more efficient, effective, and appealing." 


Destacamos la importancia  este documento seminal de Merrill: Reclaiming Instructional Design. M. David Merrill, Leston Drake, Mark J. Lacy, Jean Pratt. 

Otra de las características era que el planteamiento y contenidos respondían a  lo expuesto en el trabajo "El diseño instruccional de los MOOCs y el de los nuevos cursos online abiertos personalizados" y en A Self-Directed Guide to Designing  Courses for Significant Learning de  Fink. Y  en Building a Coursera Course.


Y por último utilizamos metodología docente de mastery learning.


2

Nos planteamos pues la evaluación, en este contexto y con esta metodología. 


Simplificando mucho este método supone varias cosas: Primero la superación de cualquier etapa por muy pequeña que sea se demuestra mediante el dominio, y la superación de los módulos y del curso se obtiene por logros globales del módulo y por los dominios consecutivos que se van obteniendo.


La cuestión es cómo evidenciar el dominio en una formación a distancia u online. Ese será el núcleo de este post.

En el caso de aprendizajes procedimentales se trata de demostrar una ejecución autónoma y transferible que se puede hacer mediante proyectos acreeditados a través de entrevistas o de intervenciones interactivas en foros.


En el caso del aprendizaje conceptual, el demostrar que se han adquirido ideas o, en general, o que el alumno dispone de recursos cognitivo que le permiten resolver problemas en situaciones complejas y variantes es más complejo.


En este artículo ponemos de manifiesto cómo lo hacíamos en el curso de Alcalá.


En aquel caso el método de mastery learning que utilizábamos combinaba la metodología docente y la asistencia tutorial con la evaluación. De modo que el mismo TA que ayudaba en las actividades y las tareas, acreditaba cuándo, en qué momento, el alumno había alcanzado un estado aceptable de dominio. Para ello, como veremos, verificaba que el estudiante había superado gradualmente una escala en grados basada en los First principles of instruction de Merrill (2002 y 2009), en The conditions of learning and theory of instruction, de Gagné,(1965) y en The principles of instructional design de Gagné y  Briggs (1974).


Otra forma que utilizábamos para evaluar el dominio conceptual era a través de las intervenciones en los foros, las que manifestaban el dominio conceptual a través de la relevancia de las intervenciones. Eso es lo que intentaremos explicar en lo que resta de este post. Pero antes veamos en que nos basamos, veamos algunos de los fundamentos teóricos.


3


Hay principios del aprendizaje que son universales, como los “principales principios del aprendizaje” estudiados y enunciados de forma sistemática por David Merrill (Merrill, 2002 y 2009) y las “condiciones del aprendizaje” investigadas y enunciadas por Gagné (1965 y 1985) y Gagné & Briggs (1974), así como los elementos de diseño instruccional de Reigeluth (1999) y de Fink (2003). Y que, por su universalidad, son aplicables también a los entornos virtuales de aprendizaje, o en los entornos de aprendizaje, cualquiera que sea su naturaleza, que se generan en la educación de la pandemia.

La cuestión es que hacen falta, no solo nuevas metodologías, sino una pedagogía completa de estas condiciones y de estos escenarios. Con la adaptación de estos principios que en conjunto constituyan innovaciones pedagógicas específicas para estos entornos. Así es percibido por ejemplo por Chen, Cheng y Chew (2016) para otros escenarios, los de los entornos inteligentes de aprendizaje. 


Como hemos dicho al principio, en este post vamos a aportar, para ilustrar formas de trabajar, metodologías docentes y formas de evaluación, la experiencia del curso descrito antes. En él han participado 1554 inscritos en los cuatro años y en las tres capas de que consta. Y sus enseñanzas, sobre diseño instruccional de enseñanza universitaria en línea, se han aplicado a la Universidad Técnica Particular de Loja (Ecuador), Universidad de Valladolid (España), Universidad de Quilmes (Argentina), Universidad de Guadalajara (México), Universidad de Alcalá (Máster de Ciberseguridad y Análisis de datos),Universidad Autónoma Intercultural de Sinaloa (México), CRESUR Chiapas (México) entre otras.

El aspecto más interesante, desde la perspectiva de la evaluación del rendimiento para el logro pero también de la formativa, es el de la relevancia en las intervenciones. En un aprendizaje de tipo conceptual, como era el de este módulo, eso adquiere una importancia clave en nuestra metodología, de mastery learning. En el curso lo resolvíamos, en este punto, si el participante contribuía con dos intervenciones relevantes en el foro. La cuestión era qué es la “relevancia”.  Porque el sistema adjudicaba automáticamente el logro cuando detectaba dos intervenciones valoradas como relevantes por los Teaching Assistant (TA) (Zapata-Ros, 2015).

En ese procedimiento nos detendremos aquí y lo describiremos como procedimiento que se puede utilizar en pandemia, o posterior con las exigencias sanitarias que se establezcan para las fases siguientes, para evaluar formativamente y con dominio del aprendizaje a los alumnos, con la ayuda de la tecnología. En aquel caso utilizamos la plataforma Open Education de BlackBoard, pero perfectamente podríamos saber utilizado otra cualquiera adecuando sus affordances.


Pero previamente vamos a describir las bases teóricas en que nos basamos: Mastery learning y el concepto del dominio en el aprendizaje utilizando para ello los principales principios del aprendizaje de Merrill y Gagné y las condiciones del aprendizaje de Gagné citados más arriba.

Benjamin Bloom es muy conocido, no sólo en los medios pedagógicos y discentes, por su taxonomía. Pero ésta no es su única ni su principal aportación. Hay una investigación seminal conocida por “elproblema de las dos sigmas” que da lugar a una metodología docente y a una forma de evaluación conocida como mastery learning, en castellano “maestría o dominio del aprendizaje”. Aportación que es desconocida de forma amplia hasta que es rescatada por la tecnología digital educativa, en particular por los MOOC de Coursera hace unos años. Es igualmente la metodología que con distintas variantes se ha generalizado en varios sistemas educativos de extremo oriente (Zapata-Ros, 2020), en particular en Singapur, y que tan buenos resultados ha producido en los rankings educativos, particularmente en Pisa. También ha permehabilizado la enseñanza universitaria, como no podría ser de otra forma al haberse generalizado los hábitos docentes y de aprendizaje que lleva aparejado en las etapas anteriores . Ese sin duda ha sido otro de los factores que ha contribuido a la superación de la transición brusca de la pandemia en universidades como Nanyang. Esta teoría y métodos constituyen  lo que en el mundo científico se conoce como una “bella durmiente”, en este caso una bella durmiente de la investigación educativa.



Simplificando mucho, el diseño experimental consistió en tomar tres grupos homogéneos con las mismas variables en las condiciones de aprendizaje excepto una, la metodología docente. El primer grupo era de 30x1, 30 alumnos y un profesor, con metodología tradicional basada en clases expositivas y en exámenes, como los estándares universitarios hoy día; el segundo también era 30x1, pero con metodología de mastery learning que después veremos; y el tercero 1x1, es decir un mentor por alumno (mentorización). Obviamente esta ultima opción no es viable socialmente por que tendría en condiciones normales un coste no soportable por ningún estado. Es lo que practicaban los emperadores romanos, el mentor de Nerón fue Séneca. Pero no todos somos emperadores. Ahora. con la tecnología, hay opciones muy próximas a esa situación en algunos caso y como hemos visto en alguna otra opción esto será posible con los entornos inteligentes deaprendizaje (Zapata-Ros, 2018).


Las gráficas de rendimiento en el aprendizaje fueron las siguientes:



Tres campanas de Gauss que nos señalan una ventaja considerable en la segunda metodología con respecto a la primera y en la tercera nos viene a decir que la mayoría de los alumnos pueden aprender lo que se les pueda enseñar si se ponen las condiciones adecuadas”.

Lo más llamativo es que en el tercer laso la media se había desplazado dos sigmas a la derecha, el equivalente a dos desviaciones típicas:


De ahí el nombre de “problema de dos sigmas”.


Pero hay otro resultado igualmente importante del cual también podemos obtener conclusiones para la educación de la pandemia y para la posterior a ella. El experimento empírico demostró igualmente una ponderación de los factores que influyen en el aprendizaje.


En esta tabla vemos los factores considerados en la primera columna. En la segunda, la ponderación  de cada uno de ellos y en la tercera los centiles de alumnos a los que afecta. Así la acción tutorial, como es obvio por otro lado prever, afecta al 98% de los alumnos en su aprendizaje:



La influencia de la instrucción tutorial está ponderada el doble que el ambiente y la participación en clase (cuando ésta se produzca) y diez veces más que la influencia de los pares alumnos. Es decir que si garantizamos un nivel de calidad de la primera, la supresión de la segunda no afectaría mucho al resultado. Por supuesto no es bueno prescindir de ella si se puede, pero si no hay más remedio puede compensarse con las demás, y con la acción de la tecnología, con el grabado de clases y foros o chats por ejemplo.


Hay que señalar que esta tabla me fue de mucha utilidad cuando tuve que criticar en una investigación la evaluación de pares en algunas modalidades de enseñanza que se hacían mediante MOOC. Los datos son de un sistema de recopilación de Katty Jordan.


Pero sigamos con el Problema de dos sigmas y mastery learning.



En el libro de Benjamin S. Bloom  HUMAN CHARACTERISTICS AND SCHOOL LEARNING publicado en 1976 (Bloom, 1976) podemos destacar los rasgos más definitorios de Mastery learning:


Bajo el nombre "maestría del aprendizaje" ha surgido una nueva interpretación del concepto de que la mayoría de los estudiantes pueden aprender todo lo que las escuelas les pueden enseñar.

(…) la clave del éxito en la aplicación de las estrategias de "maestría del aprendizaje" radica en gran parte en la ayuda y el estímulo que oportunamente se le puedan dar al estudiante para que supere sus dificultades.

Muchos maestros han demostrado gran ingenio en estimular al alumno, tanto en lograr que los estudiantes hagan el debido esfuerzo adicional como en encontrar la manera más efectiva de corregir sus deficiencias.


También que


La mayoría de los estudiantes pueden aprender

todo lo que las escuelas les pueden enseñar

siempre y cuando

la enseñanza sea impartida de manera sensata y sistemática,

el alumno reciba ayuda oportuna y adecuada cuando tenga dificultades,

se le dé todo el tiempo que necesite para adquirir el dominio de la materia y

que se establezca claramente lo que constituye la maestría.

La clave del éxito radica en la ayuda y el estímulo que oportunamente se le puedan dar al estudiante para que supere sus dificultades.

Muchos maestros han demostrado gran ingenio en lograr que los estudiantes hagan el debido esfuerzo adicional y en encontrar la manera más efectiva de corregir sus deficiencias.


De este documento, Coursera destaca


"La instrucción es la misma que en la clase convencional (por lo general con el mismo profesor) ... El promedio de estudiante que seguía el Mastery Learning  tenía una desviación estándar por encima de la media de la clase de control (el  promedio de estudiante que seguía la tutorización estaba por encima del 84% de los estudiantes en la clase de control)."

Se supone por tanto que el promedio de estudiantes de Mastery learning está un 42% por encima del promedio de la clase de control.

En el mismo documento Coursera define sintetizando la metodología:


En las aulas tradicionales, los estudiantes progresan a través de la clase, independientemente de su nivel de logro. En las aulas de maestría del aprendizaje, los estudiantes deben entender completamente (demostrar el dominio de) el material antes de pasar al siguiente tema. La metodología de dominio del aprendizaje trata de cómo los estudiantes navegan a través de ejercicios y tareas. En un estudio seminal de Benjamin Bloom, se encontró que el enfoque de Mastery Learning  mejorar la distribución de los resultados de los estudiantes en una desviación estándar total por encima de la clase de control que utiliza el mismo método de instrucción pero no requieren que los estudiantes dominen el material antes de continuar.


Pero el dominio ¿es, como dice Coursera, exclusivamente comprender completamente los contenidos?

Más bien, como dice Bloom, el dominio es la destreza máxima que puede desarrollar el alumno para concluir cualquier tarea, comprendiendo su naturaleza, en términos satisfactorios en cualquier circunstancia:


La tesis de este artículo es que, para promover el aprendizaje de dominio, se deben tratar 5 variables de manera efectiva: (1) aptitud para los tipos de aprendizaje, visto como la cantidad de tiempo requerido por el alumno para lograr el dominio de la tarea; (2) calidad de la instrucción, vista en términos de acercarse al óptimo para un alumno determinado; (3) capacidad de comprender la instrucción, es decir, comprender la naturaleza de la tarea y los procedimientos a seguir; (4) perseverancia, la cantidad de tiempo que uno está dispuesto a pasar aprendiendo; y (5) tiempo permitido para aprender, la clave para el dominio. (Autor / TA)


En cualquier caso la interpretación del dominio la hicimos para el caso que nos ocupa a partir de una síntesis de los trabajos de Gagné en  Conditions of Learning y en Gagne's Nine Levels of Learning, para habilidades intelectuales y estrategias cognitivas. 



De esta forma, el dominio del aprendizaje supone al menos

  1. Comprensión

  2. Adquisición y atribución de sentido

  3. Ejecución autónoma

  4. Transferencia.


Estábamos pues en unas condiciones optimas para aplicar unos criterios suficientemente fundados y definidos desde el punto de vista de la teoría del aprendizaje. Pero ¿cómo los operativizábamos en la práctica del curso?



El curso de Alcalá disponía de un excelente recurso, la plataforma Open Education de BlackBoard, con recursos de analítica de participación y de actividad, con el mecanismo de asignación de badges a los logros de los alumnos a través de pautas a través de criterios lógicos de interrogación compuestos y de las affordances habituales: foros, mensajería,gestión de archivos,…e incluso una gestión muy eficiente de teaching assistants (TA):



Faltaba armar con los criterios antes señalados la acción de los TA, y que ésta fuese capaz de alimentar los criterios de la plataforma para asignarlos. Esto es lo que explicamos ahora.


Pero vayamos por partes ¿Cómo se practicaba la evaluación del dominio? Siguiendo el procedimiento de diseño instruccional propugnado por Coursera (CIT - Center for Intructional Technologie, 2013), a través de Fink (2003), pero adaptado, resumí todo el diseño en una hoja de cálculo (según el procedimiento que propugno en el repositorio que he puesto a disposición de todosen la página de urgencia del Ministerio, un diseño instruccional para estar bien hecho debe poder admitir la estructura de tabla). En este caso era así, cada actividad en una línea, y tres columnas con las fases de dominio:




En lo que sigue pues nos dedicaremos exclusivamente a asignar relevancia a las intervenciones en el foro, en este contexto de la instrucción, con relación a la actividad y al tercer nivel y definitivo de dominio:




Este hecho se reflejaba en la parte de la plataforma que los estudiantes utilizaban para ver la guía didáctica de la unidad, con expresión explícita de cual sería el papel de los TA (volcado de pantalla de la plataforma Open Education):



Ese análisis era efectuado mediante lectura, evaluación, notas al participante y retroalimentación por el TA, que finalmente acreditaba que el alumno había obtenido el logro:




El criterio para que el TA adjudicara la relevancia era una reelaboración de lo analizado en el trabajo de Gagné “Las condiciones del aprendizaje” (Gagné, 1965 y 1985) (Driscoll, 1994 y 2013), a partir las condiciones que establece para que el aprendizaje sea efectivo, en particular de lo que establece para los nueve niveles de aprendizaje (Gagne's Nine Levels of Learning):



Y una reelaboración, cuya justificación teórica expondremos en un próximo trabajo, de tal forma que interpretándolos con la ayuda de lo elaborado por Bloom (1984) para el problema de dos sigmas, y la metodología docente de mastery learning, el dominio del aprendizaje supone al menos las siguientes características de lo aprendido:

1. Comprensión

2. Adquisición y atribución de sentido

3. Ejecución autónoma

4. Transferencia

En el caso que nos ocupa todo esto se concretaba en el siguiente procedimiento para utilizar por los TA y que era conocido por los participantes, en la determinación del grado de relevancia de las contribuciones al foro en este caso:



La indicación para desarrollos ulteriores, que tratamos en otro trabajo, consiste en este punto es trasladar los criterios señalados, que utilizaban los TA, a procedimientos inteligentes a aplicar en un sistema inteligente. Cómo se implementa por ejemplo, “escribir sobre el tema nombrando un término o un concepto”, se supone que en un contexto con sentido lógico y con relación al dominio disciplinar, o si “nombra un concepto y lo relaciona con una affordance”, también en un contexto textual con sentido, etc. para que el sistema lo detecte, en una contribución al foro que evalúe, con un grado determinado de relevancia.

Aquí dejamos la cuestión, en esta modalidad de líneas de desarrollo, a la espera de propuestas interesantes o de experiencias ya desarrolladas en esta dirección.

Pero ahora el interés de esta aportación es aplicar a una modalidad de evaluación este sistema apoyado por la tecnología digital existente y al alcance de todos, con unas bases teóricas sólidas.

Una cuestión pendiente y de suma importancia es desarrollar la figura del TA para la metodología de mastery learning.



Referencias.-



Bloom, B. S. (1976). Human characteristics and school learning. McGraw-Hill.


Bloom, B. (1984). The 2 Sigma Problem: The Search for Methods of Group Instruction as effective as One-to-One Tutoring, Educational Researcher, 13:6 (4-16). https://inst.eecs.berkeley.edu//~cs375/sp15/resources/Bloom_The2SigmaProblem.pdf


Chen, N. S., Cheng, I. L., & Chew, S. W. (2016). Evolution is not enough: Revolutionizing current learning environments to smart learning environments. International Journal of Artificial Intelligence in Education26(2), 561-581. https://link.springer.com/article/10.1007%2Fs40593-016-0108-x.


CIT (Center for Intructional Technologie) (2013) Building a Coursera Course Version 2.0 https://docs.google.com/document/d/1ST44i6fjoaRHvs5IWYXqJbiI31muJii_iqeJ_y1pxG0/edit?pli=1


Crosslin, M (2014 May).  Designing a Dual Layer cMOOC/xMOOC. http://www.edugeekjournal.com/2014/05/04/designing-a-dual-layer-cmoocxmooc/


Driscoll, M. (1994). Gagne’s theory of instruction. Psychology of Learning for Instruction. Boston, MA, Allyn and Bacon, 329-358. http://ocw.metu.edu.tr/pluginfile.php/9013/mod_resource/content/1/driscoll-ch10%20(1).pdf


Fink, L.D. (2003), A Self-Directed Guide to Designing Courses for Significant Learning.http://www.deefinkandassociates.com/GuidetoCourseDesignAug05.pdf


Gagné, R. M. (1965). The conditions of learning and theory of instruction ( 1st ed.). New York, NY: Holt, Rinehart & Winston.


Gagné, R. M., & Briggs, L. J. (1974). The principles of instructional design ( 1st ed.). New York, NY: Holt.


Gagné, R. M. (1985). The conditions of learning and theory of instruction ( 4th ed.). New York, NY: Holt, Rinehart & Winston.


Matte Bon, F. (1999) Usos del verbo 'ser'. Foro didáctico del Centro Virtual del Instituto Cervantes. https://cvc.cervantes.es/foros/leer_asunto1.asp?vCodigo=2093


Merrill, M. D. (1991). Constructivism and instructional design. Educational technology31(5), 45-53.


Merrill, M. D. (2002). First principles of instruction. Educational Technology Research and Development, 50(3), 43-59. Instructional-Design Theories and Models, Volume III: Building a Common Knowledge Base.


Merrill, M. D. (2009). First Principles of Instruction. In C. M. Reigeluth & A. Carr (Eds.), Instructional Design Theories and Models: Building a Common Knowledge Base (Vol. III). New York: Routledge Publishers.


Siemens, G. (2014, May). Multiple pathways: Blending xMOOCs & cMOOCs. http://www.elearnspace.org/blog/2014/05/06/multiple-pathways-blending-xmoocscmoocs/


Reigeluth, C. M., Ed. (1999). Instructional-Design Theories and Models: A New Paradigm of Instructional Theory. Mahwah, NJ, Lawrence Erlbaum Associates Publishers.



Zapata-Ros, M. (2015). El diseño instruccional de los MOOC y el de los nuevos cursos abiertos personalizados. Revista de Educación a Distancia, (45). https://revistas.um.es/red/article/download/238661/181351


Zapata-Ros, M. (2018). La universidad inteligente. RED. Revista de Educación a Distancia, 57(10). Consultado el (dd/mm/aaaa) en http://www.um.es/ead/red/57/zapata2.pdf


Zapata-Ros, M. (2020). ¿Qué tienen de común Jeff Bezos y Benjamin Bloom? / What do Jeff Bezos and Benjamin Bloom have in common? 10.13140/RG.2.2.14749.26085



245 views0 comments

Recent Posts

See All

Comments


bottom of page