Importancia del uso de rubricas en la evaluacion de cursos en línea

Importance of using rubrics in assessment of online courses

Carlos González¹

Centro Nacional de Desarrollo e Investigación en Tecnologías Libres, Mérida, Venezuela¹

cgonzalez@cenditel.gob.ve¹

Fecha de recepción: 06/06/2022

Fecha de aceptación: 14/06/2022

Pág: 83 – 108

Resumen

El diseño y ejecución de cursos en línea es una labor que debe ser monitoreada desde el momento en que se concibe el curso hasta el momento en que se cumple con su aplicación. En cada una de las etapas del curso, es necesario contar con retroalimentación que permita conocer las posibles carencias o aspectos que requieran ser mejorados. Este monitoreo permanente requiere de instrumentos de evaluación adaptados a cada fase del curso, de tal forma que la información pueda ser sistematizada de manera sencilla, fácil de interpretar y que brinde toda la información requerida. En este sentido, las rúbricas juegan un papel de fundamental importancia para construir instrumentos que permitan obtener la información necesaria para evaluar todo el proceso del curso en línea y abarcar todos los aspectos que lo componen.

Palabras clave: educación en línea, evaluación, retroalimentación, rúbricas.

Abstract

Design and implementation of online courses is a work which must be monitored from the moment of course conception, until the end of its implementation. In every stage of the online course feedback is required in order to find possible shortcomings or issues that could be enhanced. Permanent monitoring requires assessment instruments adapted to every phase of the course, in such way that information can be interpreted easily and all required data can be collected. In this regard, rubrics play a vital role in order to construct instruments which allow obtain needed information to assess the whole process of online course, and encompass all its components.

Key words: assessment, feedback, online education, rubrics.

Introducción

La educación en línea presenta ciertas características que la hacen particular, es un proceso que comienza generalmente con la elaboración del diseño instruccional, independientemente del modelo utilizado. El curso en línea pasa por diversas etapas, iniciando por la elaboración del perfil de los futuros participantes, para luego entrar de lleno en el diseño de las pautas pedagógicas, posteriormente de las actividades y los objetos virtuales de aprendizaje que conformarán los contenidos y la evaluación de los estudiantes.

Durante todo el proceso, es necesario que el equipo interdisciplinario reunido para la elaboración del curso en línea, reciba retroalimentación acerca de su trabajo, sin embargo es cuando el curso se encuentra operativo y alojado en la plataforma de aprendizaje en línea, el momento en el que se debe comenzar el proceso de evaluación del curso en línea.

Es necesario preparar la evaluación del diseño instruccional, puesto que constituye la base sobre la cual se edificará el curso (Cañón, 2019). Si el diseño instruccional presenta carencias, en muchas ocasiones éstas no son evidentes hasta el momento en que se pone en marcha el curso. Posteriormente están los contenidos educativos, los objetos virtuales de aprendizaje que sustentan esos contenidos, estrategias didácticas, otro tipo de materiales de apoyo y finalmente la evaluación del desempeño de los estudiantes.

Por otra parte, se requiere una vez haya finalizado el curso, que los participantes lleven a cabo un proceso de evaluación del despeño del mismo (Flores et al. 2016), el cual debe abarcar los aspectos más importantes de la interacción de los estudiantes con el curso y con los facilitadores. Esto constituye una de las retroalimentaciones más valiosas al momento de evaluar un curso en línea.

Existen muchos modelos de evaluación, instrumentos, formas de sistematizar la información, las cuales proveen a los diseñadores de cursos completamente en línea con las herramientas para interpretar el desempeño del curso e identificar las posibles carencias y fallas para posteriormente realizar un rediseño que garantice un desempeño superior a medida que el curso vuelve a ser impartido.

Tomando en cuenta que la evaluación de un curso en línea es un elemento de vital importancia, es necesario contar con instrumentos homogéneos que permitan a los integrantes del equipo de desarrollo de cursos interpretar la retroalimentación recibida de tal forma que repercuta de manera positiva para futuras ediciones del curso (Mayorga y Madrid, 2011).

Generalmente la construcción de instrumentos se realiza para evaluar diferentes situaciones, este es el caso de las rúbricas, las cuales son usadas en el ámbito educativo generalmente para evaluar a los estudiantes, sin embargo se han comenzado a utilizar ampliamente para realizar la evaluación de los distintos aspectos que componen los cursos en línea (Fallas, 2005). Al utilizar rúbricas, es posible generar instrumentos que permitan mostrar distintos niveles de calidad asociados a cada uno de los aspectos evaluados.

En el ámbito de los cursos en línea existen diferentes perspectivas dependiendo de los expertos que realizarán la evaluación (Navarro et al. 2018). Por un lado están los expertos en diseño instruccional, además de los expertos en contenidos, los expertos desarrolladores de objetos virtuales de aprendizaje y los expertos en manejo de las plataformas de aprendizaje en línea. Cada uno de ellos debe recibir información acerca del desempeño del curso con relación a sus áreas de experticia.

El propósito del presente ensayo, es mostrar la importancia del uso de rúbricas con la finalidad de generar instrumentos pertinentes para obtener la información necesaria con la intención de evaluar el desempeño del curso en línea desde la perspectiva de cada uno de los expertos del equipo interdisciplinario y de los estudiantes, de tal forma que se puedan detectar fallas o carencias, lo que permitirá realizar los cambios y mejoras necesarias de manera permanente.

Importancia de la evaluación como forma de retroalimentación

La mayor parte de las actividades humanas son susceptibles de ser mejoradas (Alemán et al. 2015). Las personas desean que su desempeño sin importar el área en la cual se realicen sus actividades, pueda mejorar, lo cual debe ser permanente, por lo que cada vez que llevan a cabo sus tareas deberían recibir una retroalimentación de las demás personas involucradas para conocer su desempeño, si existen fallas o se necesita corregir algunos aspectos.

La evaluación no debe ser vista como un juicio, en el cual se busca culpar o eximir a quienes son objeto de la misma (Flores et al. 2016). Se trata principalmente de información necesaria para que las personas conozcan su desempeño. Es conocido que la información es un elemento vital para tomar decisiones, lo que hace a la retroalimentación surgida de los procesos de evaluación, una poderosa herramienta en la evolución constante de las actividades humanas.

La educación no escapa a esta dinámica, por esta razón es necesario que todas las actividades educativas sean evaluadas para posteriormente hacer ajustes que permitan llevar a niveles más altos su desempeño (Polleri y Jiménez, 2014). En los ambientes educativos centrados en los estudiantes, la evaluación no es un escrutinio al cual se somete aquello que sea objeto de evaluación, se trata de construir colectivamente un perfil acerca del desempeño, es por esta razón que la evaluación es un elemento de vital importancia para comprender las acciones que se realizan.

Los procesos educativos son en todo momento susceptibles de cambio (Mayorga y Madrid, 2011). La mejora permanente del diseño y ejecución de los cursos en línea debe ser un objetivo en todos los aspectos, comenzando por lograr los objetivos de aprendizaje de los estudiantes a través de la renovación de los procesos, al igual que del curso en sí mismo.

La evaluación de cursos en línea debe considerar todos los puntos de vista de quienes están vinculados con su diseño, ejecución y retroalimentación, incorporando en la evaluación final del desempeño del curso el punto de vista de los estudiantes, quienes darán su opinión dependiendo de sus características personales, preferencias de aprendizaje, o dependiendo de la parte del curso que más les haya impactado, ya sea de manera positiva o negativa (Flores et al. 2016).

La educación en línea posee como característica la necesidad de crear un diseño instruccional, objetos virtuales de aprendizaje y estrategias didácticas que permitan resultados de calidad y que mantengan en todo momento la atención de los estudiantes de tal forma que se les incentive a realizar todas las actividades y alcanzar satisfactoriamente el final del curso (Bañuelos, 2019). Por esta razón es de suma importancia obtener de manera permanente información que permita mantener estos estándares deseados, lo que garantiza la permanencia en el tiempo de los cursos en línea.

Para lograr este objetivo, es necesario que las organizaciones encargadas de la elaborar e impartir cursos en línea, construyan los instrumentos pertinentes, de tal forma que exista la posibilidad de asegurar la calidad del diseño instruccional, contenidos, estrategias didácticas y cualquier otra actividad vinculada con el curso en línea (Bañuelos, 2019). Es necesario entonces, contar con instrumentos que permitan evaluar los aspectos más relevantes, además de incluir a todos los actores vinculados.

Por las razones expuestas anteriormente, la evaluación de los cursos en línea es de gran importancia, un curso en línea que no sea evaluado o que cuente con una evaluación deficiente no será capaz de permanecer en el tiempo (Fallas, 2005). Si un curso mejora constantemente, las personas para las cuales fue diseñado continuarán interactuando con él, incluso podrían volver a hacerlo con el fin de actualizar sus conocimientos sobre el tema. Un curso en línea que permanezca en el tiempo, seguramente cuenta con mecanismos de retroalimentación que permiten una correcta evaluación.

Existen muchas formas de construir instrumentos para evaluar cursos en línea, lo que hace difícil referirse a un método en particular (Bañuelos, 2019). Cada institución cuenta con características propias, lo que demanda métodos de evaluación que se adapten a las necesidades de cada una de ellas. Lo importante en este punto es lograr métodos de evaluación que muestren aspectos relacionados con la calidad de los aspectos a evaluar.

En este sentido, Fallas (2005) sugiere que se utilicen las rúbricas porque se encuentran directamente vinculadas con el desempeño, en este caso de los cursos en línea. Del mismo modo, Bañuelos (2019) afirma que las rúbricas han sido construidas para certificar la calidad de aquello que se pretende evaluar. Tomando en cuenta estas afirmaciones, se desarrolla a continuación un hilo argumentativo para mostrar la importancia de utilizar este tipo de instrumentos para obtener la retroalimentación necesaria para una óptima evaluación de todos los procesos asociados a los cursos en línea.

La rúbrica como instrumento de evaluación

Las rúbricas nacieron como instrumentos que permiten recabar información acerca del desempeño de los estudiantes, de tal forma que se pueda medir su desempeño en determinadas áreas o respecto al cumplimiento de los objetivos educativos (Fallas, 2005). Este tipo de instrumentos se utilizan para obtener información sistematizada, de tal forma que se facilite su interpretación, lo que repercute en una toma de decisiones más rápida y acertada, lo que los convierte en herramientas idóneas para el trabajo con educación a distancia mediada por el uso de las tecnologías informáticas.

Una rúbrica según Fallas (2005), es un instrumento que permite obtener información a partir de características determinadas, tales como comprensión lectora, capacidad de síntesis, criterios de análisis entre otros. Cada una de estas características debe estar acompañada de una escala, la cual generalmente abarca las posibilidades de desempeño de los estudiantes en la característica evaluada, por ejemplo, deficiente, regular y excelente. Las escalas pueden variar, pero generalmente se basan en los tres niveles mencionados.

Desde el punto de vista de Gatica y Uribarren (2013), una rúbrica es una tabla que está asociada a diferentes niveles de desempeño respecto a un determinado aspecto que se desea evaluar. Por esta razón, las rúbricas se construyen generalmente a partir de tablas que muestran en una columna las habilidades, competencias o aspectos que se desea evaluar, frente a otras columnas en las cuales se describen los niveles de desempeño asociados a cada aspecto.

Las rúbricas no solamente se utilizan para evaluar el desempeño de los estudiantes, también se utilizan en el ámbito de la educación virtual, para obtener retroalimentación sobre los cursos en línea (Bañuelos, 2019). Esto se debe a que los cursos en línea deben ser permanentemente monitoreados en todas sus etapas. Del mismo modo como es necesario obtener retroalimentación de los estudiantes, el manejo de este volumen de información hace de las rúbricas un instrumento de gran importancia al momento de obtener la información.

Existe una serie de aspectos vinculados a la calidad y al desempeño de los cursos en línea, tal como lo expresan Polleri y Jiménez (2014), ya que son objeto de retroalimentación desde el momento de su diseño, pasando por sus componentes pedagógicos, la calidad de los contenidos, los objetos virtuales de aprendizaje que se utilizarán para interactuar con los participantes, el desempeño de los facilitadores y la interactividad del curso en línea.

Para efectos del presente ensayo, se mostrarán ejemplos de rúbricas de evaluación para cursos en líneas, basadas en el paradigma de las rúbricas analíticas, ya que según Gatica y Uribarren (2013), constituyen un elemento de valuación formativa puesto que toman en cuenta distintos criterios de desempeño, en este caso asociados al análisis, diseño, desarrollo, implementación y evaluación de los cursos en línea. En este caso los niveles de valoración de han sido determinados por tres niveles de desempeño, donde el número tres (3), corresponde a un desempeño óptimo del criterio a evaluar, y uno corresponde a un nivel deficiente, donde es necesario reformular las características de dicho criterio. Existe igualmente un punto medio donde el criterio evaluado cumple su cometido, pero debe mejorar.

Evaluación de un curso en línea

Un curso completamente en línea posee características que lo hacen peculiar, por lo que según Bañuelos (2019), es necesario generar los instrumentos que permitan obtener la retroalimentación requerida en todas las fases del curso. Se requiere entonces contar con instrumentos propios que hagan posible al equipo interdisciplinario, obtener la información necesaria. Hay que tomar en cuenta aspectos tales como población, nivel educativo de los participantes, conocimientos previos, contexto en el que se realiza el curso, entre otros.

Del mismo modo Navarro et al. (2018), plantean que los cursos en línea se encuentran enmarcados dentro de la tendencia denominada pedagogía basada en la evidencia, la cual determina que todas las decisiones que se tomen al momento de proponer y ejecutar actividades relacionadas con el ámbito pedagógico, deben estar sustentadas por evidencia basada en trabajos de investigación. Dichos trabajos se basan en la recolección de información, la cual es interpretada para posteriormente sacar las conclusiones pertinentes.

En este sentido continúa Navarro et al. (2018), al afirmar que la evaluación de los cursos en línea debe estar orientada principalmente hacia la obtención de información, más que al análisis de cantidades numéricas que son únicamente valiosas desde el punto de vista de la evaluación sumativa, contrariamente a los datos cualitativos, los cuales proporcionan información mucho más completa y detallada orientada a la toma de decisiones basada en criterios de calidad.

En este contexto, Alemán et al. (2015), plantean que dentro del ámbito de los cursos completamente en línea, es necesario desarrollar una serie de indicadores particulares, puesto que este tipo de cursos poseen características propias, lo que hace a los indicadores tradicionales para la medición de la calidad de los cursos y materiales educativos, no aptos para medir el desempeño de un curso en línea. El desarrollo de nuevos indicadores también impulsa la creación de nuevos instrumentos para recabar la información requerida sobre los cursos en línea.

Por otra parte es necesario establecer que los cursos en línea, se encuentran enmarcados dentro de la teoría constructivista y la tendencia del conectivismo, las cuales tienen como visión principal, la educación centrada en el estudiante, llegando en algunos casos a incluirlos dentro del diseño de contenidos de este tipo de cursos (Alemán et al. 2015). En este sentido es importante que los estudiantes formen parte del proceso de obtención de información para mejorar el curso a futuro.

Para que la calidad de todos los aspectos relacionados a los cursos en línea puedan ser tomados en cuenta, es necesario elaborar rúbricas que permitan medir los indicadores asociados a todas las etapas del curso en línea (Alemán et al. 2015). Para lograr este cometido, es necesario incluir en el proceso de evaluación a todos los actores vinculados al desarrollo, desde los expertos en diseño instruccional, pasando por expertos en contenidos, material didáctico, además de la inclusión de los estudiantes como evaluadores.

En algunos casos, los estudiantes son los mejores tester o probadores de los cursos en línea, razón por la cual Flores et al. (2016) recomiendan que se realice una pequeña prueba piloto con estudiantes reales antes de comenzar la ejecución del curso, esta será la prueba que permita a los diseñadores instruccionales, creadores de contenido y expertos informáticos extraer la información necesaria para continuar con la ejecución del curso, puesto que esa prueba piloto permitirá corregir fallas, carencias u omisiones que se pudiesen presentar, comenzando así la ejecución a partir de una versión estable del curso.

La mayoría de los cursos comienza con el levantamiento de la información necesaria para su creación (Cañón, 2019). Es el punto de partida de la fase de diseño instruccional, que a semejanza del plano de una vivienda muestra todos los elementos que deben ser tomados en cuenta, su distribución óptima, y la forma en que se debe proceder para construir dichos elementos, por lo cual es importante iniciar de manera paralela el proceso de evaluación.

Posteriormente, es necesario monitorear cada uno de los elementos integrantes del curso en línea, para lo cual es necesario contar con el apoyo de expertos que no pertenezcan al equipo de desarrollo, lo que permite tener una visión distinta y objetiva del curso (Bañuelos, 2019). Es así como se pueden construir rúbricas específicas para cada uno de los elementos que constituyen un curso en línea, que cuenten con el visto bueno de actores no vinculados con su construcción.

Finalmente es necesario acotar que la evaluación de cursos en línea no tiene un formato estandarizado o único (Mayorga y Madrid, 2011). Cada institución, o cada organización que se proponga la tarea del desarrollo de este tipo de cursos construye sus instrumentos de evaluación de forma personalizada, abarcando las características relevantes según sus necesidades. Existen distintas formas para recolectar la información y distintos modelos de rúbricas. En el caso del presente ensayo, se mostrará un ejemplo de rúbrica analítica de elaboración propia por cada aspecto a ser evaluado, comenzando por el análisis, para luego concretar la fase de diseño, posteriormente el desarrollo de materiales, estrategias didácticas, objetos virtuales de aprendizaje (OVA), y la interacción con los estudiantes.

Evaluación del diseño instruccional

El diseño instruccional es la primera etapa del desarrollo de cursos en línea, por lo tanto es el primer elemento que debe ser sujeto de evaluación. El diseño instruccional puede ser entendido tal como lo establece Umaña (2014) al afirmar que el diseño instruccional permite que se haga la organización del proceso educativo, tomando en cuenta en primer término los objetivos educativos, las actividades pertinentes para lograr dichos objetivos, además de los recursos, medios y estrategias didácticas que deben ser utilizadas. En la educación virtual, el proceso de diseño instruccional cobra relevancia debido a que se convierte en la estructura que permitirá desarrollar e implementar el curso en línea.

Independientemente del modelo de diseño instruccional, cada uno de ellos se sustenta en alguna teoría del aprendizaje, de esta forma el modelo que se utilice tendrá una manera particular de entender los roles del docente, los estudiantes, el planteamiento de objetivos y competencias, las actividades didácticas pertinentes, los recursos educativos u objetos virtuales de aprendizaje y evaluación del aprendizaje (Umaña, 2014). Estos elementos se encuentran en todos los modelos de diseño instruccional, independientemente de las particularidades que presenten. Los aspectos mencionados forman una especie de armazón o estructura del curso, la cual debe ser desarrollada posteriormente.

Como se trata del inicio del proceso, el diseño instruccional debe ser el primer aspecto a evaluar (Cañón, 2019). Existen diversos modelos de diseño instruccional, los cuales abarcan diversidad de elementos vinculados con la construcción de cursos en línea, su orientación pedagógica y las necesidades de los estudiantes, sin embargo la mayoría de ellos mantiene en líneas generales los elementos del modelo genérico denominado ADDIE. Este acrónimo se refiere a las etapas que abarca la creación de un curso en línea, es decir, Análisis, Diseño, Desarrollo, Implementación y Evaluación, actividades que se hacen en secuencia y que posteriormente se retroalimentan para reiniciar el proceso.

Cada una de las etapas posee características particulares, las cuales deben ser evaluadas en todo momento, desde el diseño de las mismas, pasando por su desarrollo e implementación para luego realizar la evaluación completa del curso (Fallas, 2005). Como el diseño instruccional contempla la construcción del modelo que guiará el desarrollo del curso, allí se contemplan todas las etapas, se plasma en formato de diseño lo que posteriormente se convertirá en el curso en línea.

Por esta razón, la evaluación del diseño instruccional debe contener elementos que se identifiquen con la totalidad del curso, aunque en esta etapa aún no se ha comenzado a desarrollar ninguno de sus elementos (Polleri y Jiménez, 2014). En este punto es pertinente evaluar cada uno de los componentes que formarán parte del diseño instruccional, para determinar su pertinencia en cuanto a la orientación del curso, los usuarios a quienes va dirigido, los contenidos educativos, la pertinencia de los objetos virtuales de aprendizaje, las secuencias didácticas y las formas de evaluación de los estudiantes.

Los aspectos a evaluar en el diseño instruccional están vinculados con cada una de las etapas que lo componen (Cañón, 2019), de tal forma que se evaluarán aspectos relacionados con el análisis de los participantes, sus características, conocimientos previos, la orientación pedagógica entre otros. Para ello, se presenta un ejemplo de los aspectos más relevantes vinculados con la evaluación del diseño instruccional de un curso en línea, con los elementos de calidad asociados a cada aspecto establecidos como excelente, bueno y deficiente, tal como se muestra en la tabla 1.

En el ejemplo, las escalas vinculan los criterios asociados al diseño instruccional del curso, con su capacidad para lograr los objetivos propuestos de acuerdo a la forma en que se ha presentado el modelo. En la escala, el número tres (3), representa un diseño coherente y pertinente para con lo que se desea lograr. El número dos (2), representa un diseño que si bien permite lograr los objetivos planteados, necesita mejorar o contiene elementos que no son pertinentes o deben mejorar. El número uno (1) de la escala se vincula con elementos no pertinentes para lo que se desea lograr en el curso en línea. Al final es necesario dejar un espacio para las observaciones que el evaluador desee agregar.

Esta rúbrica está dirigida a los expertos en diseño instruccional, tanto para los que forman parte del equipo multidisciplinario, como para evaluadores externos. Para garantizar su validez, Polleri y Jiménez (2014), recomiendan que los instrumentos utilizados para la evaluación del diseño instruccional de un curso en línea sean validados como si se tratase de los instrumentos de recolección de información para una investigación, de forma que se garantice la obtención de los resultados requeridos tanto por el equipo desarrollador del curso como por evaluadores externos, con miras a la mejora permanente del curso.

Evaluación de contenidos

El siguiente punto a evaluar lo constituyen los contenidos del curso en línea. En este sentido, Ko y Rossen (2010) establecen que los contenidos educativos de este tipo de cursos están dados por toda la carga de información, experiencias, datos, entre otros pertinentes para lograr la construcción del conocimiento propuesta. Por otra parte, Alemán et al. (2015) afirma que los contenidos deben ser de calidad, esto se refiere a la selección del material adecuado, que permita a través de la interacción con los estudiantes, la construcción del conocimiento y la generación de competencias esperada por los diseñadores del curso.

Los contenidos educativos deben ser seleccionados y presentados por los expertos en la materia sobre la cual versará el curso (Mayorga y Madrid, 2011). El grupo de expertos en contenidos tiene bajo su responsabilidad la organización de los mismos de tal forma que se puedan alcanzar los objetivos educativos y generar las competencias esperadas. Se trata de una labor que abarca selección, organización y planificación de la interacción entre los materiales a utilizar y los estudiantes. Esto deriva en una interacción entre los expertos en contenidos y el resto del equipo interdisciplinario a cargo del desarrollo del curso.

Los contenidos de los cursos en línea pueden clasificarse del mismo modo en que se clasifican en la planificación educativa de cursos presenciales (Mayorga y Madrid, 2011). De acuerdo a las necesidades y características del curso y de los estudiantes a los cuales está dirigido, los contenidos pueden ser conceptuales, procedimentales y actitudinales. Generalmente en los cursos en línea se encuentran mezclados contenidos de los tres tipos, sin embargo dependiendo de la orientación hacia determinada teoría del aprendizaje, cada uno de ellos tendrá mayor o menor relevancia.

Existen por ejemplo, cursos en línea que por su naturaleza están orientados hacia el conductismo (Ko y Rossen, 2010). Esto parece contradictorio, ya que este tipo de cursos se definen como herramientas orientadas hacia los estudiantes, sin embargo existen contenidos, especialmente conceptuales y procedimentales que requieren métodos de memorización y de refuerzo de conductas, particularmente aquellos orientados hacia el manejo de herramientas, maquinarias o instrumental médico, puesto que implican riesgos para la salud e incluso la vida. Por ejemplo, es necesario usar métodos asociados principalmente al conductismo cuando se pretende enseñar a utilizar un bisturí para realizar una operación, sin embargo estos métodos serían poco efectivos si se desea por ejemplo, enseñar algún tipo de metodología de planificación estratégica.

Por las razones expuestas, es necesario que los contenidos seleccionados para un curso en línea cumplan con el criterio de pertinencia en todos los aspectos relacionados con las características del mismo (Cañón, 2019). Un curso en línea se diseña a partir de ciertos parámetros que definirán su naturaleza, estructura orientación pedagógica entre otros. Los contenidos educativos que sean seleccionados para formar parte del mismo deben estar alineados con la concepción del curso, no es posible establecer contenidos educativos contradictorios con la naturaleza de los conocimientos que se desean construir.

En este sentido, es necesario asegurar la calidad de los contenidos del curso en línea (Alemán et al. 2015). Por esta razón es de vital importancia elaborar instrumentos, en este caso rúbricas que permitan obtener retroalimentación acerca de las características más relevantes asociadas con el curso en línea que se encuentra en desarrollo. Para ello se propone un ejemplo de elaboración propia que cuenta con los niveles excelente, bueno y deficiente, para medir los niveles de desempeño de los principales indicadores vinculados con los contenidos educativos (2).

En la propuesta presentada, las escalas de calificación van del tres (3), excelente, al uno(1), deficiente. Los evaluadores deben contar con un espacio posterior en el cual puedan incluir observaciones relacionadas con su evaluación, especialmente si se necesita exponer alguna propuesta en particular, por ejemplo, si el evaluador seleccionó en el ítem 5 una escala de calificación 1, debe especificar de qué forma sugiere que se ordene la presentación de los contenidos.

El instrumento propuesto, al igual que en el caso anterior de la evaluación del diseño instruccional, debe ser sometido al escrutinio de expertos para su validación, y se debe aplicar tanto dentro del grupo de desarrollo del curso, como al momento de incluir a expertos en el área para una evaluación externa del desempeño. Del mismo modo es necesario hacer énfasis en la necesidad de tomar en cuenta la información obtenida a partir de la retroalimentación para la mejora posterior del curso.

Evaluación de objetos virtuales de aprendizaje

Una de los principales retos al momento del desarrollo de un curso en línea, es la forma en que los contenidos serán presentados a los participantes (Flores et al. 2016). En este punto es necesario tomar en cuenta una serie de factores inherentes a la naturaleza del curso, pero principalmente es necesario tomar en cuenta las características de los participantes, de tal forma que los contenidos sean presentados de manera que puedan mantener la atención y motivación de los estudiantes, pues de esto depende que se motiven a seguir adelante con el curso y culminarlo de manera satisfactoria.

Los participantes en el curso en línea encuentran ordenadas las lecciones de manera estructurada según las secuencias didácticas planteadas en el diseño instruccional (Molano et al. 2018). En cada uno de los momentos de las secuencias didácticas, los estudiantes encuentran los contenidos presentados en forma de objetos virtuales de aprendizaje, los cuales permiten que se interactúe con la plataforma para completar las actividades propuestas para alcanzar los objetivos propuestos en el diseño.

En primer lugar es necesario establecer el concepto de objetos virtuales de aprendizaje (OVA), el cual es descrito por Molano et al. (2018) como una unidad digital, ya que se utilizarán para mediar en las actividades entre los estudiantes y la plataforma de aprendizaje en línea que albergue el curso. Esas unidades digitales deben ser plenamente identificables, es decir se deben reconocer al estar en presencia de ellas, deben tener la capacidad de estar contenidas en repositorios u otros medios de fácil acceso. Deben tener la capacidad de ser utilizados de manera recurrente para los fines que fue creado, y debe tener una clara e inequívoca intención educativa.

Un video tutorial, por ejemplo, por sí solo no es un objeto virtual de aprendizaje si no se le integra dentro de un contexto que le brinde todas las características asociadas a los OVA descritas anteriormente (Ko y Rossen, 2010). Es importante que todas las unidades digitales que pretendan ser utilizadas como objetos virtuales de aprendizaje no solamente tengan una intencionalidad educativa, sino que deben estar vinculados con la construcción de conocimiento que se pretende con la aplicación del curso en línea. Por esta razón, es necesario que los OVA estén apegados a las características anteriormente descritas.

Del mismo modo Ko y Rossen (2010) establecen que los denominados según ellos objetos de aprendizaje, denominados OVA para los fines del presente ensayo, deben estar estructurados de manera sencilla y comprensible, deben presentar la información de forma amena y en segmentos pequeños que sean fáciles de recordar por parte de los estudiantes. Estas características son sugeridas debido a que la interacción con material en línea no se realiza de igual forma que en las clases presenciales, por lo que es necesario adecuar las formas de interacción al ámbito de la virtualidad.

Por otra parte señalan Molano et al. (2018), que los OVA deben contener actividades teóricas y prácticas, además de permitir la evaluación permanente y tienen que fomentar el trabajo colaborativo. Esto muestra la necesidad de diseñar distintos tipos de OVA que permitan llevar a cabo todos los tipos de interacción necesaria para que cumplan con su objetivo mediador entre los estudiantes y el contenido de los cursos en línea.

La situación descrita anteriormente obliga a que los diseñadores de OVA deban crear distintos tipos de éstos atendiendo no solamente a los requerimientos de interactividad de acuerdo al tipo de actividades que se deben realizar, sino que deben tomar en cuenta ciertas características de los estudiantes (Flores et al. 2016). Los estudiantes aprenden de maneras distintas, esto ha sido establecido a partir del modelo de la Programación Neurolingüística (PNL), que los clasifica en estudiantes auditivos, visuales y kinestésicos.

No obstante algunos modelos incluyen la lectura aparte de la habilidad visual, tal como es el caso del modelo VARK de la universidad de Lincoln en Nueva Zelanda, donde se ha diseñado un cuestionario presentado por Fleming (2014), el cual establece las preferencias de aprendizaje dominantes en las personas que lo realizan. De esta forma los diseñadores de cursos en línea pueden desarrollar actividades que abarquen todos los tipos de estudiantes que tomen el curso.

Por esta razón un curso en línea debe contemplar actividades sustentadas en diversidad de OVA, siendo esto un punto vital al momento de evaluarlos de tal forma que se pueda conocer si cumplen con las principales características para considerarlos como tales, además de indagar si cumplen de manera satisfactoria el objetivo para el cual fueron creados. Por esta razón una rúbrica para evaluar este tipo de objetos debe contener al menos un ítem de desempeño por cada característica de los OVA (Flores et al. 2016).

En este sentido, se presenta una propuesta de rúbrica para evaluar objetos virtuales de aprendizaje, que debe ser sometida a validación de expertos y aplicada de manera interna y externa. Presenta las principales características que debe contener un OVA, y al igual que las otras se vincula con tres niveles de desempeño, desde deficiente hasta excelente, de tal forma que se pueda tener una idea de la forma en que los OVA están realizando su función con la finalidad de mejorar en futuras ediciones del curso. La propuesta se presenta en la Tabla 3.

En la propuesta existen tres niveles en la escala de calificación. Cada uno de ellos permitirá al evaluador establecer si los OVA presentes en el curso en línea se corresponden con las características que los distinguen como tales. Los criterios que se presentan se vinculan con la capacidad que tienen los OVA del curso para tributar a la construcción de conocimiento, tal como se concibió desde el momento de la construcción del diseño instruccional.

Evaluación de aspectos técnicos e interactividad

Los cursos completamente en línea se basan en la premisa de interacción independiente de los estudiantes con los OVA que se presentan para realizar las actividades pedagógicas conducentes al desarrollo de competencias y a la consecución de los objetivos educativos (Alemán et al. 2015). Esta situación supone que los docentes, llamados comúnmente facilitadores del curso en línea no tienen interacción personal con los estudiantes.

Las características propias de los cursos completamente en línea demandan que los estudiantes y facilitadores deban contar con las condiciones suficientes y necesarias para poder interactuar con las funcionalidades del curso (Cañón, 2019). Se trata no solamente de garantizar el acceso a la plataforma de aprendizaje en línea que contenga el curso, sino que los participantes puedan interactuar con todos los materiales diseñados para realizar las actividades del curso, esta interacción tiene diversas aristas, por ejemplo accesibilidad a los repositorios de los materiales, que los OVA funcionen correctamente, por ejemplo los audiovisuales deben trabajar de manera correcta, las infografías deben cargar correctamente entre otras características.

Por otra parte, De Armas y Barroso (2020), establecen que la interacción independiente de los participantes con los materiales educativos de los cursos en línea deben permitir el estudio independiente y debe garantizar las vías de comunicación tanto con los facilitadores (vertical), como con los demás participantes (horizontal). Esto significa que todos los participantes deben interactuar entre sí, y que la plataforma de aprendizaje en línea debe garantizar esa interacción a través de funcionalidades síncronas y asíncronas tales como foros, chat, correo electrónico y la posibilidad de incluir comunicación a través de los servicios de red social.

La interacción con los materiales y entre los participantes y facilitadores del curso debe estar garantizada en los términos y condiciones que el curso establezca (Ko y Rossen, 2010), puesto que las características propias de los cursos en línea demandan que la construcción del conocimiento se realice de manera colectiva. Los cursos deben garantizar que los estudiantes puedan acceder a los materiales y actividades en todo momento, y deben garantizar que puedan recibir retroalimentación a través de las herramientas asíncronas, y que puedan interactuar sin restricciones cuando se organicen actividades realizadas en tiempo real o síncronas.

Si los participantes en el curso encuentran fácil la interacción con el curso y no tienen problemas técnicos para acceder a las mismas, esto repercutirá de manera positiva en la motivación a continuar y finalizar el curso en línea (De Armas y Barroso, 2020). Por esta razón, la interactividad es un elemento clave a la hora de evaluar la calidad de un curso en línea, puesto que se trata de la característica medular de la educación en línea. Mientras más posibilidades ofrezca la interacción en el curso en línea, más motivados estarán los estudiantes.

En este sentido, De Armas y Barroso (2020), establecen que existen dos líneas de investigación principales acerca de la interactividad. La primera de ellas se trata de la interactividad en sí, es decir de la facilidad para que los participantes puedan utilizar todos los materiales en las actividades virtuales. La segunda línea de investigación en cuanto a interactividad se encuentra vinculada a las posibilidades de construir nuevas formas de interacción entre los participantes del curso al utilizar las posibilidades de interacción que brinda el curso en línea.

Los participantes del curso en línea, incluyendo estudiantes y facilitadores encuentran nuevos espacios de socialización que les permiten construir relaciones vinculadas con los contenidos y actividades del curso, de tal forma que pueden convertir su interacción en una forma de asesoría y evaluación de pares, lo que es de vital importancia para lograr los objetivos de los cursos, entre ellos fomentar la construcción colectiva del conocimiento. Las relaciones sociales entre los participantes del curso son pilar fundamental para el éxito del mismo (Ko y Rossen, 2010).

En este sentido, es necesario desarrollar un instrumento que permita evaluar la calidad de la interacción con las funcionalidades del curso en línea y entre los participantes y facilitadores (De Armas y Barroso, 2020). Al igual que en los casos anteriores, los indicadores para la evaluación de la interactividad debe ser validada por expertos en el tema, además de orientarse hacia la obtención de retroalimentación dentro del grupo interdisciplinario que desarrolla el curso, al igual que para obtener retroalimentación por parte de actores externos. En la tabla 4, se presenta un ejemplo de rúbrica para evaluar la interactividad.

La presente rúbrica muestra al igual que las anteriores, tres niveles de calificación, vinculando una escala del uno (1) al tres (3). Los evaluadores deben sopesar cada una de las características de la interacción dentro del curso en línea, lo que permitirá establecer si las funcionalidades cumplen con su objetivo de interacción con los materiales educativos y entre los participantes del curso. Es importante además dejar un espacio para observaciones, de tal forma que se puedan proponer sugerencias puntuales para mejorar los aspectos evaluados.

Evaluación de aspectos de diseño gráfico y elementos visuales

El curso en línea al igual que cualquier material de interacción a través de internet, debe tener una presentación adecuada, en este caso debe ser atractiva y motivadora para los participantes en el curso en línea (Ko y Rossen, 2010). La información debe estar presentada de manera atractiva, que motive a la interacción con todas las funcionalidades, que los estudiantes con distintas preferencias de aprendizaje encuentren actividades que guarden relación con sus preferencias, y que permita acceder a todos aquellos participantes a los cuales está dirigido el curso.

Los aspectos gráficos y visuales determinan en gran medida el éxito del curso, puesto que influyen durante todo el proceso, desde la voluntad de los estudiantes a interactuar, hasta la obtención de resultados esperados por los participantes al realizar las actividades del curso (Ko y Rossen, 2010). Los aspectos de diseño gráfico y visuales del curso garantizan que los estudiantes puedan interactuar de manera correcta y sin problemas, abriendo paso a la construcción del conocimiento, la motivación de los participantes y la consecución de los objetivos educativos.

El diseño gráfico usado en cursos en línea puede ser visto de una manera análoga a la forma en que se visualiza desde el punto de vista de la publicidad (Granados y Valerio, 2013). En la mercadotecnia, el diseño gráfico busca posicionar marcas, empresas y productos a través de la creación de una imagen asociada a los mismos, con la finalidad de crear impacto en el segmento de mercado que se desea abarcar. En el caso de los cursos en línea, es necesario tomar en cuenta que los mismos parten de un diseño donde el primer elemento a tomar en cuenta son las características de los participantes en el curso.

En este sentido, Granados y Valerio (2013) establecen que el diseño gráfico es un campo de conocimiento que ofrece soluciones en áreas vinculadas con publicidad, prensa, fotografía, ilustración, diseño industrial entre otros aspectos, teniendo como vínculo transversal satisfacer la necesidad de transmitir un mensaje con apoyo principalmente de herramientas visuales. En los cursos en línea es muy importante contar con elementos visuales que faciliten la comprensión de los materiales presentados, no solo para los participantes cuyas preferencias dominantes son visual y lectora, sino para ayudar a todos los participantes en la interacción con las funcionalidades presentadas.

Los principales aspectos a tomar en cuenta son los colores, la tipografía, la alineación de los elementos entre otros (Granados y Valerio, 2013). Todos estos elementos contienen características vinculadas al proceso educativo, lo trae como consecuencia que deban ser tratados de acuerdo a las técnicas que se han desarrollado en la disciplina del diseño gráfico para garantizar que los estudiantes se sentirán a gusto durante su interacción con las diferentes funcionalidades del curso en línea, esto con la finalidad de fomentar motivación y facilitar la comprensión de los materiales que contiene el curso.

A continuación se presenta un ejemplo de rúbrica para obtener retroalimentación con la finalidad de evaluar si los componentes de diseño gráfico son los adecuados, de tal forma que puedan existir mejoras en la aplicación futura del curso. Al igual que todos los instrumentos elaborados para retroalimentar el desempeño de los elementos de los cursos en línea, igualmente es un instrumento que debe ser aplicado dentro del grupo de desarrolladores del curso en línea, pero también debe estar dispuesto para la obtención de información por parte de expertos en el área (ver tabla 5).

La escala presentada en la anterior propuesta guarda el mismo criterio de las presentadas anteriormente en cuanto a los ítems a ser evaluados y a las escalas de calificación asociadas a cada uno de ellos. El evaluador debe tener un espacio para escribir las observaciones que considere pertinentes, de tal forma que puedan convertirse en propuestas para la mejora permanente del curso.

Evaluación del curso desde el punto de vista de los estudiantes

Una de las principales fuentes de retroalimentación para la mejora permanente de los cursos en línea, es la proveniente de los estudiantes (Cañón, 2019). Ellos son quienes interactúan con los materiales y actividades presentadas, de tal forma que son quienes tienen información de primera mano acerca del desempeño del curso en línea en todos sus aspectos. Se encuentran en permanente interacción con las actividades y materiales, de tal forma que pueden dar cuenta de carencias, errores y fallas circunstanciales en la plataforma que alberga al curso.

Por otra parte, brindan valiosa información acerca del impacto que tienen los materiales, estrategias y recursos sobre los estudiantes para los cuales ha sido diseñado el curso (Flores et al. 2016). Los diseñadores de recursos educativos y actividades didácticas para cursos en línea realizan su trabajo en principio sobre la base de sus propios conocimientos e influenciados por el contexto en el cual realizan sus actividades, sin embargo los estudiantes son quienes conocen mejor sus necesidades, por lo tanto son los más capacitados para generar una retroalimentación que permita mejorar el desempeño del curso.

Existen diversos elementos tales como calidad, satisfacción de los estudiantes, motivación, incluso si el material es aburrido o ameno al momento de utilizarlo (Ko y Rossen, 2010). Del mismo modo se toman en cuenta aspectos relacionados con las teorías del aprendizaje y de manera más reciente tales como las caracterizadas a partir del cuestionario VARK presentado por Fleming (2014). En ambos casos, el estudiante provee información que permite intervenir distintos aspectos del curso en línea, de tal forma que la retroalimentación recibida permita a los diseñadores y desarrolladores, hacer los ajustes y correcciones necesarias para posteriores ediciones del mismo.

Al igual que en el caso del diseño gráfico se puede hacer un paralelismo entre la mercadotecnia y el desarrollo de cursos en línea, es posible equiparar las opiniones de los clientes en los estudios de mercado con las opiniones y sugerencias que los estudiantes proveen a los desarrolladores de cursos en línea (Ko y Rossen, 2010). Es probable que los estudiantes no provean información directamente relacionada con aspectos técnicos y pedagógicos, pero la información recabada a partir de la retroalimentación desde su perspectiva, permite inferir las posibles modificaciones y ajustes necesarios en el curso.

Con la finalidad de recopilar la información más relevante de parte de los estudiantes, Flores et al. (2016), proponen seis dimensiones que deben ser tomadas en cuenta para indagar a los estudiantes, de tal forma que se pueda obtener la información deseada. La primera de ellas es una dimensión pedagógica, en la cual el estudiante responde preguntas que se orientan a conocer si ha logrado los objetivos, si los contenidos son pertinentes, si la organización metodológica es la adecuada y si la estructura del curso le ha resultado interesante.

La segunda dimensión está dada por el ámbito de la tecnología. En este punto es necesario tener en cuenta que los estudiantes responderán principalmente en función de sus preferencias de aprendizaje (Fleming, 2014). En este sentido es necesario que las preguntas estén orientadas hacia la satisfacción de los estudiantes con los OVA vinculados al curso, tales como infografías, podcasts, videos entre otros recursos, además de la interacción con la plataforma de aprendizaje.

Existe igualmente una tercera dimensión relacionada con el diseño de la interfaz (Flores et al. 2016). En este punto, las preguntas indagatorias se vinculan con las pantallas, controles, botones, apariencia visual, colores utilizados, facilidad de la navegación entre pantallas de un curso, fácil acceso a los recursos entre otros. Los estudiantes proporcionarán información relevante acerca del carácter heurístico de la experiencia de navegación sobre la base de la interfaz como potenciadora de la interacción.

La cuarta dimensión de la retroalimentación de los estudiantes, se refiere a la evaluación de sus conocimientos. Los estudiantes deben responder acerca de su satisfacción con las habilidades de evaluación, si fueron útiles como retroalimentación a su desempeño, si están satisfechos con la forma en que se evalúa, también pueden dar retroalimentación acerca de aspectos vinculados con el refuerzo de los conocimientos, además de mostrar si la evaluación muestra características de refuerzos positivos o negativos.

Por otra parte se encuentra la quinta dimensión de la evaluación desde la perspectiva de los estudiantes de Flores et al. (2016), vinculada con la gestión del curso en línea. Aquí se plantean variables tales como facilidad de acceso en función de trámites de inscripción y obtención de certificados y en general todos los aspectos administrativos.

La última dimensión de la evaluación de los estudiantes viene dada por la orientación en línea. Esta característica está directamente vinculada con el desempeño de los facilitadores del curso, en este sentido es necesario que los estudiantes tengan claro los roles de cada facilitador, también deben expresar si la interacción con los mismos les fue de ayuda, y si su comportamiento al momento de interactuar con los estudiantes generó motivación para culminar con las tareas del curso.

Tomando en cuenta las dimensiones planteadas, se presenta una propuesta de rúbrica para la retroalimentación desde la perspectiva de los estudiantes (Tabla 6), la cual también debe ser escrutada por expertos. En este caso, como el instrumento está dirigido a los estudiantes, no se utiliza para retroalimentación interna, sino que siempre será fuente de información de fuentes externas a los diseñadores del curso. Lo más recomendable es presentar la rúbrica al final del curso en línea, de tal forma que los estudiantes hayan tenido oportunidad de interactuar con todas las funcionalidades del curso (Flores et al. 2016)

Los ítems de la rúbrica pueden variar de acuerdo a las necesidades y características de cada curso en línea y deben estar orientadas a los aspectos que los diseñadores consideren relevantes para la mejora permanente del curso. Por otra parte, es necesario dejar un espacio para que el estudiante pueda escribir algunas observaciones que pueden no estar dentro de las preguntas, o para ampliar algún aspecto de las mismas que necesite ser argumentado o aclarado.

Consideraciones finales

Las rúbricas en la evaluación de cursos en línea constituyen una poderosa herramienta de obtención de información sobre la base de la retroalimentación de actores internos y externos vinculados con el diseño, desarrollo e implementación de los cursos en línea. Presentan características que permiten asociar los ítems que conforman la rúbrica con aspectos cuantitativos pero también cualitativos, incluso ambos al mismo tiempo, lo que permite la obtención de información completa y relevante a través de un instrumento que simplifica su recolección.

Por esta razón, es necesario que aparte de los ítems que conformen la rúbrica, el diseñador deje un espacio bajo la misma para que el evaluador pueda hacer observaciones puntuales sobre aspectos determinados, ya sea porque no se encuentran dentro de los ítems que se presentan en la rúbrica, o para que se exprese alguna opinión o sugerencia vinculada con su experiencia dentro del curso en línea. Esto es importante debido a que puede enriquecer de manera significativa los resultados de la retroalimentación.

Las rúbricas, al igual que todos los instrumentos de medición no presentan toda la información necesaria para el proceso de retroalimentación, sin embargo si se encuentran estructuradas de manera correcta, proveen información de gran valor. Por esta razón, es necesario que quienes se orienten hacia el desarrollo de cursos en línea sepan detectar los puntos álgidos que deben ser monitoreados, de tal forma que las rúbricas mantengan la pertinencia.

Es posible que algunas organizaciones determinen que para evaluar de manera completa un curso en línea, se necesite construir rúbricas tanto holísticas como analíticas dependiendo del aspecto a evaluar. Si bien en el presente ensayo se propuso construir rúbricas analíticas, es igualmente válido usar otros medios de recolección de información, incluidas las escalas de valoración, puesto que la información recopilada debe contener elementos tanto cuantitativos como cualitativos para garantizar una evaluación integral, tomando en cuenta que todos los instrumentos de recolección de información poseen limitaciones.

En este contexto, es necesario que los desarrolladores de cursos en línea cuenten dentro de sus equipos interdisciplinarios, con personas que se especialicen en la construcción de instrumentos de recolección de información, por ejemplo de rúbricas, de tal forma que se garantice el constante monitoreo que permita una correcta retroalimentación, de tal forma que el curso pueda incorporar en futuras ediciones los cambios surgidos a partir de los procesos de evaluación.

Referencias

Alemán, L., Sancho, T. y Gómez, M. (2015). Indicadores de calidad pedagógica para el diseño de un curso en línea masivo y abierto de actualización docente. En revista de Universidad y Sociedad del Conocimiento. Volumen 12, número 1, pp. 104-119. https://rusc.uoc.edu/rusc/es/index.php/rusc/article/view/v12n1-aleman-sancho-gomez.html

Bañuelos, A. (2019). La evaluación de cursos en línea mediante rúbrica. El caso de las asignaturas de B@UNAM. En revista mexicana de bachillerato a distancia. Número 22, año 11, pp. 1-6. http://revistas.unam.mx/index.php/rmbd/article/view/70578

Cañón, R. (2019). Evaluación de la calidad del diseño instruccional del programa de administración de empresas de la universitaria virtual internacional. [Trabajo de grado para optar al título de Magíster en Evaluación y Aseguramiento de la Calidad de la Educación]. Universidad Externado de Colombia. Facultad de Ciencias de la Educación. https://bit.ly/3B5b6NA

De Armas, N. y Barroso, J. (2020). La interactividad en la educación a distancia: un instrumento para su diagnóstico. En revista Fuentes. Volumen 22, número 2, pp. 190-202. https://doi.org/10.12795/revistafuentes.2020.v22.i2.06

Fallas, I. (2005). El uso de rúbricas para la evaluación de los cursos en línea. Ponencia presentada en la Conferencia Internacional de Educación a Distancia, San Juan Puerto Rico. Agosto 2005. https://bit.ly/3znnwix

Fleming, N. (2014). El cuestionario VARK. ¿Cómo aprendo mejor? Organización VARK. http://vark-learn.com/wp-content/uploads/2014/08/The-VARK-Questionnaire-Spanish.pdf

Flores, K., López, M. y Rodríguez, M. (2016). Evaluación de componentes de los cursos en línea desde la perspectiva del estudiante. En revista electrónica de investigación educativa. Volumen 18, número 1, pp. 23-38. https://redie.uabc.mx/redie/article/view/474

Gatica, F. y Uribarren, T. (2013). ¿Cómo elaborar una rúbrica? En revista Pautas en Educación Médica. Volumen 2, número 5, enero-marzo, pp. 61-65. https://www.sciencedirect.com/science/article/pii/S200750571372684X

Granados, A., y Valerio, C. (2013). Importancia de utilizar el diseño gráfico en los cursos con componente virtual de la Universidad Estatal a Distancia de Costa Rica. Ponencia presentada en el XVI Congreso Internacional EDUTEC 2013, San José de Costa Rica. https://www.uned.ac.cr/academica/edutec/memoria/ponencias/cintya_alejandra_131.pdf

Ko, S. y Rossen, S. (2010) Teaching Online. A Practical Guide. Editorial Routledge. https://www.pdfdrive.com/teaching-online-a-practical-guide-e184490440.html

Mayorga, M. y Madrid, D. (2011). Metodología de evaluación de los cursos on line. Revista DIM: Didáctica, Innovación y Multimedia. Número 20, pp. 1-12. https://raco.cat/index.php/DIM/article/view/243455

Molano, F., Alarcón, A. y Callejas, M. (2018). Guía para el análisis de calidad de objetos virtuales de aprendizaje para educación básica y media en Colombia. En revista Praxis & Saber. Volumen 9, número 21, pp. 47-67. https://www.redalyc.org/journal/4772/477258898003/477258898003.pdf

Navarro, M., Navarro, E. y García R. (2018). Rúbrica para evaluar ambientes virtuales de aprendizaje. En revista Cuadernos de desarrollo aplicados a las TIC. Edición 26, volumen 7, número 3, pp. 80-96. https://www.3ciencias.com/wp-content/uploads/2018/09/Art_5-1.pdf

Polleri, G. y Jiménez, J. (2014). Rúbrica de diseño instruccional para aulas virtuales en la docencia universitaria. En revista Educare, órgano divulgativo de la Subdirección de Investigación y Postgrado del Instituto Pedagógico de Barquisimeto "Luis Beltrán Prieto Figueroa". Volumen 18, número 3, pp. 27-47. https://revistas.upel.edu.ve/index.php/educare/article/download/2738/1292

Umaña, M. (2014). Evaluación de modelos de diseño instruccional. Revista Innovaciones Educativas, 16(21), 23-30.