Visualización de indicadores de actividad docente en educación en línea como apoyo a la evaluación formativa

Germán Alejandro Miranda Díaz; Zaira Yael Delgado Celis

http://dx.doi.org/10.21503/hamu.v5i2.1625

Visualización de indicadores de actividad docente en educación en línea como apoyo a la evaluación formativa

Visualization of indicators of teaching activity in online education as support for formative evaluation

Germán Alejandro Miranda Díaz¹ https://orcid.org/0000-0002-1629-6286

Zaira Yael Delgado Celis² https://orcid.org/0000-0002-6786-2858

Universidad Nacional Autónoma de México

Resumen

La educación en línea ha tenido un auge significativo y cobra especial relevancia la evaluación de los aprendizajes, del sistema y de la actividad docente para valorar su éxito. Este último ha sido evaluado en la literatura a partir de indicadores de actividad docente que provienen de la modalidad presencial lo cual restringe su alcance. Por ello, se requiere de indicadores de actividad docente que respondan a las características de la modalidad, que aprovechen los datos almacenados en las bases de datos de los entornos digitales utilizados y, simultáneamente que estos puedan ser presentados a los docentes de forma comprensiva para contribuir a su formación respecto a su ejecución. Así, el presente trabajo tiene como objetivo determinar el uso de la visualización de indicadores formativos describiendo dos indicadores, tiempo estimado de trabajo plataforma e interacción dialógica en plataforma docente-alumno. Se analizaron los datos de la actividad de 146 docentes y 3,556 alumnos en un periodo de 18 semanas con 18,592,774 registros en plataforma. Para el análisis se utilizaron técnicas de visualización de mapa de calor y el análisis de redes que permitieron observar el tiempo que trabaja el docente en la plataforma respecto a su tiempo contratado, así como su interacción de manera comprensible respecto a su posición frente a los demás. Finalmente se considera pertinente el uso de visualizaciones de los indicadores en la plataforma como retroalimentación formativa para los docentes. Se encontró que los profesores pueden tener a su cargo entre uno a nueve asignaturas, con media 4.77; entre cuatro y cincuenta y seis horas curriculares. El porcentaje de tiempo a lo largo del semestre dedicado fue de 38%. Asimismo, los porcentajes de tiempo en el entorno virtual fueron clasificados en cuatro rangos, "muy bajo", "abajo de los esperado", "bueno" y "muy bueno". Cuatro docentes sobresalieron de estos rangos, con 113%, 134%, 267% y 473%. Al graficar la red en tres grados de separación encontramos 2,103 nodos (63% de los nodos) y 16,438 aristas (80 % de las relaciones), con cuatro grados de separación se encontraron 2,863 (85 % nodos) y 20,297 aristas (99 % de las relaciones).

Palabras Clave: Evaluación, docencia en línea, indicadores de actividad y visualización, técnicas de visualización

Abstract

Online education has had a significant growth and evaluation of learning, the system and the teaching activity to assess its success is particularly relevant. The latter has been evaluated in the literature based on indicators of teaching activity that come from the face-to-face modality, which restricts its scope. Therefore, indicators of teaching activity that respond to the characteristics of the modality are required, indicators that consider the data stored in the databases of the used digital environments and, simultaneously that these are presented to the teachers in a comprehensive way to contribute to his training regarding his execution. Thus, the present work has the objective to determine the use of the visualization of formative indicators describing two indicators, the estimated working time in the platform and the dialogical teacher-student interaction in the platform. We analyzed data on the activity of 146 teachers and 3,556 students in a period of 18 weeks with 18,592,774 records on the platform. Heat map visualization techniques and network analysis were used. They allowed us to observe the time the teacher works in the platform with respect to their hired time, as well as their interaction in an understandable way regarding their position compared to others. Finally, it is considered pertinent to use visualizations of the indicators in the platform as formative feedback for teachers. It was found that teachers can have among one and nine subjects, with an average of 4.77; between four and fifty-six curricular hours. The percentage of the dedicated time during the semester was 38%. Also, the percentages of time in the virtual environment were classified into four ranges, "very low", "below expected", "good" and "very good". Four teachers stood out from these ranges, with 113%, 134%, 267% and 473%.

When mapping the network in three degrees of separation we found 2,103 nodes (63% of the no-des) and 16,438 edges (80% of the relations); with four degrees of separation we found 2,863 nodes (85% of the nodes) and 20,297 edges (99% of the relations).

Keywords: Evaluation, online teaching, activity indicators, visualization indicators, visualization techniques

Introducción

En los últimos años se presenta una creciente oferta de modalidades educativas mediadas por la tecnología, tales como la educación semipresencial, la educación móvil o la educación en línea, este hecho no sólo ha transformado la forma en que se lleva a cabo el proceso de enseñanza-aprendizaje, sino también la evaluación de los actores involucrados, específicamente del alumno y docente. Este último actor cobra especial relevancia en la educación en línea, puesto que se han planteado una serie de cuestionamientos respecto al papel del docente y soluciones exportadas de otras modalidades educativas que no corresponden con las posibilidades que el medio digital nos brinda. En opinión de Zapata-Ros (2013, 2014 y 2015) estos problemas respecto al cuestionamiento de la actividad docente se deben a que su actividad no es visible, lo cual ha constituido el centro de las preocupaciones políticas acerca de los estándares que deben cumplir.

Por otra parte, al tratar de dar respuesta a estas preocupaciones sobre la actividad docente en línea, se hace evidente que las propuestas importadas de la evaluación docente en la modalidad presencial no son suficientes para explicar la actividad de estos actores y por consiguiente tomar decisiones respecto a su ejecución.

El cuerpo docente de la modalidad de educación en línea debe responder a los cambios y demandas que se le presentan, por lo que sus funciones y roles se transforman con respecto a una modalidad presencial. Es así, que cobra especial relevancia identificar los niveles de desempeño de los docentes, puesto que cuentan con un perfil específico (Goodwin, 2010).

De esta forma, surgen constantemente alternativas para garantizar la calidad académica de esa modalidad educativa que van desde elementos clásicos como medir la opinión de los estudiantes, la calidad instruccional de los cursos o las pruebas de aprovechamiento académico (Rubio, 2003; Correa, 2004; Abdous, 2009; Campos, 2009; Jung, 2011; De la Garza, Vinuesa & Zermeño, 2015; Martínez, Cegarra & Cepeda , 2015; Mengual, Roig & Catalá, 2015; Mejía & López, 2016; Meléndez, Román, Pérez & Mal-donado, 2017; Stracke, 2017). En este contexto las organizaciones de acreditación sobre la calidad en educación superior proponen y ofertan modelos, criterios, indicadores y estándares de calidad para la educación en línea (Rice, Pace & Mellard, 2017).

Dentro de esta gran variedad de propuestas queda claro que la evaluación orientada a la mejora se convierte en un elemento sustantivo para apuntalar el óptimo funcionamiento de las implementaciones curriculares en línea y la interrelación de los distintos actores, por lo tanto, se convierten en una fuente de información para la toma de decisiones y a la intervención para la mejora.

Dentro de los aspectos de evaluación de la calidad en la modalidad de la educación en línea se han considerado fundamentales los elementos relacionados con los atributos docentes y sus actividades asociadas (Van Duzer, 2002; Rama, 2007; Kebritchi, 2014; Guitert, Ornellas, Rodríguez, Pérez, Romero & Romeu, 2015; Boettche & Conrad, 2016; Cabero, Llorente & Morales, 2018). Asimismo, la calidad de la información y la toma de decisiones depende de los instrumentos y las fuentes de información, siendo los más comunes los docentes, los alumnos, las autoridades institucionales, los pares y los expertos, aunque exista una vieja discusión sobre qué miden y como se recogen los datos e interpretan los mismos (Fernández & Coppola, 2010; Reyes & Rueda, 2016; Tejedor, 2016).

En este sentido, la docencia en educación en línea requiere de indicadores de actividad que hagan uso de las grandes cantidades de datos generados y almacenados en estos escenarios soportados por las tecnologías de la información y de la comunicación (TIC), porque cuentan con un alto grado de objetividad. Estos indicadores además pueden soportar la escala de crecimiento de los sistemas en línea y ser tratados en un procesamiento automático.

Asimismo se considera pertinente hacer uso de técnicas visuales que ayuden a los usuarios a de-codificar de forma simple información analizada. Se entiende por la visualización de datos el área que se encuentra entre las matemáticas, las ciencias de la computación y las ciencias cognitivas y que cuenta con una serie de algoritmos que van de las simples a las complejas (Telea, 2014) y que buscan facilitar la representación del análisis de una o más variables.

Funciones del docente en la educación en línea

En la educación en línea, se ha resignificado el papel del docente, este se presenta como un facilitador que funge como mediador entre los alumnos y las capacidades que tiene para alcanzar los objetivos propuestos, orienta en el uso de los recursos disponibles, promueve el aprendizaje del conteni que los escenarios en línea, donde se llevan a cabo do del módulo para lograr los procesos de evalua los procesos de enseñanza-aprendizaje, requieren ción. Es así que se reconceptualiza la función del que se promueva un ambiente en el cual se pue personal académico implicando posicionamientos da interactuar, comunicarse, compartir y por su- alternativos del ejercicio educativo en línea.

En este sentido, el docente promueve y mantiene los procesos necesarios para incentivar el perfeccionamiento del sistema educativo, usando para ello la retroalimentación, las tutorías y asesorías, asimismo, es el encargado de diseñar las actividades de aprendizaje con una alta interactividad, de esta forma se favorece el aumento en la calidad de los aprendizajes en el ámbito profesional, así como el desarrollo personal de los alumnos (Garrison, 2011).

Es así que, el papel que tiene el docente en la educación es fundamental, no porque éste tenga el papel protagónico del proceso de aprendizaje, más bien porque facilita que se lleve a cabo.

Por tanto, la actividad que realice el docente en educación en línea permite identificar un conjunto de atributos deseables para él, así como las funciones asociadas a su ejercicio. Al respecto, diversos son los autores que han realizado propuestas respecto a las funciones que los docentes en educación en línea deben llevar a cabo. Estas funciones se encuentran estrechamente relacionados con las características de un escenario donde se promueve la colaboración, que se encuentra saturado de información e interrelacionados con otros escenarios (Céspedes, Brenes & Solano, 2010). Asimismo, se deben considerar las características de la población estudiantil a la cual va dirigida la modalidad educativa.

Por tanto, los docentes deben poseer funciones claras y delimitadas para desempeñar su actividad, considerando aspectos pedagógicos y tecnológicos. Además, el docente debe tener en cuenta que los escenarios en línea, donde se llevan a cabo los procesos de enseñanza-aprendizaje, requieren que se promueva un ambiente en el cual se pueda interactuar, comunicarse, compartir y por supuesto, construir conocimiento.

A continuación, se presenta en la Tabla 1, las principales funciones que diversos teóricos reconocen que llevan a cabo los docentes:

Como se aprecia en la tabla 1, existen coincidencias dentro de las propuestas de autores que han abordado la docencia en educación en línea, las cuales inciden en las funciones pedagógica y organizativa, puesto que ambas son fundamentales para que los alumnos desarrollen sus actividades. También le siguen funciones como la tutoría, función social y técnica. Las funciones como evaluación y diseñador de materiales tienen menos frecuentes, posiblemente porque son contempladas en la función pedagógica y organizativa, respectivamente.

Asimismo, otras propuestas teóricas, presentan la función de moderador, como una función más específica y directamente relacionada con el proceso de enseñanza-aprendizaje (ver Tabla 2).

En la Tabla 2 se puede observar específicamente, la función del docente como moderador de las conversaciones que se lleven a cabo entorno a los ejes temáticos del curso, por tanto, resalta la especial relevancia de la interacción constante entre el docente y los alumnos porque crea un sentimiento de motivación, la retroalimentación del docente ayuda a mejorar los aspectos de su aprendizaje, crear una atmósfera y lenguaje propios de una conversación amistosa más cercana a una relación personal (Abarca, 2014).

De acuerdo con Alvarado (2014), se puede identificar que la presencia constante del docente en el entorno de aprendizaje es fundamental porque posibilita que se dé la interacción con los alumnos, así como la sensación de no percibirse abandonados. Dicha presencia no solo es benéfica para el alumno, sino también para el propio docente quien puede estar pendiente de las dudas que los alumnos manifiesten, evaluar tareas, moderar conversaciones y realizar otras funciones.

Esto a su vez, crea la oportunidad que los docentes reflexionen sobre su práctica, asimismo les permita proyectarse en el futuro y así, anticiparse a determinadas situaciones que se puedan presentar.

Por ello se considera que, al realizar el proceso de enseñanza-aprendizaje a partir de la mediación tecnológica, se puede plantear una nueva alternativa de evaluación para el docente, a partir de la creación de instrumentos y técnicas que analizan los grandes conjuntos de datos que tienen registradas. En este sentido, es pertinente desarrollar investigaciones sobre las nuevas formas de evaluación que consideren las funciones que los docentes en esta modalidad realizan (Zapata, 2013). Asimismo, estas técnicas deben sistematizarse para que los análisis de datos e informaciones se lleven a cabo de manera automatizada.

En esta misma línea, Buckingham & Ferguson (2012) sostienen que el proceso de evaluación debe recopilar, medir, analizar y presentar multitud de datos sobre los docentes y su actividad, con la finalidad de, primero entender y posteriormente tratar de optimizar su práctica.

Evaluación de la actividad docente en línea

Al resignificarse el papel del docente en la educación en línea, también se transforma la manera en que se lleva a cabo el seguimiento de su actividad y sus funciones. En este caso, su evaluación no debe concebirse como una estrategia de vigilancia institucional para controlar la actividad de los profesores, más bien se pretende que sea vista como forma de fomentar y favorecer su práctica.

Es así que concebimos a la evaluación de la actividad docente en la educación en línea como una forma de revisión y seguimiento de sus funciones para mejorar la práctica de este. En este sentido, es necesario tener presente que, debido a las características de esta modalidad educativa, el seguimiento de la actividad docente es un proceso más complejo a realizar, respecto a sus funciones en esta modalidad.

Frecuentemente se encuentra en la literatura, el uso de indicadores de evaluación de la docencia tradicional a la docencia en línea, lo cual no favorece ni permite observar objetivamente lo que se realiza en los escenarios de aprendizaje mediados por tecnología, ejemplo de ellos son los autoinformes o el uso de portafolio. En este sentido, se considera necesario, identificar y crear técnicas y procedimientos que se basen en los datos generados en el lugar de trabajo de los docentes, es decir, en los entornos virtuales para abordar las funciones que llevan a cabo (Silva & Figueira, 2012; Al-varado, 2014).

Algunas técnicas de análisis que son comúnmente utilizados para estudiar la función docente en línea surgieron del análisis de episodios cara a cara, de la disponibilidad de medios, recursos, asincronicidad, del registro de interacciones no verbales y múltiples escalas temporales (Suthers, Vatrapu, Joseph & Dwyer, 2006). Esto hace evidente la necesidad de crear técnicas metodológicas que aprovechen las grandes cantidades de información que se producen en los medios digitales sobre los cuales se lleva a cabo la actividad del docente.

Durante los procesos de aprendizaje mediados por tecnología queda el registro de muchas de las acciones asociadas a las actividades solicitadas; estos datos, normalmente, son desaprovechados por autoridades y docentes, los cuales podrían ser usados para incentivar una evaluación formativa. El problema estriba en que el volumen de los datos acumulados en plataforma es difícil de tratar con técnicas estándar, por lo que los docentes y las autoridades se ven limitados debido a la falta de experiencia para el tratamiento de los datos y por ello se anula la posibilidad del seguimiento o la toma de decisiones en el proceso educativo proveniente de los registros acumulados (Ellis & Mansmann, 2010).

En este sentido se requieren de técnicas y procedimientos que permitan el análisis de grandes cantidades de datos, así como mejores y más efectivas formas para comprender y analizarlos, al tiempo que permiten actuar sobre sus hallazgos de inmediato, en tiempo real respecto a la actividad del docente en educación en línea. Gašević, Dawson & Siemens (2015) reportan avances relevantes en este tema, aunque alertan que existe una desconexión entre las investigaciones y las aplicaciones formativas en el aula.

Visualización de indicadores formativos de actividad docente en línea

Los bancos de datos son el registro de la actividad docente pero, generalmente son pasadas por alto, puesto que a simple vista no ofrecen información que pueda ser comprendida inmediatamente o por todos los actores implicados. Al respecto de este tema el Informe Horizon 2013 sintetiza estas fuentes en datos de interacción (por ejemplo los foros), datos de navegación, datos relacionales (técnicas de análisis de redes sociales) y datos de contexto (Johnson et al., 2013), y en el 2017 apuntan sobre la necesidad de cambio del rol docente (Becker, 2017).

Asimismo, autores como Persico, Pozzi & Sartri (2009), Papamitsiou & Economides, (2014); Hernández, Martínez, Pardo, Muñoz & Rodríguez, (2018) han reportado experiencias de investigación en entornos de aprendizaje mediados por tecnología y mostrado que los sistemas de cómputo ofrecen ventajas para la investigación y la gestión de dichos entornos al registrar los eventos y las acciones de los diferentes agentes que participan en él, a fin de monitorear, evaluar y comprender los procesos de aprendizaje en la educación en línea.

Sin embargo, esto apoya las tesis mencionadas por Gašević, Dawson & Siemens (2015), respecto a la relevancia de la creación de métodos de análisis para identificar patrones acerca de la actividad de los participantes, que no solo ayuden a evaluar y comprender la dinámica del funcionamiento de propuestas de educación en línea (Hrastinski, 2008) sino también, a dar seguimiento y planificar diversas estrategias de mejora a las mismas.

Ejemplo de estas técnicas y métodos para analizar grandes conjuntos de datos de dicho contexto es la analítica del aprendizaje y analítica académica (Gómez, García & Therón, 2014), que se encuentre orientada al seguimiento de docentes y alumnos en línea, en los que es posible atender a los esquemas normativos de su desempeño, respecto al análisis de los procesos de enseñanza y aprendizaje, en tanto que involucran el uso de datos previamente registrados y posibilitan la identificación de patrones, así como la creación de modelos predictivos.

A partir del análisis de los datos registrados en los escenarios académicos en línea, se pueden identificar actividades como la interacción que establece el docente con cada uno de los alumnos, el tiempo que tarda en evaluar las tareas, así como el tiempo que pasa en estos escenarios, indicador fundamental porque hace probable que se lleven a cabo sus demás funciones.

La adopción de estas técnicas posibilita a las instituciones educativas desarrollar la capacidad de actuar oportunamente con base en los datos y, en conjunto de metodologías como la analítica visual. En este sentido, la visualización de datos y la analítica correspondiente es un campo emergente y su puesta en práctica permite hacer uso de interfaces interactivas visualmente atractivas y que estimulan el acercamiento analítico (Thomas & Cook, 2006). De esta manera se combina la analítica de datos con las representaciones visuales y algunas técnicas de interacción con los contenidos, lo cual posibilita al usuario acceder a un recurso que simplifica grandes cantidades de información (Gómez, García & Therón, 2014).

La analítica visual integra tanto las capacidades analíticas de la computadora como las capacidades del individuo. Esto posibilita hacer descubrimientos novedosos y facultar a las personas para que tomen el control del proceso de análisis. Así, esta técnica permite observar sobre la información oculta e inesperada, que pueden conducir a una innovación beneficiosa y rentable (Ellis & Mansmann, 2010).

La analítica visual hace uso de técnicas más específicas como la línea de tiempo en espiral, representaciones de nubes de palabras, mapas de calor, el análisis de redes sociales, el mapeo curricular y la personalización, adaptación, predicción e intervención de los diseños educativos en tiempos breves (Siemens, 2010; Gómez, García & Therón, 2014); ofrecen información clara y comprensible acerca de las interacciones entre alumnos y docentes, la utilización de las herramientas dispuestas en el entorno virtual de aprendizaje, la presencia temporal, el abandono y deserción escolar, entre muchos elementos (Johnson et al., 2013).

Si bien es cierto que todos los elementos propuestos por Johnson et al., son atractivos debido a su amplia gama de uso de los datos generados en un sistema en línea, estos procedimientos y cálculos son poco útiles si no son utilizados como una forma de retroalimentación a los actores inmersos en el contexto analizado, es decir, aunque la institución desarrolle metodologías de evaluación calcule indicadores de actividad de la docencia en línea, la efectividad de estos comienza con la toma de decisiones y la retroalimentación directa al docente sobre su ejercicio en la institución, esto es un ejercicio formativo invaluable para los docentes.

En este sentido, Gómez, Garcia & Therón (2014) sostienen que los avances en la creación de técnicas y procedimientos de representación visual de datos, se encuentran estrechamente relacionados con la complejidad de los datos que se utilizan. Es así que las representaciones visuales son utilizadas para comprender sucesos que no son observables a simple vista, en este caso los registros generados por las acciones de los usuarios ya que su forma abstracta se transforma de tal manera que los encargados de las instituciones, así como los alumnos y docentes puedan observar y entender lo que se les comunica en dicha representación.

Ejemplo de ello son los trabajos de Heer & Agrawala (2008); Silva & Figueira (2012); Muñoz, Delgado, Rubio, Grilo & Basto (2017); Liu et al., (2018) acerca de la representación gráfica sobre las interacciones entre docentes con sus alumnos en foros virtuales a partir del análisis de redes sociales y las relaciones establecidas.

En este sentido y para este trabajo, usamos como base tecnológica la visualización de redes para el indicador de interacción dialógica docente-alumno, técnica proveniente de la sociometría y en particular del análisis de las redes sociales; la cual se enfoca en el análisis de la estructura de grupos humanos, organizaciones y cualquier otro tipo de sistema que pueda ser representado como un agrupamiento cohesionado por conexiones de algún tipo (Han, 2015).

Debido a que el análisis de redes enfatiza el reconocimiento de patrones estructurales se considera una técnica de visualización de datos, porque simplifica la comprensión de los fenómenos analizados al contar como producto un grafo que condensa una representación topológica de algún tipo de patrón previamente definido.

Considerando estos argumentos, el objetivo del presente trabajo es describir a partir de las técnicas de visualización los indicadores de actividad docente en línea para contribuir con una evaluación formativa, para cumplir con la meta se describen dos indicadores de actividad docente: tiempo estimado de trabajo plataforma e interacción dialógica en plataforma docente-alumno. Esto con respecto a los registros observados de una población de docentes en una licenciatura en línea que realizan sus actividades en una plataforma institucional.

Los indicadores provienen de una propuesta de evaluación formativa para la actividad docente en la educación en línea. Forman parte un grupo de cinco indicadores, creados ad hoc, a partir de la selección de datos como, tiempo, identificación de participantes, grupos a los que pertenecen, quien recibe mensaje y quien escribe, tipo de actividades que realiza dentro del entorno. A partir de la selección y combinación de ciertas variables, es como se pueden calcular dichos indicadores.

Estos indicadores, parten de los datos registrados en el entorno en línea donde los docentes realizan sus principales funciones. Dichos datos son analizados a partir de la analítica de aprendizaje, pero se considera fundamental que el docente pueda acceder a los resultados de dicho análisis, por lo que las técnicas de visualización permiten representar los resultados para que sean comprendidos de una manera más sencilla, de esta manera el docente obtiene una evaluación formativa, que no busca premiar o castigar, sino brindar elementos al docente que les permita reflexionar y mejorar sus actividades.

Materiales y métodos

Participantes

Previa autorización institucional se accedió a 18,592,774 registros de actividad en línea de un semestre escolar de una licenciatura en línea que refieren a la participación de 3,556 alumnos y 159 docentes en 756 aulas (distribuidas en nueve semestres), 621 de tipo regular para impartir las asignaturas de la carrera y 135 destinadas a la titulación.

La licenciatura en línea se inscribe en una modalidad escolarizada en línea, es decir, todas sus actividades se encuentran mediada por una plataforma educativa y esta exige del alumno ritmo y entregas periódicas distribuidas a lo largo del intervalo escolar.

En el presente trabajo no hay un muestreo en tanto se usó la totalidad de registros generados en la plataforma por la población participante, cuando se realizó el cálculo de cada indicador se seleccionaron las variables de análisis. Es decir, mientras que para el primer indicador (tiempo) se utilizaron los tiempos registrados entre una y otra actividad; para el segundo indicador se utilizaron los registros respecto a los mensajes entre alumnos y docentes.

Diseño del estudio

El diseño es longitudinal y cubre 18 semanas de trabajo, correspondiente a la duración del semestre escolar. La primera semana corresponde a la planeación académica, las 16 siguientes son del ciclo escolar y finalmente una semana de cierre de actividades.

Asimismo, tiene un alcance exploratorio en el que se exponen visualizaciones a partir de dos indicadores de actividad docente, estos índices se elaboraron a partir de una amplia búsqueda documental sobre la calidad de la educación en línea.

Instrumentos

Las dos visualizaciones que se describen aquí, parten de dos indicadores que forman parte del instrumento "Lista de indicadores de actividad docente" creados a partir de la delimitación conceptual de 1188 documentos sobre calidad educativa en línea de 2006 al 2016 en la base de datos Web of Science, lo que le aporta validez de contenido y constructo; finalmente los indicadores se elaboran a partir de los registros levantados, en automático, por los servidores de la comunidad de análisis, por lo que también cuenta con validez ecológica.

Por tanto, se utilizaron de dicha lista los siguientesindicadores: 1. el Índice de tiempo estimado de trabajo en plataforma, el cual se calculó mediante las acciones del docente en la plataforma, considerando como tiempo de tolerancia 30 minutos entre una acción y otra. 2. El Índice de interacción dialógica docente-alumno, el cual hace referencia al porcentaje de mensajes recibidos y el porcentaje de mensajes emitidos por el docente en un escenario dialógico como pueden ser los foros de la plataforma, aunque no se reducen a estos.

Para realizar los cálculos, se utilizó la técnica de analítica del aprendizaje, es decir, la medición, recopilación, análisis y presentación de datos sobre los actores, sus contextos y las interacciones que allí se generan.

Los registros de actividad se almacenaban automáticamente en MySQL, un sistema de gestión de base de datos relacional de código abierto, que registraba cada interacción de los participantes en el ambiente de aprendizaje (Moodle).

Los registros de actividad fueron analizados inicialmente por medio de sentencias SQL (Structured Query Language o Lenguaje de Consulta Estructurada), posteriormente en una hoja de cálculo de código abierto (Calc de OpenOffice) y un programa de análisis de redes sociales (Touchgrahp).

Consentimiento informado

El consentimiento se obtuvo en dos niveles.

La aceptación de las condiciones de uso de la plataforma educativa por parte de los participantes, las condiciones de uso incluían (entre otros elementos) la notificación que por el diseño propio del software toda interacción en el programa queda registrada y el consentimiento de que estos datos son susceptibles de análisis para la investigación y mejora educativa.

Un segundo eje de consentimiento fue la autorización de los responsables académico-administrativos de la licenciatura en línea para el acceso, uso, análisis y publicación de los resultados siempre y cuando se omitieran cualquier tipo de alusión a la identidad de los participantes.

Procedimiento

Para realizar la implementación del seguimiento formativo de la actividad se usaron dos técnicas de visualización para dos indicadores de actividad, los cuales son: índice de tiempo estimado de trabajo en plataforma e índice de interacción dialógica docente-alumno. Estos indicadores forman parte de una propuesta general de cuatro indicadores en los que también se encuentran índice de tiempo transcurrido entre vencimiento de las actividades de aprendizaje y sus retroalimentaciones e índice de actividades retroalimentadas (desde un corte arbitrario como semana, mes o semestre).

Para cumplir con la visualización de los indicadores la tarea de análisis de dividió en tres etapas que a continuación se detallan.

Etapa 1. Selección de registros.

Los registros fueron extraídos con sentencias SQL de MySQL a una hoja de cálculo, en la cual se seleccionaron los registros necesarios para el desarrollo de los indicadores de tiempo en plataforma e interacción dialógica docente-alumno.

Para el primer indicador se consideraron, registros sobre identificador del docente, fecha e identificador de la asignatura. Para el segundo indicador se consideraron los registros correspondientes al identificador del docente, identificador del módulo, identificador del alumno y fecha.

Etapa 2. Cálculo de indicadores.

Indicador visualización de tiempo en plataforma.

Para realizar la visualización de este indicador sólo se consideraron los datos de 146 docentes de los 159 docentes en línea de la licenciatura, puesto que en 13 de ellos se presentaron inconsistencias en los registros de la plataforma. Adicionalmente, para el cálculo, se tomó en cuenta el número de horas contratadas que tiene cada docente, asimismo, se consideró como un tiempo de tolerancia de 30 minutos entre una acción y otra (entre un clic y otro) para cada profesor. Es necesario precisar que el tiempo se consideró por docente y no por cada asignatura que tiene.

Indicador de visualización de interacción dialógica docente-alumno.

Para la creación de las representaciones topológicas del índice de interacción dialógica docente-alumno se tomó como fuente documental el total de usuarios registrados (alumnos y docentes) en la plataforma (3,734) cruzados con las tablas de entradas de foros en la plataforma.

Etapa 3. Visualización de los indicadores.

En esta etapa, con los datos obtenidos se procedió a realizar las visualizaciones de los indicadores, para ello, se usaron una hoja de cálculo y la herramienta de visualización de redes sociales.

Resultados

A continuación se presentan los resultados y las visualizaciones de los indicadores "tiempo estimado de trabajo en plataforma" e "índice de interacción dialógica docente-alumno", para ello se utilizaron respectivamente las técnicas de vizualización: mapas de calor y representación de redes sociales.

Visualización de indicador "tiempo estimado de trabajo en plataforma".

Se encontró que los profesores pueden tener a su cargo entre el mínimo de una asignatura y un máximo de 9, aunque la media de asignaturas es de 4.77; esto quiere decir que, el mínimo de carga horaria es de 4 horas y se puede encontrar hasta un máximo de 56 horas curriculares.

Se calculó de manera individual el tiempo que cada uno de los docentes dedicó en el entorno virtual, durante la semana respecto a su tiempo contratado. Asimismo, se calculó la media de tiempo que todos los docentes dedicaron durante cada una de las semanas de trabajo, así como el porcentaje general del promedio de tiempo a lo largo del semestre, este último fue de 38%.

A partir de estos datos se realizó la visualización de los porcentajes de tiempo obtenido de manera individual como general de los docentes a la cual se le denominó mapa de calor (ver Figura 1).

La Figura 1 representa los valores calculados del indicador de tiempo en el entorno virtual por parte de los docentes. En el primer apartado se indican los períodos que conforman el semestre de trabajo. Estos corresponden a las semanas de a) intersemestre que se conforma de la primera semana de trabajo y la última semana del registro semestral; b) semestre activo, compuesto por dieciséis semanas y; c) el período de exámenes que comprende dos semanas.

Debajo de esta fila se puede observar la media de tiempo general por semana, es decir, el promedio de porcentaje de tiempo de todos los profesores en plataforma durante la semana. Del lado derecho se puede apreciar la media semestral de tiempo por profesor, ésta se obtuvo a partir de las medias de tiempo por semana.

Asimismo, los porcentajes de tiempo en el entorno virtual estuvieron en una escala de 0% a 100%, por lo que éste fue dividido en 4 rangos, que van de 0-24% llamado "muy bajo", 25-49% con el nombre "abajo de los esperado", 50-74% asignado como "bueno" y 75-100% con el nombre de "muy bueno". En esa misma columna se muestra el valor de la media semestral de tiempo, lo cual posibilita al usuario identificar su posición con respecto a los demás docentes, cabe aclarar que el docente conoce su posición frente al resto, pero no cuenta con elementos para saber a quién pertenecen el resto de las puntuaciones presentadas. Este hecho posibilita que el profesor tome acciones para mejorar su indicador de tiempo, puesto que se considera un elemento fundamental para que lleve a cabo sus funciones.

El posicionamiento de 50 puntos porcentuales como una puntuación considerada como un criterio aceptable de trabajo en la plataforma se trató de un punto de corte arbitrario, se parte del principio de que no todas las actividades de la docencia en línea se hacen directamente en la plataforma, como leer los escritos y tomar notas sobre ellos. Así que, desde el punto de vista de los tomadores de decisiones académico-administrativas e investigadores, pasar la mitad del tiempo contratado en la plataforma y la otra mitad en actividades académicas desconectadas pareciera un criterio aceptable de la distribución de las actividades académicas frente al tiempo contratado para su ejercicio de docencia en línea.

Debido a que se trata del uso de una técnica visual, se utilizan diferentes tonalidades que tienen la intención de mostrar al docente en qué rango de porcentaje de tiempo se encuentra, a corto y largo plazo, es decir al final de la semana y a la culminación del semestre.

En este caso, el tono rojo implica porcentajes de tiempo muy bajos; el color amarillo muestra porcentajes cercanos a la media de tiempo general y representa el rango debajo de lo esperado, el color verde representa el rango de porcentaje designado como bueno; en tanto que el color verde oscuro refleja el rango de porcentaje muy bueno. En esta figura también se muestran casos de profesores que sobrepasaron la escala del 100%, por lo que ese rango se designó como "arriba de la expectativa" y fue representado con una tonalidad de verde claro. Cada color tiene diferentes tonalidades, entre más claros, implica que se encuentran más cerca del próximo rango.

También, se puede observar que, en la mayoría de las semanas se presentó un muy bajo porcentaje de tiempo en el entorno virtual donde llevan a cabo su actividad. Existen algunos casos donde los docentes llegaron a tener un porcentaje orientado al criterio ("bueno") respecto a su permanencia durante la semana, pero esto solo se presentó durante el período intersemestral, lo cual habría sido deseable durante el semestre de trabajo con alumnos.

Dentro del segundo rango se encontraron 58 docentes de los cuales solo 17 sobrepasaron la media general de tiempo (38%), y solo dos docentes tuvieron exactamente en esta media.

El mapa de calor nos permite apreciar que con mayor frecuencia los porcentajes de tiempo en la plataforma son bajos, aunque también se presentaron un mayor número de casos en los que los docentes tuvieron mayor presencia en plataforma a lo largo de la semana, incluso durante el semestre.

En el tercer rango se encontraron 19 docentes con un porcentaje de tiempo en el escenario virtual y en el cuarto rango solo se encontraron 4 docentes. Se pueden apreciar que el color verde (rango muy bueno) tiene mayor predominio durante las semanas del semestre.

Un aspecto particular que se encontró refiere a que 4 docentes sobresalieron de estos rangos, los cuales llegaron a tener 113%, 134%, 267% y 473%. Por lo que se conformó un quinto rango (arriba de la expectativa).

Dentro de los resultados se puede observar que las medias totales por semana, tuvieron un porcentaje de tiempo en la plataforma bajo, solo en la semana 3 se presentó un porcentaje alto. Por tanto, la evaluación total de la presencia del docente en el escenario virtual en esta licenciatura se considera como baja.

Visualización de indicador "índice de interacción dialógica docente-alumno".

Se cruzaron los registros en plataforma en un análisis de redes con los 63,876 mensajes en 2,521 foros de la plataforma de 567 aulas, con 113 mensajes en promedio.

Se obtuvo como resultado un grafo con 3,734 nodos (usuarios) de los cuales 3,332 se encuentran conectados por 28054 aristas (ver Figura 2).

En la Figura 2 se aprecia en color café los 159 nodos de los docentes, 3,556 nodos azules del alumnado y 19 nodos verdes del personal administrativo. 402 nodos se encuentran desconectados y mientras los restantes 3,332 nodos cuentan con una conectividad de doce saltos entre los nodos más distantes de la red, es decir hay 12 conexiones entre las personas más lejanas de la red de discusión en los foros de la plataforma en línea; finalmente observamos un promedio de 19 mensajes de salida por nodo y 17 de entrada.

Un elemento que destaca es que la red se encuentra densamente poblada en la parte central, por ejemplo al graficar la red en tres grados de separación (de las personas centrales y hasta tres conexiones dialógicas) encontramos 2,103 nodos (63% de los nodos) y 16,438 aristas (80 % de las relaciones), con cuatro grados de separación se encontraron 2,863 (85 % nodos) y 20,297 aristas (99 % de las relaciones); como lo hemos mencionado el resto de los nodos y conexiones se distribuyen de cinco grados de separación y hasta doce, recordando que el 11 % de los nodos no participan en las discusiones en línea.

En lo que respecta a la distribución de las discusiones en foros en línea por profesor, encontramos que 142 perfiles docentes válidos que, en promedio contaron con 71 mensajes emitidos, con un mínimo de un mensaje y un máximo de 415, la moda fue de 31 mensajes y la mediana de 51 mensajes, mientras que la desviación estándar fue de 71 mensajes. Por otro lado, en los mensajes recibidos observamos que existe un promedio de 134 mensajes por profesor, un mínimo de uno y el máximo de 1040 mensajes, la moda fue de 28 mensajes, la mediana de 91 mensajes y la desviación estándar de 148.

En el contexto de la creación de indicadores para la docencia en línea, la visualización de la red sirve como un parámetro comparativo del aporte del docente y su grupo a la discusión global semestral, en el que se puede presentar una gráfica de red social con diversos grados de conectividad, por ejemplo, para el caso del docente con el identificador 100 podemos apreciar que su análisis de red egocéntrica, observamos que cuenta con un vínculo dialógico con 28 alumnos (ver Figura 3).

Se trata de un docente que tiene una conexión dialógica media, se encuentra en la parte central de la red y si visualizamos la red egocéntrica del docente en segundo grado apreciaremos que mantiene relación con 28 docentes y 314 alumnos, una media de 11 alumnos por docente (ver Figura 4).

Las visualizaciones propuestas tienen la finalidad de mostrar la intensidad de la discusión en los foros y tener un parámetro de comparación con lo que sucede con el resto de las aulas. Si bien es cierto que los ejemplos presentados se restringen a una sola variable, se pueden observar otras variables como tipo de módulo, claustro, modalidad, etcétera; así como añadir colores que ayuden al contraste entre variables y faciliten la comparación del docente con otros docentes.

Es así que este indicador, posibilita visualizar la interacción dialógica establecido entre los docentes y sus alumnos, lo cual muestra solo una de las funciones que realiza el docente en línea.

Discusión y conclusiones

La transformación del rol de los docentes en un entorno en línea, ha planteado diversas preguntas respecto a sus funciones, delimitaciones y cómo pueden ser evaluadas para ofrecer a este actor, alternativas de mejora. Es así que, no basta con brindar una serie de valores o datos que no son fáciles de comprender, como generalmente lo hacen las evaluaciones, por lo que este tipo de analítica desarrolla visualizaciones que permitan representar cantidades complejas de datos como lo señalan Vieira, Parsons & Byrd (2018).

En este sentido, el mapa de calor presentado y los mapas de red, permiten observar de manera objetiva, un factor fundamental para llevar a cabo el desarrollo de las funciones del docente de educación en línea, es decir cuánto tiempo pasa en el entorno virtual que, es su área de trabajo. De esta manera, esta técnica ayuda a la representación visual de la información que tiene como fuente documental los registros de la plataforma, que podrían considerarse como abstracto y sin valor alguno. En este caso, las potencialidades de la analítica académica permiten usar la información para ser analizada y utilizada en el desarrollo de mejoras sistémicas respecto al segumiento y evaluación de los docentes, así como en la toma de decisiones para regular los sistemas educativos.

Asimismo, el uso de esta información requiere ser presentada de manera tal que sea comprensible para los usuarios, en este caso los docentes, por lo que, bajo este tipo de visualizaciones (que pueden ser calculadas en tiempo real) es posible brindarle al docente un elemento de referencia sobre su ejecución; lo cual se considera que podrían ayudar a la autorregulación de la ejecución docente y en un futuro a la mejora del sistema educativo completo.

Como se encontró en la literatura, las técnicas de visualización permiten representar los datos principales sobre el aspecto de interés. En el caso de la educación en línea, diversos trabajos, como los desarrollados por Heer & Agrawala (2008) sostienen que la analítica visual soporta la interacción social, como la interacción que se da en los foros virtuales, de esta manera se puede observar las relaciones que se establecen entre docente-alumno, lo cual posteriormente permite tomar decisiones, respecto a los diseños de las propias interacciones, que forman parte de su función pedagógica y social, los cuales contribuyen al aprendizaje de los alumnos.

En el mismo sentido Duval, Verbert, Klerkx, Wolpers, Pardo, Govaerts & Parra (2015) indican que el uso de las técnicas de visualización brindan información relevante a los docentes y estudiantes para comprender su progreso en los ambientes en línea. Y El-Assady, Sevastjanova, Sperrle, Keim & Collins (2018) dan un paso más, ya que indican que es posible usar el modelamiento automático de las visualizaciones para facilitar aún más la toma de decisiones por parte de los actores involucrados.

Esto indica que la visualización de estos datos de manera amena posibilita dar sentido a la actividad de los actores en una plataforma, le posibilita al docente realizar procesos de meta-reflexión, así como brindarle a la institución un panorama del sistema en línea.

Además, el cálculo de los demás indicadores mencionados en este trabajo, podrían ser analizados de manera correlacional, con la finalidad de identificar la cercanía que tienen, si realmente, la presencia del docente en su escenario de trabajo tiene relación con el grado de interacción dialógica que establece con los alumnos, con el tiempo que tarda en retroalimentar las tareas de sus alumnos, con el tiempo que pasa para responder mensajes, entre otros.

En este trabajo, si bien es cierto que se encontraron porcentajes de tiempo de permanencia en la plataforma bajos, es importante resaltar que no todo el trabajo del docente se atiende precisamente en este escenario, puesto que también hace uso de otras herramientas, aunque como se mencionó en la introducción, su presencia desencadena aspectos como la interacción, motivación y comunicación en los alumnos.

Por otra parte, es importante considerar la dificultad para encontrar en la literatura información acerca de la medición del tiempo que pasa el docente en el entorno virtual y, en algunos casos llegan a utilizar indicadores que provienen del sistema presencial, cuestión que no se adapta a las características de la educación en línea. Así, nosotros consideramos que es un aspecto fundamental identificar este indicador, pues da claridad, respecto al tiempo que dedica en su área de trabajo, y por consiguiente poder relacionarlo con otras funciones que realiza, por ejemplo, la interacción dialógica, el tiempo que tarda en retroalimentar las tareas de sus alumnos, entre otras funciones.

Es importante tener presente que, su presencia en la plataforma, hace probable el cumplimento de las tareas del docente, lo cual es un elemento que repercute en el desempeño de los alumnos y el éxito que tenga.

De esta manera, recordemos que las técnicas son un auxiliar en la representación visual de los indicadores que han de ser delimitados según las funciones del docente en línea y las fuentes documentales disponibles en la base de datos de la plataforma.

El uso de técnicas de visualización para representar a los indicadores, brinda una forma de dar retroalimentación a los usuarios, específicamente a los docentes acerca de su actividad, esto le permitirá conocer el nivel de cumplimiento de sus principales funciones, identificar las fortalezas y áreas de oportunidad, planificar estrategias de mejoramiento acordes con sus necesidades.

Para el caso de los indicadores de tiempo que tarda el docente en retroalimentar las actividades, así como el número de actividades que retroalimenta al término de un periodo no se presentan en el contenido de este trabajo, pero las técnicas que se usan para su presentación son los mapas de calor que quedaron ilustradas con el indicador de tiempo de trabajo en plataforma.

Finalmente, consideramos que en la educación en línea la actividad docente, ésta tiene un papel fundamental para promover el aprendizaje de los alumnos, por tanto, se puede decir que la intervención del docente es esencial, tanto en actividades individuales como aquellas que se desarrollan en equipo. La actividad del docente se resume en compromiso y disciplina, pues su ingreso al curso debe ser constante y las retroalimentaciones entregadas a los alumnos de acuerdo a las políticas de tiempos de respuesta de la institución, por esta razón, consideramos que nuestros últimos indicadores, valen la pena tratarlos en un apartado específico que sobre pasa el objetivo de este escrito.

Agradecimiento

Documento elaborado con los datos obtenidos con el financiamiento del Programa de Apoyo a Proyectos de Investigación e Innovación Tecnológica, proyecto IA302716 (2016-2017) de la Universidad Nacional Autónoma de México.

Referencias bibliográficas

Abarca, Y. A. (2014). La interacción tutor-estudiante en ámbitos de educación a distancia. Revista de Lenguas Modernas, (20).

Abdous, M. H. (2009). E-Learning quality assurance: a process-oriented lifecycle model. Quality Assurance in Education, 17(3), 281-295. https://doi. org/10.1108/09684880910970678

Adell, J. & Sales, A. (1999). Una experiencia de educación online: curso de formación de formadores virtuales. Comunicación presentada a EDUTEC, 99, 14-17.

Alvarado G, M. A. (2014). Retroalimentación en educación en línea: una estrategia para la construcción del conocimiento. RIED. Revista Iberoamericana de Educación a Distancia, 17(2), 59-73. https://doi.org/10.5944/ried.17.2.12678

Becker, S. A., Cummins, M., Davis, A., Freeman, A., Hall, C. G., & Ananthanarayanan, V. (2017). NMC horizon report: 2017 higher education edition (pp. 1-60). The New Media Consortium.

Berge, Z. & Collins, M. (1996). Facilitating Interaction in Computer Mediated Online Courses. FSU/AECT Distance Education Conference, Tallahasee FL.

Buckingham, S., & Ferguson, R. (2012). Social Learning Analytics. Educational Technology and Society, 15 (3), 3-26.

Cabero, A, Llorente, C, & Morales L. (2018). Evaluación del desempeño docente en la formación virtual: ideas para la configuración de un modelo. RIED. Revista Iberoamericana de Educación a Distancia, 21(1), 261-279. https://doi. org/10.5944/ried.21.1.17206

Campos, J. (2009). Indicadores de calidad en educación virtual. Revista Innovaciones Educativas, 6 (12), 27-36. https://doi.org/10.22458/ie.v11i16.550

Céspedes, C. J., Brenes M, O. L., & Solano C, A. (2010). Competencias del docente de educación superior en línea. Revista Electrónica Actualidades Investigativas en Educación, 10(3).

Correa G, J, M. (2004, 15 de julio). ¿Calidad educativa on line?: análisis de la calidad de la educación universitaria basada en Internet. Pixel-Bit. Revista de Medios y Educación, (24),11-42.

De la Garza, L. A., Vinuesa, T. S., & Zermeño, M. G. G. (2015). Indicadores de calidad pedagógica para el diseño de un curso en línea masivo y abierto de actualización docente. RUSC. Universities and Knowledge Society Journal, 12(1), 104-118.

Duval, E., Verbert, K., Klerkx, J., Wolpers, M., Pardo, A., Govaerts, S., & Parra, D. (2015, March). VISLA: visual aspects of learning analytics. In Proceedings of the Fifth International Conference on Learning Analytics and Knowledge (pp. 394-395). https://doi.org/10.1145/2723576.2723643

El-Assady, M., Sevastjanova, R., Sperrle, F., Keim, D., & Collins, C. (2018). Progressive learning of topic modeling parameters: a visual analytics framework. IEEE transactions on visualization and computer graphics, 24(1), 382-391. https://doi.org/10.1109/TVCG.2017.2745080

Ellis, G., & Mansmann, F. (2010). Mastering the information age solving problems with visual analytics. In Eurographics Vol. 2, p. 5.

Fernández, L, N., & Coppola, N. (2016). La Evaluación de la Docencia Universitaria desde un Abordaje Institucional. Revista Iberoamericana de Evaluación Educativa, 3(1e).

Garrison D. (2011). E-learning in the 21st century. A framework for research and practice. Canada; Routledge. https://doi.org/10.4324/9780203838761

Gašević, D., Dawson, S., & Siemens, G. (2015). Let’s not forget: Learning analytics are about learning. TechTrends, 59(1), 64-71.

Gisbert, M. (2002). El nuevo rol del profesor en entornos tecnológicos. En Acción Pedagógica, Vol. 11, 1, 48-59

Gómez, A. D. A, García. P. F. J, & Therón, R. (2014). "Analítica visual en e-learning".

El profesional de la información, mayo-junio, v. 23, n. 3, pp. 236-245.

Goodwin, A. L. (2010) Globalization and the preparation of quality teachers: rethinking knowledge domains for teaching, Teaching Education, 21: 1, 19-32. https://doi.org/10.1080/10476210903466901

Guitert, M., Ornellas, A., Rodríguez, G., Pérez M., Romero, M., & Romeu, T. (2015). El docente en línea: Aprender colaborando en la red. Editorial UOC.

Han, Y. H. (2015). Social Network Analysis.

Heer, J., & Agrawala, M. (2008). Design considerations for collaborative visual analytics. Information visualization, 7(1), 49-62. https://doi.org/10.1057/palgrave.ivs.9500167

Hernández, L D., Martinez, M R., Pardo, A., Muñoz, C. J. A., & Rodríguez, T. M. J. (2018). Analytics for learning design: A layered framework and tools. British Journal of Educational Technology. https://doi.org/10.1111/bjet.12645

Hrastinski, S. (2008). Asynchronous and synchronous e-learning. Educause quarterly, 31(4), 51-55.

Johnson, L., Adams B, S., Cummins, M., Estrada, V., Freeman, A. & Ludgate, H. (2013). NMC Horizon Report: Edición sobre Educación Superior 2013. Austin, Texas: The New Media Consortium.

Jonassen, D. (2000) El Diseño de entornos constructivistas de aprendizaje En: Reigeluth, Ch. (Eds) Diseño de la instrucción Teorías y modelos. Un paradigma de la teoría de la instrucción. Parte I. 225-249 Madrid: Aula XXI Santillana.

Jung, I. (2011). The dimensions of e-learning quality: from the learner’s perspective. Educational Technology Research and Development, 59(4), 445-464. https://doi.org/10.1007/s11423-010-9171-4

Kebritchi, M. (2014). Preferred teaching methods in online courses: Learners’ views. Journal of Online Learning and Teaching, 10(3), 468.

Liu, Z., Kang, L., Domanska, M., Liu, S., Sun, J., & Fang, C. (2018). Social Network Characteristics of Learners in a Course Forum and Their Relationship to Learning Outcomes.

Llorente C. M.C. (2006). El tutor e-learning: aspectos a tener en cuenta. Revista Electrónica de Tecnología educativa. (6).

Martínez C. E., Cegarra N. J. G., & Cepeda C. G. (2015). An application of the performance-evaluation model for e-learning quality in higher education. Total Quality Management & Business Excellence, 26(5-6), 632-647. https://doi.org/10.1080/14783363.2013.867607

Mejía, J. F., & López, D. (2016). Modelo de Calidad de E-learning para Instituciones de Educación Superior en Colombia. Formación universitaria, 9(2), 59-72. https://doi.org/10.4067/S0718-50062016000200007

Meléndez, A., Román, M., Pérez, M., & Maldonado, J. J. (2017). Calidad en Cursos Abiertos Masivos y en Línea. Revisión de literatura del 2012-2016. Actas de la Jornada de MOOCs en español en EMOOCs.

Mengual A, Roig-V. & Catalá, C. (2015). Validación del Cuestionario de evaluación de la calidad de cursos virtuales adaptado a MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18(2), 145-169.

Muñoz, A., Delgado, R., Rubio, E., Grilo, C., & Basto, F. V. (2017). Forum participation plugin for Moodle: Development and Discussion. Procedia Computer Science, 121, 982-989. https://doi.org/10.1016/j.procs.2017.11.127

Papamitsiou, Z., & Economides, A. A. (2014). Learning analytics and educational data mining in practice: A systematic literature review of empirical evidence. Journal of Educational Technology & Society, 17(4).

Paulsen, M. (Ed.) (1992). From Bulletin boards to electronic universities: distance education, computer-mediated communication, and online education. University Park, PA: The American Center for the Study of Distance Education.

Persico, D., Pozzi, F., & Sarti, L. (2009). Design patterns for monitoring and evaluating CSCL processes. Computers in Human Behavior, 25(5), 1020-1027. https://doi.org/10.1016/j.chb.2009.01.003

Quiroz S. J. (2011). Diseño y moderación en entornos virtuales de aprendizaje (EVA). Ed. UOC: Barcelona.

Rama, V. C. (2007). La despresencialización de la educación superior en América Latina: ¿tema de calidad de cobertura, de internacionalización o de financiamiento? Revista de Innovación, Año7, número 7. México: Universidad de Guadalajara.

Reyes, G, P. & Rueda, B. (2016). La Evaluación de la Docencia Universitaria y No Universitaria: Retos y Perspectivas. Revista Iberoamericana de Evaluación Educativa, 3(1e).

Rice, M., Pace, J., & Mellard, D. (2017). Revising the iN-ACOL Quality Standards for Online Education: Considerations for Students with Disabilities. In Society for Information Technology & Teacher Education International Conference (pp. 700-708). Association for the Advancement of Computing in Education (AACE).

Rubio, M. J. (2003). Enfoques y modelos de evaluación del e- learning. Revista Electrónica de Investigación y Evaluación Educativa,9(2).

Ryan, M. & Hall, L. (2001) Elearning, Teaching and Training: a first look at principles, issues and implications. World Conference on Educational Multimedia, Hypermedia and Telecommunications, 2001(1), pp. 1603-1609.

Salmon, G. (2000). E-moderating. The key to teaching and learning online. Routledge. USA.

Siemens, G. (2010). Conociendo el conocimiento. Editores: Emilio Quintana, David Vidal, Lola Torres, Victoria A. Castrillejo, Fernando Santamaría y Néstor Alonso.

Silva, A., & Figueira, A. (2012, July). Visual analysis of online interactions through social network patterns. In Advanced Learning Technologies (ICALT), 2012 IEEE 12th International Conference on (pp. 639-641). https://doi. org/10.1109/ICALT.2012.57

Stracke, C. M. (2017). The Quality of MOOCs: How to improve the design of open education and online courses for learners?. In International Conference on Learning and Collaboration Technologies (pp. 285-293). Springer, Cham. https://doi.org/10.1007/978-3-319-58509-3_23

Suthers D., Vatrapu R., Joseph S., & Dwyer N. (2006, January). Representational effects in asynchronous collaboration: A research paradigm and initial analysis. In System Sciences, 2006. HICSS’06. Proceedings of the 39th Annual Hawaii International Conference on (Vol. 1, pp. 3b-3b). https://doi.org/10.1109/HICSS.2006.417

Tejedor, F. J. (2016). Evaluación del desempeño docente. Revista Iberoamericana de Evaluación Educativa, 5(1e).

Telea, A. C. (20147). Data visualization: principles and practice. AK Peters/CRC Press.

Thomas, J. J., & Cook, K. A. (2006). A visual analytics agenda. IEEE computer graphics and applications, 26(1), 10-13. https://doi.org/10.1109/MCG.2006.5

Urdaneta, M., & Pérez, M. G. (2010). Perfil de competencias del docente como tutor en línea para la educación a distancia. Educación Superior, 9, 9-34.

Van Duzer, Joan. (2002). Instructional Desing Tips for Online Learning

Vieira, C., Parsons, P., & Byrd, V. (2018). Visual learning analytics of educational data: A systematic literature review and research agenda. Computers & Education, 122, 119-135. https://doi.org/10.1016/j.compedu.2018.03.018

Zapata-Ros, M. (2013). Enseñanza Universitaria en línea, MOOC y aprendizaje divergente. Aula magna, 2, 1-6.

Zapata-Ros, M. (2014). Gestión del aprendizaje en Educación Superior y web social. RED, Revista de Educación a Distancia, 42.

Zapata-Ros, M. (2015). Analítica de aprendizaje y personalización. Campus virtuales, 2(2), 88-118.

1 Doctor en Psicología con énfasis en educación y profesor de carrera de tiempo completo en la Facultad de Estudios Superiores Iztacala de la Universidad Nacional Autónoma de México. gamd@unam.mx

2 Licenciada en Psicología por la Facultad de Estudios Superiores Iztacala y profesora de asignatura del Sistema Universidad Abierta y Educación a Distancia de la Universidad Nacional Autónoma de México. zaira.delgado@iztacala.unam.mx

Recibido: 30-07-2018

Aceptado: 25-11-2018