1. Introducción

La primera sección del artículo debe ser una Introducción que contendrá el análisis general de la problemática y las referencias principales.

Este artículo es la extensión de un trabajo de investigación presentado en la Conferencia LALA 2020 [1], que fue reconocido como uno de los mejores en la III Conferencia Latinoamericana de analíticas del aprendizaje.

En esta comunicación el tema que amplía la versión original es el desarrollo de un mapeo sistemático de la literatura (MSL). El mapeo sistemático de literatura permite brindar una caracterización de la producción científica en Educación Superior y el estado en el que se encuentra en América Latina. Para su desarrollo, se aplica el proceso propuesto por Kitchenham y Charters [2].

Desde hace varios años se percibe un creciente aumento en la adopción de entornos virtuales de aprendizaje en las instituciones educativas, como así también, de aplicaciones para el desarrollo de actividades online. Estos entornos digitales registran las interacciones que ocurren en el proceso de aprendizaje y comunicación entre el contenido, docentes-alumnos y alumnos-alumnos mediante un diseño de actividades que fomenten la adquisición de competencias, habilidades y que posean un enfoque práctico que favorezca esta interacción [3].

Esas interacciones se traducen en datos, que mediante Analítica de Aprendizaje pueden proporcionar información para definir acciones a nivel docente o institucional.

De acuerdo con Amo y Santiago [4], “En la analítica del aprendizaje se interpretan datos educativos mediante aproximaciones cuantitativas. Con ello se pueden entender, explicar y predecir los comportamientos de los alumnos. En consecuencia, se podrá mejorar el contexto educativo. Para lograr lo anterior, es necesario tener conocimientos básicos sobre estadística, pues a través de esta se puede interpretar y analizar los datos con mirada educativa. De esta manera quienes tomen las decisiones dentro del centro educativo podrán mejorar los procesos de enseñanza aprendizaje".

En el estudio de Hilliger [5], llevado a cabo en 4 universidades de Chile y Ecuador, afiliadas al Proyecto LALA (LALA Project - https://www.lalaproject.org/), han trabajado para colaborar con evidencia empírica sobre las necesidades ​​en los servicios de Analítica de Aprendizaje en la región desde la perspectiva del estudiante, el docente y los gestores educativos. Como resultado de este estudio se puede observar, desde la perspectiva del alumno, la necesidad de retroalimentación de calidad y apoyo oportuno. Desde la mirada docente, se requiere alertas oportunas para ayudar a los estudiantes y evaluaciones de la calidad de su enseñanza. Mientras que, desde la perspectiva de gestores educativos, solicitan información de alta calidad para evaluar si las intervenciones de apoyo son necesarias y están bien implementadas.

Como complemento a ese estudio y llevado a cabo en las mismas universidades, Hilliger [6] indagaron para obtener una visión general del uso de datos educativos que les permitiera describir las oportunidades de incluir servicios de analítica de datos en las prácticas de datos existentes. Además, revelar oportunidades y desafíos para la futura adopción de Analítica de aprendizaje.

En el contexto actual de la pandemia, los docentes para poder llevar adelante su trabajo se han apoyado en un abanico de herramientas digitales. Esta situación generó que los que no tienen las competencias necesarias para este desafío, recurrieron a utilizar las que le proveía la institución de pertenencia o aquella que se adecuaba a su contexto y conocimientos para aplicarlas.

Según un nuevo estudio de la Unesco [7] “Incluso para los maestros de países que poseen una infraestructura fiable de tecnología de la información y la comunicación (TIC) y conectividad en los hogares, la rápida transición al aprendizaje en línea ha sido complicada. En el caso de los profesores de las regiones en las que el acceso a las TIC y otras metodologías de aprendizaje a distancia es más reducido, la transición ha sido aún más difícil o hasta imposible.”

En este panorama diverso se pudo visualizar docentes expertos para llevar adelante la enseñanza online, otros que, teniendo sus cursos en EVA, solo eran utilizados como repositorios de recursos y finalmente se encuentran los que basados en una enseñanza netamente presencial tuvieron que migrar a un espacio desconocido y de incertidumbre.

Este cambio de escenario para la educación implica descubrir otros modos de interactuar y compartir el conocimiento con sus alumnos.

Un Entorno Virtual de Aprendizaje (EVA) [8] se puede definir como un sitio en la web que posee herramientas para apoyar actividades educativas presenciales o como la principal estrategia en la organización e implantación de cursos en línea.

En el presente trabajo, por un lado, se busca analizar las herramientas digitales más utilizadas por los docentes en el contexto de la migración forzada por COVID-19 y el nivel de reconocimiento de los datos que brindan los entornos digitales. Por el otro, se busca una aproximación al estado del arte en América Latina sobre Analítica de Aprendizaje y Analítica Académica para realizar una comparación con los resultados obtenidos mediante la encuesta.

2. Métodos y Materiales

Para llevar adelante este trabajo de investigación se diseñó la misma en dos etapas.

Para la primera etapa se aplica una metodología de investigación descriptiva con enfoque cuantitativo de corte transversal. Se utiliza la técnica de encuesta y el instrumento de recolección de datos fue un cuestionario.

Para la segunda etapa se aplica el método de investigación mapeo sistemático de la literatura. Se considera como fuente de información las bases de datos de acceso abierto La Referencia [9], DOAJ [10] y ERIC [11]. Los motivos de la selección de este tipo de base de datos se deben a que, en el contexto de pandemia, se desarrolló la actividad laboral fuera de la institución educativa y no se contó con acceso a las bases de datos por suscripción.

2.1. Primera etapa: encuesta

Se propone construir un instrumento para medir el nivel de uso de datos de aprendizaje por parte de docentes y gestores de instituciones educativas de Latinoamérica. Entre los objetivos que se persiguen se puede mencionar:

Conocer las herramientas digitales más utilizadas por los docentes en la enseñanza virtual.

Establecer el nivel de uso de analíticas en el proceso de enseñanza aprendizaje.

Identificar si existen políticas de uso de analíticas a nivel institucional.

La metodología del diseño del instrumento se basa en dos de las cuatro fases de la propuesta de Soriano [12]: primero los objetivos de la investigación y segundo la validación de jueces expertos. Para la validación de expertos se seleccionaron profesionales que trabajan en investigación en Iberoamérica. En base a sus valoraciones se realizaron las modificaciones sugeridas.

Para la recogida de datos, se difundió la encuesta definitiva en formato digital (Google Form, https://bit.ly/2F2y2lA) por grupos de investigadores y docentes de Latinoamérica. Además, se contó con el apoyo de docentes de Instituciones de Educación Superior que distribuyeron la encuesta por correo electrónico.

En la misma se incluyó el siguiente texto que explicaba el objetivo del estudio y se garantiza anonimato: “La encuesta tiene como población a docentes, investigadores o integrantes de equipos de gestión de instituciones educativas de países latinoamericanos. Se busca identificar los tipos de Entornos Virtuales de Aprendizaje utilizados y el uso de los datos de aprendizaje que estos generan. La encuesta se diseñó para recolección de datos de forma anónima.” Con el propósito de garantizar el anonimato de los encuestados y generar una buena predisposición a la hora de responder la encuesta, no se consultaron sus datos de filiación.

La encuesta incluye 5 dimensiones organizadas de la siguiente manera:

• Dimensión 1. Uso de entornos virtuales de aprendizaje: el objetivo es determinar el tipo de institución en la que se desempeña, rol en la institución, si disponían de entornos de aprendizaje antes de COVID-19 y herramientas digitales que utilizan para las prácticas pedagógicas.

• Dimensión 2. Uso de datos de aprendizaje en sus prácticas pedagógicas: cuyo propósito es identificar las fuentes de información para evaluar el desempeño de sus alumnos, indagar sobre el conocimiento del concepto Analíticas de aprendizaje, su aplicación en el proceso de enseñanza-aprendizaje.

• Dimensión 3. Uso de analíticas de aprendizaje en su Institución: cuya intención es relevar el conocimiento y aplicación en el contexto institucional para la toma de decisiones.

• Dimensión 4. Ética en el manejo de datos de aprendizaje: cuyo propósito es indagar si se conoce normativa sobre el uso de los datos, si los registros de la interacción docente -alumno y alumno-alumno son utilizados para algún fin y si se realiza notificación al estudiante de su uso.

• Dimensión 5. Información sociodemográfica: con la finalidad de conocer el país de pertenencia y grupo etario.

2.2. Segunda etapa: mapeo sistemático de literatura

Una vez concluida la etapa de análisis de los datos obtenidos en la encuesta se procedió a la construcción de una revisión de literatura para obtener una primera aproximación del estado del arte a fin de evaluar el nivel de inserción del concepto de Analítica en el contexto académico y de investigación.

La etapa del mapeo sistemático propuestos contempla tres fases: Planificación de la revisión, conducir la revisión y realizar el informe.

2.2.1. Planificación de la revisión

En la fase de planificación se realizaron las siguientes tareas: identificar la necesidad del estudio, definir las preguntas de investigación, definir las estrategias de búsqueda y los criterios de selección.

Este estudio surge porque las autoras, docentes en la Universidad Nacional de San Luis, pertenecen al proyecto de investigación "Aprendizaje automático y toma de decisiones en sistemas inteligentes para la Web" y se encuentran realizando investigación sobre Analítica de Aprendizaje.

Las preguntas de investigación son las siguientes: ¿Cuál es el grado de producción de artículos que involucran el concepto de Analítica de Aprendizaje y académica en América Latina durante el período 2015-2020? ¿Cuántos están relacionados a educación superior? ¿Qué países reflejan mayor producción en estos conceptos?

Para conducir la selección de literatura se definió: búsqueda de artículos publicados en países latinoamericanos entre los años 2015 - 2020 mediante los siguientes términos: analítica* de aprendizaje*, learning analytic*, analítica* académica*, academic analytics y analítica de datos de aprendizaje.

Las bases de datos seleccionadas para esta instancia son: LA Referencia, DOAJ y ERIC.

2.2.2. Conducir la revisión

En esta etapa se diseñó un instrumento de registro colaborativo, dado que se trabajó de forma remota, para el registro de los estudios aplicando los criterios de selección. En ese instrumento se registra, para cada base de datos seleccionada, la cantidad de resultados obtenidos por cada criterio. Para los documentos que cumplen los criterios se contabiliza el total obtenido y para cada uno se registra el país de origen, año de publicación, palabras claves, resumen, entre otros datos.

2.2.3. Realizar el informe

Esta etapa, en este artículo, se presenta como “Resultados obtenidos del mapeo sistemático de literatura”.

3. INFORME

3.1. Resultados obtenidos de la encuesta

Los datos obtenidos de la encuesta se analizaron mediante el software PSPP [13], el mismo es una herramienta de carácter libre que permite efectuar análisis estadísticos.

El conjunto de datos analizados está conformado por 133 registros y se han identificado 20 variables. A partir del análisis de la variable País se puede observar en la Tabla 1 la distribución de la procedencia de los encuestados, siendo Argentina, México y Colombia quienes concentran el mayor porcentaje de éstos.

Ante el contexto de pandemia en el que se está inmerso globalmente, producto de la aparición del COVID-19, y reconociendo que la educación, al igual que el resto de las actividades que habitualmente se desarrollan en la sociedad se vieron afectadas y fueron modificadas y/o adaptadas a esta nueva realidad, es que se decidió indagar acerca del uso de entornos virtuales y herramientas digitales. En la figura 1 se pueden apreciar los siguientes resultados:

Se puede observar que previo a la pandemia un 69.92% utilizaba un entorno virtual en sus prácticas pedagógicas. El 27.82 % no utiliza ningún entorno virtual y se vio forzado a implementarlo ante esta situación. El 2.26% hacía uso de otras herramientas.

En la Figura 2 se presenta el ranking de las herramientas digitales utilizadas por los encuestados, organizadas de las menos utilizadas a las más elegidas. Los entornos virtuales se encuentran entre las herramientas más votadas: 69 encuestados utilizan Moodle y 52 utilizan Classroom. También es posible observar que Whatsapp constituye la herramienta más utilizada. Mientras que los Sistemas de videoconferencias se convirtieron en una herramienta primordial frente a la imposibilidad de las clases presenciales.

Los diferentes entornos virtuales y herramientas digitales generan y acumulan una gran variedad de datos producto de la interacción de sus estudiantes con los mismos. Dado el incremento en el uso educativo de este tipo de entornos y herramientas se consultó a los encuestados acerca de su conocimiento del concepto de Analíticas de Aprendizaje y la utilización de las mismas en sus prácticas pedagógicas. En la Figura 3 se pueden visualizar los resultados obtenidos.

Se aplicó la siguiente escala: 1=Desconocido, 2=Poco conocido, 3=Medianamente conocido, 4=Conocido y 5=Muy conocido. El 24.82% manifestó su desconocimiento sobre este término, para el 18.80% es Poco conocido, para el 25.56% es Medianamente conocido, para el 18.80% es Conocido, mientras que el 5.26% expresó que el término le resultaba Muy conocido. Al 6.77%, integrantes de equipos de gestión, no se les consultó sobre esta temática debido a su rol en la institución educativa.

A partir de la figura 4 se puede analizar cuál es el nivel de utilización que las y los encuestadas/os realizan de las Analíticas de Aprendizaje. En este caso se puede observar que el 30.08% no utilizan analíticas de aprendizaje y sólo el 0.75% hace uso alto de las mismas.

También se analizaron las respuestas obtenidas en torno al conocimiento que tienen sobre la existencia o no de normativas institucionales que regulen el uso de los datos generados en entornos virtuales. En la Tabla 2 se pone de manifiesto que un 61.65%, expresó que no existen regulaciones o desconocen su existencia. Sólo un 7.52% mencionó conocer la normativa vigente.

3.2. Resultados obtenidos del mapeo sistemático de literatura

La búsqueda inicial arrojó un total de 4.067 artículos, de los cuales 122 se recuperaron de LA Referencia, 3.898 de DOAJ y 47 de ERIC. Posteriormente se procedió a identificar aquellos que presentaban explícitamente los términos antes mencionados en el título, las palabras clave o el resumen y que estuviesen relacionados con educación superior. En el caso de DOAJ y ERIC fue necesario realizar una selección por países, rescatando sólo los que pertenecieran a países latinoamericanos. Además, se procedió a eliminar aquellos artículos que aparecían repetidos en las diferentes búsquedas, dejando un total de 21 documentos.

En la Figura 5 se puede observar la distribución de los artículos según el año de publicación. En ésta se puede percibir un crecimiento en la cantidad de publicaciones a medida que avanzan los años.

En la Figura 6 se muestra la cantidad de artículos publicados durante el período 2015-2020 según el país de publicación. Brasil es el país con mayor número de publicaciones con un total de 9 artículos, seguido por Colombia con 3 publicaciones, Argentina, Chile y México con 2 publicaciones, y Cuba, Ecuador/Colombia, Perú y Uruguay con 1 publicación.

Finalmente, luego de una lectura más profunda de los documentos seleccionados, se los clasificó entre Analítica de Aprendizaje y Analítica Académica. El producto de este análisis se puede apreciar en la Figura 7, se obtuvieron 17 artículos con Analítica de Aprendizaje y 4 artículos relacionados con Analítica Académica.

Conclusiones

Los entornos virtuales de aprendizaje han sido adoptados por las instituciones educativas con el propósito de extender las aulas más allá de los límites físicos y temporales que dichas instituciones presentan. La incorporación de estas herramientas, junto con otras complementarias, se ha incrementado de manera notable en los últimos años y sin lugar a dudas el contexto actual se ha convertido en un impulsor de cambios para quienes aún no estaban familiarizados con estas herramientas.

Por otro lado, en base a los resultados de la encuesta con respecto al uso de herramientas digitales para el aprendizaje se pueden identificar las siguientes como las principales, la lista está ordenada de menor a mayor cantidad de votos: Classroom, Zoom, GSuite, Moodle y con 83 votos Whatsapp. Estas herramientas pertenecen a las siguientes categorías: red social, videoconferencias, entornos virtuales de aprendizaje y mensajería instantánea. No es casualidad que la herramienta más seleccionada sea Whatsapp como aplicación de mensajería. Esto quiere decir, que la aplicación de comunicación e interacción elegida entre docentes y alumnos tiene como característica que se accede desde el teléfono móvil, es inmediata y permite multiplicidad de formatos en los contenidos.

La interacción entre contenido, docente y estudiante genera una importante cantidad de datos educativos. El análisis de la información registrada por los entornos digitales constituye la materia prima de las analíticas de aprendizaje, que tiene como objetivo diseñar, evaluar y/o mejorar las prácticas de enseñanza-aprendizaje. Además, permite la toma de decisiones a nivel institucional.

El análisis realizado, mediante la encuesta, muestra el nivel de inserción de los entornos virtuales de aprendizaje en los contextos educativos. El 69.92% de los/as encuestados/as ya utilizaban entornos de aprendizaje previo a la pandemia. De ese total, solo el 49,62% manifestó conocer el concepto Analíticas de Aprendizaje. Sin embargo, solo el 19,55% expresó un uso medio o alto de las mismas.

Por otro lado, mediante el mapeo sistemático de literatura llevado a cabo en bases de datos de acceso abierto para los países latinoamericanos y que presentaban explícitamente los términos de Analítica de aprendizaje o Analítica Académica como criterios de selección en el título, en las palabras clave o en el resumen y que estuviesen relacionados con educación superior, se puede observar que la selección final resultó en 21 documentos. De los cuales 17 responden a Analítica de Aprendizaje y 4 a Analítica Académica.

El mayor número de producción científica proviene de Brasil, mientras que en la encuesta realizada no han participado docentes provenientes de este país. Esto se debe a que en las redes y grupos de investigación entre los que se ha compartido la encuesta no se observa participantes de ese país.

En base a esta investigación se puede concluir el poco conocimiento que se tiene sobre el concepto de Analítica de Aprendizaje en el ámbito educativo. Esto lo demuestra el 43.61% que manifestó en la encuesta desconocer o tener poco conocimiento sobre ese concepto.

Así mismo, esta situación se refleja en el análisis de la literatura en las bases de datos seleccionadas. A pesar de que se recupera una cantidad considerable de artículos con los criterios propuestos, luego de una revisión más profunda se puede observar que solo un número reducido realiza publicaciones de resultados de su aplicación.

A partir de este trabajo se puede apreciar que los conceptos de Analítica de Aprendizaje y Analítica Académica aún tienen muy baja inserción en el contexto de Educación Superior por lo que se encuentra en un estado emergente. Como propuesta de trabajo se debería contemplar el desarrollo de competencias necesarias para la utilización de entornos digitales y Analíticas de Aprendizaje para la mejora del proceso de enseñanza-aprendizaje a profesionales de los diferentes niveles educativos de países latinoamericanos.

Referencias

[1] LALA (2020). III Conferencia Latinoamericana de Analíticas de Aprendizaje. [Online] https://www.lalaproject.org/conferencia2020/

[2] B. Kitchenham, S. Charters. (2007). Guidelines for Performing Systematic Literature Reviews in Software Engineering (version 2.3). Technical Report, Keele University and University of Durham. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.117.471

[3] E. Barberà. Los fundamentos teóricos de la tutoría presencial y en línea: una perspectiva socio-constructivista. In J. J. Montes, & E. A. Rodríguez, Educación en Red y tutoría en línea (pp. 161-180). México: UNAM FES-Z. (2006)

[4] R. Santiago, D. Amo: Learning Analytics. La narración del aprendizaje a través de los datos. Editorial UOC, S.L. (2017).

[5] I. Hilliger, M. Ortiz-Rojas, P. Pesántez-Cabrera, E. Scheihing, Y. Tsai, P. Muñoz-Merino, T. Broos, A. Whitelock-Wainwright, and M. Pérez-Sanagustín. (2020). Identifying needs for learning analytics adoption in Latin American universities: A mixed-methods approach. The Internet and Higher Education, vol. 45, Abril, pp. 1-9. https://doi.org/10.1016/j.iheduc.2020.100726

[6] I. Hilliger, M. Ortiz-Rojas, P. Pesántez-Cabrera, E. Scheihing, Y. Tsai, P. Muñoz-Merino, T. Broos, A. Whitelock-Wainwright, D. Gaševićand and M. Pérez-Sanagustín. (2020). Towards learning analytics adoption: A mixed methods study of data-related practices and policies in Latin American universities. British Journal of Educational Technology, vol. 51, Julio, pp. 915-937. https://doi.org/10.1111/bjet.12933

[7] UNESCO. Surgen alarmantes brechas digitales en el aprendizaje a distancia, https://es.unesco.org/news/surgen-alarmantes-brechas-digitales-aprendizaje-distancia

[8] W. Horton: Designing web based training. Wiley Computer Publisher, New York. (2000).

[9] LA Referencia. Lareferencia.info, 2020. [Online]. http://www.lareferencia.info/es/

[10] Directory of Open Access Journals (DOAJ), Doaj.org, 2020. [Online]. https://doaj.org/

[11] ERIC - Education Resources Information Center, Eric.ed.gov, 2020. [Online]. https://eric.ed.gov/?

[12] A. Soriano: Diseño y validación de instrumentos de medición. Diálogos 14, Editorial Universidad Don Bosco, año 8, No.13, pp. 19-40. ISSN 1996-164 (2014).

[13] PSPP, https://www.gnu.org/software/pspp/, recuperado 2020/04/10

Notas de autor