Desarrollo de una aplicación de realidad aumentada que integra voz y sonido en el aprendizaje y entrenamiento de colores en el idioma inglés.
DOI:
https://doi.org/10.24215/18509959.42.e19Palabras clave:
Realidad aumentada, Aprendizaje, Inglés, Multimodalidad, Interactividad, Dispositivos móvilesResumen
Se presenta el desarrollo de una aplicación de realidad aumentada que integra los principales componentes de sonido en un portal de internet. Por un lado, el reconocimiento de voz utiliza el micrófono integrado en un teléfono inteligente, y por otro lado el componente que permite la interpretación robótica de voz, tomando como referencia una entrada de texto; ambas funcionalidades se implementaron focalizando en el idioma inglés con acento estadounidense. Mediante formas primitivas se generó un objeto con forma de barquillo de helado en tres dimensiones, el cual que puede cambiar el color de su superficie de forma dinámica e interactiva con el usuario. En el caso de que el usuario requiera consultar la correcta pronunciación de un color, puede utilizar la funcionalidad de conversión de texto a voz en cualquier momento. Durante el desarrollo de la aplicación se utilizó una herramienta de inteligencia artificial generativa para el desarrollo del código de programación en el lenguaje A-frame, por lo que se discuten aspectos relevantes encontrados durante la interacción en el ChatBot. La aplicación final, favorece el aprendizaje de colores en el idioma inglés mediante dispositivos móviles, empleando un enfoque de aprendizaje multimodal, que combina la vista, la voz y el habla.
Descargas
Referencias
[1] J. Garzón, “An overview of twenty-five years of augmented reality in education,” Multimodal Technologies and Interaction, vol. 5, no. 7, 2021, doi: 10.3390/mti5070037.
[2] R. Hidayat y Y. Wardat, “A systematic review of augmented reality in science, technology, engineering and mathematics education,” Education and Information Technologies, vol. 29, no. 8, pp. 9257–9282, Jun. 2024, doi: 10.1007/s10639-023-12157-x.
[3] Y. Koumpouros, “Revealing the true potential and prospects of augmented reality in education,” Smart Learning Environments, vol. 11, no. 1, Art. no. 2, Jan. 2024, doi: 10.1186/s40561-023-00288-0.
[4] H. Susanto, D. Setiawan, Z. Firdaus, C. T. Kusmayadi y U. Fitriyati, “Visual, audio, and kinesthetic students’ learning independence: Improvement through the development of augmented reality media,” Journal of Research in Instruction, vol. 4, no. 2, Art. no. 2, Sep. 2024, doi: 10.30862/jri.v4i2.420.
[5] Q. Yi, Z. Dong y H. Qiao, “Enhancing EFL listening and speaking skills: Strategies and practice for implementing multimedia and multi-modal approaches,” Journal of Humanities, Arts and Social Science, vol. 8, no. 9, Oct. 2024, doi: 10.26855/jhass.2024.09.032.
[6] M. Wedyan, J. Falah, O. Elshaweesh, S. F. M. Alfalah y M. Alazab, “Augmented reality-based English language learning: Importance and state of the art,” Electronics, vol. 11, no. 17, 2022, doi: 10.3390/electronics11172692.
[7] M.-H. Wu, “The applications and effects of learning English through augmented reality: A case study of Pokémon Go,” Computer Assisted Language Learning, vol. 34, no. 5–6, pp. 778–812, Jul. 2021, doi: 10.1080/09588221.2019.1642211.
[8] S.-C. Tsai, “Learning with mobile augmented reality- and automatic speech recognition-based materials for English listening and speaking skills: Effectiveness and perceptions of non-English major English as a foreign language students,” Journal of Educational Computing Research, vol. 61, no. 2, pp. 444–465, Apr. 2023, doi: 10.1177/07356331221111203.
[9] D. Azimova y D. Solidjonov, “Learning English language as a second language with augmented reality,” Qo‘qon University Herald, vol. 1, no. 1, pp. 112–115, Mar. 2023, doi: 10.54613/ku.v6i6.264.
[10] K. Kikuchi, M. Niibori y M. Kamada, “An AR system to practice drums,” en Advances in Networked-Based Information Systems: The 24th International Conference on Network-Based Information Systems (NBiS 2021), L. Barolli, H.-C. Chen y T. Enokido, Eds. Cham, Switzerland: Springer, 2022, doi: 10.1007/978-3-030-84913-9_37.
[11] Mozilla Developer Network, “Using the Web Speech API,” 2025. [En línea]. Disponible: https://developer.mozilla.org/en-US/docs/Web/API/Web_Speech_API/Using_the_Web_Speech_API. [Accedido: 27-ene-2025].
[12] S. K. Fuchter, M. S. Schlichting y G. G. Filho, “Study on the use of ChatGPT for generating code for web-based augmented reality applications,” Measurement: Sensors, Art. no. 101701, Jan. 2025, doi: 10.1016/j.measen.2024.101701.
[13] C. Tramallino, C. Pairetti y G. L. Rodríguez, “Reflexiones en torno al uso de IA en educación superior: dos casos comparados,” Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, no. 37, Art. no. e9, May 2024, doi: 10.24215/18509959.37.e9.
[14] H.-Y. Lin y S.-C. Tsai, “Student perceptions towards the usage of AR-supported STEMUP application in mobile courses development and its implementation into English learning,” Australasian Journal of Educational Technology, vol. 37, no. 3, pp. 88–103, Mar. 2021, doi: 10.14742/ajet.6125.
Descargas
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Edgar Serrano-Pérez
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
Derechos de autor y licencias
Los artículos aceptados para publicación tendrán la licencia de Creative Commons BY-NC. Los autores deben firmar un acuerdo de distribución no exclusiva después de la aceptación del artículo.
