Inclusive learning through immersive virtual reality and semantic embodied conversational agent: a case study in children with autism

Abstract

Sustainable Development Goal 4 from the United Nations 2030 Agenda, focus on ensuring inclusive and equitable quality education and promoting lifelong learning opportunities for all. Inclusive education is a key component of sustainable development goal 4, and assistive technology is a critical factor in achieving it. In this context, this paper introduces the development of an immersive virtual reality system with conversational skills for inclusive learning processes. The idea of this work is to provide an assistive technology to motivate, educate, and train students with disabilities in a more inclusive way. In order to improve the user experience, the system was developed to work in a CAVE-like immersive environment using Natural Language Processing through a Semantic Embodied Conversational Agent. This work highlights that assistive technology can promote educational, psychological, and social benefits for students with disabilities. The use of assistive technology can enable academic engagement and social participation and be transformative from a psychological perspective. A case study was conducted on children with autism, which showed encouraging results of the system as an assistive technology for teaching and learning.

El Objetivo de Desarrollo Sostenible 4 de la Agenda 2030 de las Naciones Unidas se centra en garantizar una educación inclusiva, equitativa y de calidad y promover oportunidades de aprendizaje permanente para todos. La educación inclusiva es un componente clave del Objetivo de Desarrollo Sostenible 4, y la tecnología de apoyo es un factor crítico para lograrlo. Este trabajo presenta el desarrollo de un sistema de realidad virtual inmersiva con habilidades conversacionales para procesos de aprendizaje inclusivo. La idea de este trabajo es proporcionar una tecnología de apoyo para motivar, educar y formar a estudiantes discapacitados de una forma más inclusiva. Para mejorar la experiencia del usuario, el sistema fue desarrollado para trabajar en un entorno inmersivo tipo CAVE utilizando Procesamiento del Lenguaje Natural con un Agente Conversacional Semántico Encarnado. Este trabajo pone de relieve que la tecnología de apoyo puede promover beneficios educativos, psicológicos y sociales para los estudiantes con discapacidad. El uso de tecnología de apoyo puede permitir el compromiso académico y la participación social y ser transformador desde una perspectiva psicológica. Se realizó un caso de estudio en niños con autismo, que mostró resultados alentadores del sistema como tecnología de asistencia para la enseñanza y el aprendizaje.