Desarrollo de una aplicación de realidad aumentada que integra voz y sonido en el aprendizaje y entrenamiento de colores en el idioma inglés

Abstract

Se presenta el desarrollo de una aplicación de realidad aumentada que integra los principales componentes de sonido en un portal de internet. Por un lado, el reconocimiento de voz utiliza el micrófono integrado en un teléfono inteligente, y por otro lado el componente que permite la interpretación robótica de voz, tomando como referencia una entrada de texto; ambas funcionalidades se implementaron focalizando en el idioma inglés con acento estadounidense. Mediante formas primitivas se generó un objeto con forma de barquillo de helado en tres dimensiones, el cual que puede cambiar el color de su superficie de forma dinámica e interactiva con el usuario. En el caso de que el usuario requiera consultar la correcta pronunciación de un color, puede utilizar la funcionalidad de conversión de texto a voz en cualquier momento. Durante el desarrollo de la aplicación se utilizó una herramienta de inteligencia artificial generativa para el desarrollo del código de programación en el lenguaje A-frame, por lo que se discuten aspectos relevantes encontrados durante la interacción en el ChatBot. La aplicación final, favorece el aprendizaje de colores en el idioma inglés mediante dispositivos móviles, empleando un enfoque de aprendizaje multimodal, que combina la vista, la voz y el habla.

The development of an augmented reality application that integrates the main sound components in a web portal is presented. On one side, voice recognition uses the microphone integrated into a smartphone, and on the other side the component that allows robotic voice interpretation, taking a text entry as a reference; Both functionalities were implemented focusing on the English language with an American accent. Using primitive shapes, a three-dimensional ice cream cone-shaped object was generated, which can change the color of its surface dynamically and interactively with the user. In the event that the user needs to consult the correct pronunciation of a color, the text-to-speech functionality can be used at any time. During the development of the application, a generative artificial intelligence tool was used to develop the programming code in the A-frame language, so relevant aspects found during the interaction in the ChatBot are discussed. The final application promotes the learning of colors in the English language through mobile devices, using a multimodal learning approach that combines sight, voice and speech.