En este trabajo comentaremos los resultados obtenidos a partir de la experiencia de diseño y desarrollo de un software de evaluación, denominado ColoquiosEC y su aplicación al proceso de aprendizaje de los alumnos de primer año universitario de la carrera Licenciatura en Análisis de Sistemas de la Universidad Nacional de Salta, la cual cuenta con una matrícula promedio anual de mil alumnos, de los cuales un setenta por ciento llegan a las primeras instancias de evaluación. La experiencia de incorporación de este producto es analizada desde tres perspectivas. La primera centrada en el propio proceso evaluativo, tendiente a medir los aprendizajes del alumno, la segunda, indagando sobre la acción formativa y sus adecuaciones metodológicas y por último, la evaluación del propio material educativo tomando como fuente principal las opiniones y sugerencias del estudiantado.