Con el objetivo de ayudar a los usuarios a traducir sus necesidades de información en estrategias efectivas de búsquedas, es propuesta una arquitectura que soporta el proceso de anotación semántica de imágenes en el dominio médico usando múltiples fuentes de información, pudiendo estas ser ontologías, taxonomías, vocabularios controlados y metatesauros. La arquitectura propuesta se basa en el uso de dos ontologías, una para describir el contenido de la imagen y sus respectivas regiones y otra para mapear las descripciones de cada imagen con los conceptos que se encuentran en las diversas fuentes de información. Este mapeamento permite enriquecer la imagen con contenido semántico posibilitando la interpretación, por parte del computador, de los conceptos representados en cada región. La idea es que el usuario al seleccionar una región de la imagen, se extraiga una lista de términos para usarse como consulta en sistemas de recuperación de información. El uso de ontologías permite extender esta consulta usando diversos tipos de relaciones como por ejemplo sinónimos, nombres escritos en otros idiomas, enfermedades relacionadas, síntomas, tratamientos, entre otros.