Cuenta la tradición oral que al venir a España San Eufrasio, discípulo del apóstol Santiago y Primer Obispo de Andújar, traía consigo una Imagen de la Santísima Virgen a la que rendía culto y devoción. En el siglo VII cuando Andújar fue ocupada por los Árabes, los lugareños escondieron la Sagrada Imagen entre unas peñas en uno de los cerros mas altos e inaccesibles de Sierra Morena para evitar su profanación.