La antigua Ermita de la Soledad, ubicada donde hoy se encuentra el edificio de La Giralda, se construyó en 1664 a instancias de D. Francisco de Tutaville y de Tufo, Duque de San Germán y Capitán General de Extremadura para albergar la imagen de Nuestra Señora de la Soledad, que el mismo duque había encargado en 1660 a un imaginero barcelonés que había trasladado sus talleres a Napoles. Después de un recorrido lleno de incidentes, la imagen llegó a la ciudad en 1661. Se cree que en su paso por Madrid sirvió como modelo del retrato de la Virgen de la Paloma que se venera en la capital de España. El antiguo templo sufrió daños durante la guerra de la Independencia y, aunque se restauró a principios del S. XX, fue finalmente derribado. Se conserva la portada de mármol labrado que, junto con una imagen de la Virgen, está en el Parque Infantil como capilla al aire libre.
La nueva ermita, construida en terrenos donados a tal fin por doña Joaquina Gómez Acosta, se inauguró el 7 de Julio de 1935, fecha en que la Virgen de la Soledad es trasladada en procesión desde la Catedral hasta el edificio que la alberga en la actualidad, ante el que no es extraño ver rezar a su Patrona a muchos devotos pacenses.
La ermita consta de dos plantas, con dos naves. La inferior es más antigua, y está presidida por La Soledad, imagen del corte de las madonnas italianas del S. XVIII. La capilla situada en la planta superior es de gran belleza, y fue sufragada por la Familia Olleros. Su estilo es neobizantino, réplica del salón del trono del rey Luis II “El Loco” de Baviera.