La histórica ‘Casa del Juzgado’ fue construida en un lugar estratégico muy cerca de la puerta principal en la Edad Media (Arco de la Villa) desde donde se divisaba el valle. Los musulmanes ocuparon Vejer desde el año 711 hasta 1264 y siguieron jugando un papel importante en la historia de Vejer hasta finales del siglo XV. Durante este período (aunque posiblemente en época romana) se construyó el camino empedrado (en uso todavía) que llega desde los muros del jardín hasta La Barca. El río Barbate está a sólo 15 minutos caminando y hasta principios del siglo pasado era la vía principal para el transporte de personas y mercancías tanto desde el interior a la costa, como de la costa a Vejer. Todo tipo de mercancías subían y bajaban la cuesta & casi todas pasaban por las dependencias de la casa donde se pesaban, registraban y se tasaban.

La parte más antigua del edificio es el ‘Aljibe’ (S. XI-XII), en la parte trasera del edificio, atribuido a los árabes. El edifico actual fue construido por la diócesis local, entre los siglos XV y principios del XVI (época cristiana), con el fin de almacenar grano y otros enseres. Los pisos superiores, el último de ellos añadido en 1960, se utilizaban como dependencias administrativas y residenciales. La tradición popular dice que era la sede de la Inquisición, aunque no hay pruebas que lo demuestren. La fachada principal data del siglo XVII y sufrió daños durante el terremoto de 1775. Todavía hoy no se ha restaurado por completo. A finales del siglo XVIII se inauguró la ‘Cilla Nueva’ (hoy día la discoteca ‘Bekkeh’) en la Calle Santísimo y la Casa del Juzgado quedó en desuso. A partir de entonces hay un lapsus histórico. En la Guerra Civil, las fuerzas Nacionales usaron el edificio como cuadras para sus caballos y alojamiento para los soldados. En los años 50 una gran ventana a nivel de calle fue sustituida por la puerta que es en la actualidad la entrada a las oficinas del Juzgado.

El Restaurante y el Hotel la Casa del Califa se han construido mediante la unión de cinco casas (tres en la Plaza de España & dos en la Calle “Cilla Vieja”. En el conjunto hay siete pozos localizados (dos de los cuales están todavía en uso), seis salidas a dos calles diferentes, ocho tramos de escalera, sesenta y cinco ventanas, cuarenta y tres puertas, cuatro patios una cueva.