Das Hotel "La Casa del Califa" setzt sich aus 8 verschiedenen Häusern aus dem 10. / 11. Jahrhundert bis hin zum komplett zeitgemäßen Wiederaufbau aus dem 17. Jahrhundert.

Die frühe Geschichte dieses Ortes reicht bis zur Zeit der Mauren zurück, die in Vejer von 711 bis 1264 n. Chr. die vorherrschende Kultur waren und bis ins 14. Jh. eine wichtige Rolle in der Geschichte dieser Stadt spielten. Im hinteren Teil des Restaurants befindet sich die "Aljibe", eine Art Vorratskammer für Wasser aus dem 10. - 11. Jh. Sehenswert! Das gegenwärtige "Casa del Juzgado" wurde Ende des 15. Jh. vom damaligen Diozöse errichtet und ab 1527 als Kornspeicher ("Cilla") genutzt, während die oberen Stockwerke (der oberste wurde 1960 hinzugefügt) als Wohn- und Regierungsunterkünfte dienten.

Handelsware musste, egal ob auf dem Land- bzw. Wasserweg kommend, den Weg durch dieses Gebäude nehmen, um gewogen, gemessen und besteuert zu werden. Dann war es frei für den Markt oder die Vorratskammer. Das Gebäude diente bis Mitte des 17. Jh. diesem Zweck bis steigende Feuchtigkeit den Diozöse zwangen eine zweite "Cille" auf Vejers Calla Sagasta zu errichten. Seine Hauptfassade überblickt die Plaza und nahm bei dem Erdbeben 1775 wahrscheinlich großen Schaden, da viele der schmückenden Ornamente fehlen. 1950 wurde ein großes erdnahes Fenster durch eine Tür ersetzt, die auch heute noch als Eingang der Büros des Juzgado (Gericht) dient. Die Nationalisten nutzten das Haus um 1930 als Stall für ihre Pferde und Unterkünfte für ihre Soldaten.

Die anderen Bereiche des Hotels wurden sicherlich als Wohnbereiche und Ställe über alle Jahre hinweg genutzt. Der Servicebereich (nicht öffentlich!) hat Zimmer von weniger als 1,80m Höhe, die damals durch Diener der "Casa del Juzgado" genutzt wurden. Der "Patio de los Jazmines" diente eindeutig als Stall (die Treppen, die dorthin führen, waren noch bis vor wenigen Jahren eine Rampe und auch die geteilte Tür weist auf einen Stall hin!). Alle Zimmer von Nr. 1 bis Nr. 7 liegen um einen Innenhof eines Gebäudes aus dem 17. Jh. Der Hof musste für den Bau der Zimmer abgerissen werden und wurde dann anschließend originalgetreu wiederhergestellt. Dabei entdeckte man drei Wasserzisternen, von denen die Älteste aus dem 15. Jh. stammt.