L' Hôtel de la maison du Calife se compose de l'union de 8 maisons différentes datant du dixième, onzième siècles jusqu'à la reconstruction contemporaire d'une propriété du 17e siècle. Cet endroit a toujours été stratégique pour plusieurs raisons; Elle domine l'accès médiéval principal pour la ville; Les propriétés font face à la “Plaza de España”( Quartier de L' Espagne ) qui est la plus grande espace ouverte et plate de Vejer. Ceci la rend idéale pour les marchés et les évènements culturels. La maison est très proche du portail principal de Vejer (Arco de la Villa). La route originale pour Vejer ( probablement d'origine romaine ou même phénicienne ) arrive au pied de la "Casa del Juzgado" (le nom populaire qui est maintenant la façade principale de l'hôtel ). La rivière Barbate est juste à 15 minutes de marche de là, et jusque dans les 1900 la rivière était une artère principale pour transporter le peuple et la marchandise.

L' histoire de cette location date du temps où les Maures étaient la culture dominante entre 711 et 1264 à Vejer. Cette culture a continué à influencer l'histoire de Vejer jusque vers la fin de 1400. Prenez votre temps à regarder l'intérieur de " l'algibe " au fond du restaurant qui est un réservoir d'eau, et probablement du dixième, onzième siècle. La Maison actuelle de Juzgado (Casa Del Juzgado) a été construite par le diocèse local vers la fin du 15è siècle, et est devenu un dépôt de grains (Cilla) en 1527. Les étages supérieurs (le dernier étage est une addition de 1960) étaient des appartements résidentiels et administratifs. Les marchandises, transportées de la vallée ou des péniches venant par la rivière Barbate, passaient par ce bâtiment pour être pesé, mesuré et taxé, avant d'être vendu ou mise en depôt. Ceci juqu'à mi-1770 quand les dégâts causés par l'humidité ont forcé le diocèse de construire un deuxième "cilla" à la "Calla Sagasta" de Vejer. La façade principale qui domine le quartier date du 17è siècle, mais le bâtiment a probablement été endommagé par le tremblement de terre de 1775. Beaucoup d'ornements ont disparu. Dans les 1950, une grande fenêtre, de la façade au niveau de la rue, a été remplacé par la porte qui est, aujourd'hui, l'entrée des bureaux du "Juzgado". Les forces nationales, dans l'année 1930, ont utilisé la maison comme étables pour leurs chevaux et logements pour leurs soldats.

Les autres propriétés qui forment l'hôtel étaient certainement des résidences et des écuries, toutes variant de différentes époques. Les salles de service, fermées au public, ont des pièces qui ont moins de 1,80m.de hauteur indiquant l'usage des servants de la "Casa Del Juzgado". La terrace de" los Jazmines " était sans aucun doute une étable: les escaliers qui s'y rattachent étaient auparavant une rampe jusqu'il y a quelques années et les grandes portes doubles indiquent cet usage. Toutes les pièces de 1 à 7 sont situées autour de la cour d'un bâtiment du 17è. siècle qui a été démoli ( à cause des dégâts ) pour construire les chambres actuelles. La cour est dans la même direction et a la même taille que l'originale. Trois réservoirs d'eau ont été découvert ici. Il y est possible qu'ils sont les plus anciens, datant du 15è. siècle.