Se piensa que previamente en la ciudad había alguna fortificación musulmana de la cual no queda vestigio alguno. Pero los importantes cambios urbanos comienzan con la construcción de una muralla entre 1426 y 1449, mandada construir por Lorenzo II Suárez de Figueroa, primer conde de Feria, quien colocó la primera piedra en presencia de su padre Gomes I. Testimonio del recinto amurallado de la villa es esta inscripción que Lorenzo II mandó colocar en la muralla, en la entrada de la Puerta de Sevilla, que hoy puede verse en el vestíbulo del Parador de Turismo, y que dice:

"Esta villa suya mando cercar el noble caballero Lorenzo Suárez de Figueroa, señor de la Casa de Villalba, del consejo del Rey nuestro Señor, hijo del Magnífico señor Gomes Suárez de Figueroa, del consejo del dicho señor Rey, mayordomo mayor de la Reina su madre, nieto de los muy excelentes y poderosos señores Don Lorenzo Suárez de Figueroa, Maestre de Santiago, y Don Diego Hurtado de Mendoza Almirante de Castilla. Hízose esta puerta año de Ntro. Salvador Jesucristo de MCCCCXLII".

El cerco amurallado tenía forma de almendra, unos 5 metros de altura y unos 2´5 de grosor. El perímetro de la muralla medía casi 1200 metros. En su recorrido se encontraban baluartes, almenas para su defensa y un camino de ronda en toda su extensión. Esta muralla tenia doble función, una defensiva y otra de control de mercancías a través de sus puertas, con una serie de puestos de guardia donde se abonaban los correspondientes impuestos. Había cuatro puertas a las cuales luego se les añadieron otras dos. De ellas tan solo quedan la Puerta de Badajoz y la Puerta de Jerez.

La Puerta de Badajoz o Arco del Cubo. Por ella entraban los viajeros provinientes del norte, de Badajoz, Fuente del Maestre o Feria, entre otros lugares. Se abría dentro del Baluarte del Cubo, estaba formada por un torreón de planta semicircular adosado a la muralla. Esta puerta se cegó y más tarde se abrió un nuevo arco en el lienzo de la muralla, el Arco del Cubo. Por encima de la antigua puerta se encontraba la figura ecuestre de Santiago Matamoros que alude a la Orden de Caballería muy unida a los Suárez de Figueroa. El hueco que hay debajo de la figura lo ocupaba el escudo de los Figueroa. En el 2009 se comenzó una profunda tarea de limpieza y reforma del monumento.

La Puerta de Sevilla fue la principal entrada de la villa y la más transitada. Situada al Sura mirando al Campo de Sevilla, ahora Plaza España, una explanada amplia y soleada. La gran puerta se erguía sobre columnas estriadas en un arco rebajado dentro de un  torreón con cubierta a cuatro aguas. En el friso del frente, sobre el arco, una pequeña capilla de la Virgen de los Remedios coronaba la parte superior. Sólo queda un pequeño vestigio, unas piedras de granito en la fachada de la esquina izquierda de entrada a la calle Sevilla. Su estructura y aspecto se conocen por grabados que se conservaron del siglo XVIII.

La Puerta de Los Santos estaba flanqueada por dos torreones y tenía sobre el arco de entrada una capillita, Ntra. Sra. de la Concepción y Amparo. La disposición de esta Puerta se abría al camino que comunicaba Los Santos de Maimona y Zafra entre la sierra de Los Santos, por el que accedían los comerciantes y hortelanos para instalar sus puestos al mercado de la Plaza Chica.

La Puerta de Jerez permitía el acceso a intramuros a los visitantes que venían de los caminos de Jerez de los Caballeros desembocando en el mercado medieval de la Plaza Chica. El paso por la Puerta es un doble arco apuntado de sillería sobre el que se encuentra la capilla barroca del Cristo de la Humildad y Paciencia.

 

Por fuera de la puerta, en la fachada, podemos ver un balcón central en la parte superior y dos hornacinas, una a cada lado, con imágenes de San Crispín y San Crispiniano, patronos del gremio de los zapateros y profesionales del cuero.

En la parte inferior derecha, sobre un bloque de la sillería del arco observamos la huella de un zapato del Pie Castellano, antigua medida de la época, en uso hasta el siglo XIX en el que se adoptó el Sistema Métrico Decimal, equivalente a 27,86 cm, un 44/45 de la actualidad. El Pie Castellano equivalía a 1/3 de una Vara (83,59 cm), una de las unidades de medida que podemos observar en una columna de la Plaza Chica.

En su primitiva concepción disponía de dos torres laterales para la defensa, pero éstas desaparecieron en las transformaciones que sufrió la puerta en el siglo XVII. Obras posteriores añadieron una espadaña de ladrillo en la cúspide con dos cuerpos de campanas y un balcón de rejería que amplió la ventana existente.

Otras dos puertas son La Puerta de Palacio que recibió este nombre por su proximidad al Alcázar, y su ubicación se debe a la necesidad de contar con un acceso próximo desde el exterior. Realmente fue una doble puerta, la primera, exterior, era la entrada al interior de la ciudad, y la segunda fue el acceso a la barbacana que contenía el castillo. 

Desde esta barbacana se pasaba a la ciudad a través de la Puerta del Acebuche, aunque esta no se la puede considerar una puerta de la muralla. Desde esta puerta partía el camino hacia la Puebla de Sancho Pérez.

En el siglo XV, sobre la mima época que la muralla medieval se construye el alcázar, tipo castillo-palacio urbano de finales de la edad media, en el se conjugan recursos fortificados y palaciegos. Las obras se inician en 1437 por mandato de Lorenzo Suárez de Figueroa, dandose por finalizada en 1443.

El Alcázar tiene planta cuadrangular reforzada por torres cilíndricas en los ángulos, más cubos redondos en dos lados y la gran Torre del Homenaje, cilíndrica en uno de sus lados, la puerta de acceso en el lado contrario flanqueada por dos torres adosadas y un matacán en lo alto, todo almenado. Una estructura cláramente defensiva, cuando su función es de palacio urbano residencial y de representación.

En el interior su distribución es más acorde con la función del edificio, lugar de residencia de una gran familia noble. Debió ser importante el conjunto decorativo, del cual tan solo nos ha llegao unas pinturas murales en la Torre del Homenaje, con motivos vegetales, geométricos y heráldicos. Muy importantes son sus artesonados de estilo mudéjar, del siglo XV, conservados aún en la Sala Dorada y la Capilla.

En el siglo XVI, coincidiendo con la elevación de rango señorial de los Figueroa a Ducado, se construye el patio clasicista atribuido a Juan de Herrera, organizado en con arquerías en sus cuatro lados y dos pisos.

El 3 de junio de 1931, durante la Segunda República, fue declarado monumento histórico-artístico perteneciente al tesoro nacional. Durante la Guerra Civil (1936-1939) sirvió como hospital y cárcel, en la postguerra como Escuela de Artes y Oficios, manteniendo zonas que daban cobijo a familias sin recursos. A principio de los sesenta se transforma en Parador de Turismo, hasta la actualidad, contando con el estatus de bien de interés cultural.