La casa Palacio de los Verdugo data del año 1531, y fue mandada construir por Don Suero de Águila, caballerizo del Infante Don Fernando, hermano de Carlos I. Está situada en la calle de Lope Núñez, que entonces se llamaba del Lomo. Su edificación responde al auge de la ciudad en el siglo XVI por el crecimiento por la industria textil lanar, el levantamiento de iglesias y conventos y el empuje religioso de Santa Teresa de Ávila y San Juan de la Cruz.
La fachada sobria de piedra, de estilo plateresco y de carácter defensivo, sin ventanas a baja altura y con dos anchas torres a cada lado. A la izquierda de su fachada, hay un verraco de piedra de época vétonica, similar a las decenas de ellos que está repartidos por la ciudad y a los conocidos toros de Guisando.
Desde su construcción fue sede de la casa de Don Suero de Águila, quien otorgó en 1536 carta de mayorazgo a su hijo Don Sancho de Águila y a su esposa Isabel de Carvajal, aya del Infante Don Fernando, con la salvedad de que, si el linaje desaparecía, su patrimonio pasaría a la orden de los Jerónimos.
En 1606, al morir sin descendencia su nieto D. Rodrigo de Águila, los jerónimos la convierten en casa-convento hasta el año 1616, en que la permutan con la Compañía de Jesús por el colegio de San Gil.
El palacio permaneció en manos de los jesuitas hasta el 3-4-1618, en que se lo permutan a Diego Dávila, quien lo sacó a subasta pública, adquiriéndolo Francisco Guillamas y Velázquez. Continuó en posesión de sus descendientes hasta 1990.
El edificio fue declarado monumento histórico artístico de carácter nacional por el Real Decreto 760/1979 de 9 de marzo de 1979, publicado en el BOE del 12 de abril de 1979.
Desde el año 2008, y tras varios años de obras de restauración, es sede permanente de la Secretaría General del Grupo de Ciudades Patrimonio de la Humanidad de España.4 Forma parte de los bienes de interés cultural de la provincia de Ávila.
Sobre la puerta de la casa Palacio se encuentra, en el centro, el escudo nobiliario del apellido Verdugo, que tiene su origen en la fundación de la ciudad de Arévalo, Ávila y es común encontrarlo en Hispanoamérica, por la colonización hispana. Pedro Briceño y Verdugo, natural de Arevalo, por 1520 era Tesorero Real de la Gobernación de Santa Marta por 1511. Su hijo, Sancho Briceño Verdugo y Alvarez, se establecio en Coro por 1528 con los Belzarez
El escudo del apellido Verdugo es un león rampante y, aunque existen varios colores para el fondo y el marco, no hay referencias precisas sobre el resto de los detalles.