A lo largo de los siglos XV y XVI, el travertino que revestía el Coliseo fue retirado para su uso en otras construcciones, como el Palacio Barberini y el Puerto de Ripetta. Existe un conocido proverbio en latín que reza "Quod non fecerunt Barbari, fecerunt Barberini" (Lo que los bárbaros no hicieron, lo hicieron los Barberini). También se utilizó para su quema con el fin de obtener cal. Este saqueo de piedras continuó hasta 1749, cuando Benedicto XIV consagró el monumento como un lugar sagrado en memoria de los mártires que fueron ejecutados allí (aunque se cree que la mayoría de estos fueron martirizados en el Circo Máximo).

Durante los siglos XVI y XVII, líderes eclesiásticos buscaron un uso productivo para el deteriorado casco del majestuoso Coliseo. El Papa Sixto V (1585-1590) contempló la posibilidad de convertir el edificio en una fábrica de lana para dar empleo a las prostitutas de Roma, aunque esta idea no prosperó debido a su prematura muerte. En el siglo XIX, en cambio, se emprendieron esfuerzos para estabilizar numerosos monumentos antiguos. En 1820, se finalizaron varios contrafuertes como parte de una restauración ordenada por Pío VII, los cuales aún son visibles en la actualidad y que, de no haberse construido, habrían evitado el posible colapso del edificio. A lo largo de todo el siglo, se llevaron a cabo trabajos de consolidación y mejora, un proceso que continúa hasta hoy.

Adyacente al Coliseo se encontraba la Meta Sudans, una construcción erigida por el emperador Domiciano entre los años 89 y 96. Esta estructura tenía forma cónica y alcanzaba una altura de 17 metros, estando rodeada de agua. Su propósito era marcar el punto de intersección de los cuatro distritos de la ciudad. En 1936, Mussolini ordenó su demolición, argumentando que interfería con la creación de la Via dei Fori Imperiali. Una de las últimas afrentas sufridas por el Coliseo fue su utilización como símbolo del conflicto bélico de Italia por parte de las fuerzas militares; la parte del edificio que falta en la primera imagen fue causada por una bomba que cayó durante la Segunda Guerra Mundial.