Im Laufe des 15. und 16. Jahrhunderts wurde der Travertin, mit dem das Kolosseum verkleidet war, abgetragen und für andere Gebäude wie den Palazzo Barberini und den Hafen von Ripetta verwendet. Ein bekanntes lateinisches Sprichwort lautet: "Quod non fecerunt Barbari, fecerunt Barberini" (Was die Barbaren nicht taten, taten die Barberini). Er wurde auch zum Brennen verwendet, um Kalk zu gewinnen. Die Plünderung der Steine setzte sich bis 1749 fort, als Benedikt XIV. das Monument als heiligen Ort zum Gedenken an die dort hingerichteten Märtyrer weihte (obwohl man glaubt, dass die meisten von ihnen im Circus Maximus gemartert wurden).

Im 16. und 17. Jahrhundert suchten die kirchlichen Führer nach einer produktiven Nutzung für die verfallene Hülle des majestätischen Kolosseums. Papst Sixtus V. (1585-1590) erwog, das Gebäude in eine Wollspinnerei umzuwandeln, um die Prostituierten Roms zu beschäftigen, doch diese Idee wurde durch seinen frühen Tod nicht verwirklicht. Im 19. Jahrhundert hingegen wurden Anstrengungen unternommen, um zahlreiche antike Monumente zu stabilisieren. Im Jahr 1820 wurden im Rahmen einer von Pius VII. angeordneten Restaurierung mehrere Strebepfeiler fertiggestellt, die noch heute sichtbar sind und die, wären sie nicht gebaut worden, einen möglichen Einsturz des Gebäudes verhindert hätten. Im Laufe des Jahrhunderts wurden Konsolidierungs- und Verbesserungsarbeiten durchgeführt, ein Prozess, der bis heute andauert.

Neben dem Kolosseum befand sich die Meta Sudans, ein Bauwerk, das von Kaiser Domitian zwischen 89 und 96 errichtet wurde. Es handelte sich um ein kegelförmiges Bauwerk mit einer Höhe von 17 Metern, das von Wasser umgeben war. Es sollte den Schnittpunkt der vier Stadtteile markieren. Im Jahr 1936 ordnete Mussolini den Abriss des Bauwerks an, da es die Anlage der Via dei Fori Imperiali behindere. Eine der letzten Kränkungen, die das Kolosseum erlitt, war seine Verwendung als Symbol für die kriegerischen Auseinandersetzungen Italiens durch die Streitkräfte; der Teil des Gebäudes, der auf dem ersten Bild fehlt, wurde durch eine Bombe verursacht, die während des Zweiten Weltkriegs einschlug.