Au cours des 15e et 16e siècles, le travertin qui recouvrait le Colisée a été enlevé pour être utilisé dans d'autres bâtiments, tels que le Palazzo Barberini et le port de Ripetta. Un proverbe latin bien connu dit : "Quod non fecerunt Barbari, fecerunt Barberini" (ce que les Barbares n'ont pas fait, les Barberini l'ont fait). Elle servait aussi à brûler pour obtenir de la chaux. Ce pillage des pierres s'est poursuivi jusqu'en 1749, date à laquelle Benoît XIV a consacré le monument comme lieu sacré en mémoire des martyrs qui y ont été exécutés (bien que l'on pense que la plupart d'entre eux ont été martyrisés dans le Circus Maximus).

Au cours des XVIe et XVIIe siècles, les dirigeants ecclésiastiques ont cherché à donner une utilisation productive à la coquille délabrée du majestueux Colisée. Le pape Sixte Quint (1585-1590) envisagea de transformer l'édifice en une filature de laine pour employer les prostituées de Rome, mais cette idée n'aboutit pas en raison de sa mort prématurée. Au XIXe siècle, en revanche, on s'est efforcé de stabiliser de nombreux monuments anciens. En 1820, dans le cadre d'une restauration ordonnée par Pie VII, plusieurs contreforts ont été achevés, qui sont encore visibles aujourd'hui et qui, s'ils n'avaient pas été construits, auraient empêché un éventuel effondrement de l'édifice. Tout au long du siècle, des travaux de consolidation et d'amélioration ont été réalisés et se poursuivent encore aujourd'hui.

À côté du Colisée se trouvait la Meta Sudans, une construction érigée par l'empereur Domitien entre 89 et 96. Cette structure de forme conique et d'une hauteur de 17 mètres était entourée d'eau. Elle avait pour but de marquer le point d'intersection des quatre quartiers de la ville. En 1936, Mussolini ordonna sa démolition, arguant qu'elle interférait avec la création de la Via dei Fori Imperiali. L'un des derniers affronts subis par le Colisée a été son utilisation comme symbole du conflit de l'Italie en temps de guerre par les forces militaires ; la partie de l'édifice manquante sur la première photo a été causée par une bombe tombée pendant la Seconde Guerre mondiale.