I syv hundrede år blev der konstant bygget på Hammershus. Da Christian 5. i året 1684 fravalgte Hammershus til fordel for fæstningen Christiansø, ophørte dette arbejde. Forfaldet af borgen fik hovedrollen. Da Hammershus i 1743 blev nedlagt, blev borgen på ny en stor byggeplads, for bornholmere hentede mursten og materialer til privat anvendelse.
Der er brugt munkesten fra Hammershus til Hovedvagten i Rønne. Talrige huse blev bygget med borgens munkesten, og i Rønne kaldes husene 'Lille Hammershus'. I 1789 hentede man 30.000 munkesten fra Hammershus til den nye kaserne på Christiansø.
Den store vandalisme slutter i 1822, hvor Hammershus bliver fredet.
Sjove detaljer
På en havemur i Rosengade i Rønne er der genbrugt munkesten fra Hammershus. De er muret på højkant, så man kan se teglværkernes stempler. Der er hjerte med H. Helligåndens teglværk og flere mursten med SP. Der betyder Sankt Peders Teglværk. Før brændingen lå de våde mursten natten over, og da en kat gik på dem, ses poterne der endnu, selv om det skete for 500 år siden.