Tønnes Boyesen var en meget anset skipper og købmand. I kirkebogen kan man læse, at han flere gange sejlede præsten frem og tilbage mellem Rønne og København. Tønnes Boyesen var født i 1683 på øen Sild og blev begravet i Rønne i 1769. Han havde overtaget svigerfaderen, Philip Raschs gård i Grønnegade, det senere Hotel Hofmann.
Mens Frederik den 5.'s stenbrud bragte fremgang og udvikling i Nexø, gik det mindre godt for det ambitiøse kirkebyggeri i København. Frederik den 5. døde i januar 1766. Han ambitiøse kirkeprojekt var kun nået 19 meter over gadeplan, og økonomien haltede. Og efter kongens død røg grev Moltke ud i kulden – afsat fra sine høje embeder uden pension. Frederik den 5. var en populær konge, men han var i virkeligheden en svag og uselvstændig konge med en mangelfuld uddannelse. Derfor var det reelt hans rådgivere, og ikke mindst grev Moltke, som klarede rigets anliggender. Meget anderledes blev det ikke med Frederiks efterfølger, Christian den 7., som var psykisk syg, og med Moltke sat ud af spillet, så det sort ud for kirkebyggeriet. Økonomien haltede, og straks i 1766 begyndte overvejelserne om at reducere bevillingerne til byggeriet. Allerede 10 år tidligere var Frederiks Stenbrud efter forslag fra generalbygmester Laurids de Thurah lagt om til et interessentskab, hvor også hofbygmester Jacob Fortling og stenbrudsinspektør Niels Birch var blandt interessenterne. Driften var dog stadig lagt under den såkaldte partikulærkasse, som var en pengekasse, kongen selv kunne disponere over.
I debatten om at beskære bevillingerne til Marmorkirkens opførelse, anbefalede den kirkelige bygningskommission dog stærkt, at man sørgede for en fortsat drift af Frederiks Stenbrud. Så undgik man import af sandsten, og de kloge hoveder i kommissionen fastslog, at de bornholmske sandsten var bedre end de udenlandske. Tilmed kostede Nexø-stenene kun omkring det halve af, hvad der måtte betales for de importerede sandsten, for eksempel fra Bremen.
I 1770 skete det så. Den psykisk syge Christian den 7. var kommet hjem fra en længere udlandsrejse med sin livlæge, Johann Friedrich Struensee, og fra maj 1770 og til januar 1772 regerede dronning Caroline Mathilde og Struensee i kongens navn. I denne tid gennemførtes et enormt reformarbejde. De offentlige udgifter blev reduceret voldsomt, og dette ramte også kirkebyggeriet. I oktober 1770 var det slut. Mure og piller af norsk marmor og bornholmsk sandsten i cirka 20 meters højde stod som et symbol på Frederik den 5.'s ufuldendte drøm: En dansk katedral af enestående format.
Tilbage på kirkepladsen stod 11.396 kubikfod – 325 kubikmeter – bornholmske sandsten til en værdi af 5.700 rigsdaler. Det er vanskeligt at omregne pengenes værdi fra dengang til i dag, men går man ud fra lønningerne, svarer de 5.700 rigsdaler til omkring 50 millioner nutids-kroner.