Gennem det meste af middelalderen var der mange sild i Østersøen, derfor kom der mange sildemarkeder ved de bornholmske kyster. Hvert eneste sommer i 300 år kom der tyske skibe med salt og holdt sildemarked. Den blev solgt som fastespise til hele Europa. Ved Svaneke var der en større handelsplads ved Frenne. Efter 1500 forsvandt de store sildestimer og markederne ophørte.
Store gårdejere fra egnen købte i 1400 jorden på den flade del af kysten og byggede store købmandsgårde. De lokale fiskere anlagde mindre huse med bindingsværk og stråtag på det klippefyldte og stejle terræn bag de store gårde. Deres huse havde haver med figner, morbær, fersken og abrikoser, der fik læ for blæsten af stengærder.
Omkring 1500 bliver Svaneke købstad. Havnen blev anlagt i 1800, senere skibsværfter og store sejlskibe bragte velstand til byen. Da Bornholm i 1900 fik jernbane mellem Rønne og Nexø sagde Svaneke nej til jernbane, byen stolede på skibsfarten. Det var både godt og skidt.
Udviklingen gik til Nexø, men Svaneke bevarede sin "lilleby idyl" med al den charme, som turisterne i vore dage elsker. I 1972 fik Svaneke af Europarådet en guldmedalje, for sit bevaringsarbejde og indbyggernes målbevidste indsats for at beskytte byens historiske karakter.
Svaneke var den sidste by i Danmark, der fik indlagt vand i husene, man havde kun brønde og vandpumper. I 1950 fik Svaneke indlagt vand til alle huse. Arkitekten Jørgen Utzon tegnede vandtårnet. Bagefter syntes halvdelen af byens indbyggere, det moderne vandtårn var halvgrimt. Da Jørgen Utzon senere blev berømt for Operahuset i Sidney, syntes alle, det nye vandtårn var halvpænt.