Klippekysten ved Svaneke består af mange små vige, der kaldes havne. Vigehavn, Hullehavn og Frenne Havn, og måske udgjorde vigene havne for et mindre fiskeleje før 1200.
Gennem det meste af middelalderen var der mange sild i Østersøen, derfor kom der mange sildemarkeder ved de bornholmske kyster. Hvert eneste sommer i 300 år kom der tyske skibe med salt og holdt sildemarked. Den blev solgt som fastespise til hele Europa. Ved Svaneke var der en større handelsplads ved Frenne. Efter 1500 forsvandt de store sildestimer og markederne ophørte.
Store gårdejere fra egnen købte i 1400 jorden på den flade del af kysten og byggede store købmandsgårde. De lokale fiskere anlagde mindre huse med bindingsværk og stråtag på det klippefyldte og stejle terræn bag de store gårde. Deres huse havde haver med figner, morbær, fersken og abrikoser, der fik læ for blæsten af stengærder.
Omkring 1500 bliver Svaneke købstad. Havnen blev anlagt i 1800, senere skibsværfter og store sejlskibe bragte velstand til byen. Da Bornholm i 1900 fik jernbane mellem Rønne og Nexø sagde Svaneke nej til jernbane, byen stolede på skibsfarten. Det var både godt og skidt.