Verner Olsen blev gift med Irene, der kommer fra Helsingborg. Hun arbejdede på Nordbornholms Turistbureau i Sandvig. De købte deres drømmehus "Sænehus" lige ovenfor Hammerhavn og flyttede ind i 1971. Her kom børnene til, Susanne i 1971 og Kristian i 1973.
I turistbranchen
Irene, der havde arbejdet i turistbranchen i mange år, blev selvstændig med Bornholms Ferierejser, og både Irene og Verner Olsen arbejdede som rejseledere, guider og turoperatører.
De arrangerede rejser for bornholmerne rundt i Sverige og Danmark, rejser for skandinaver og tyskere til Bornholm, udlejede sommerhuse, arrangerede busture og senere også skolerejser fra især Danmark og Sverige til Bornholm. Bornholms Ferierejser begyndte også at arrangere charterrejser til Sydeuropa.
Verner Olsen supplerede familiens indkomst ved at arbejde "i fisken" på Kjærenæs Filetfabrik ved Kæmpestranden i Allinge, samt "i stenen", når der var mulighed for dette. Verner Olsen gik også stormvagt på den redningsstien mellem Finnedalen og Hammershus.